Чек-лист для впровадження нецензурованих AI

Перевірити сумісність кінцевих точок

Перший крок — підтвердити, що ваша бібліотека клієнта підключається до правильного базового URL. Наш сервіс надає стандартний /v1/chat/completions ендпоінт, що точно відображає структуру OpenAI. Це означає, що ви можете замінити базову URL-адресу в своїй існуючій конфігурації SDK без переписування основної логіки.

• Використовувати https://api.hereticproject.com/v1 як вашу базову URL-адресу.
• Надсилайте запити до POST /v1/chat/completions.
• Виконайте запит до доступних моделей через GET /v1/models.

Не припускайте, що існують інші кінцеві точки. Ми не пропонуємо вбудовування (embeddings), генерацію зображень або аудіо. Якщо ваш додаток покладається на мультимодальні входи, це API з однією моделлю може не підходити для ваших потреб. Тримайтеся робочих процесів text-in, text-out для найкращих результатів.

Перевірте обмеження контекстного вікна

Наша модель підтримує контекстне вікно на 100,000 токенів, що дозволяє зберігати обширну історію розмов або обробляти великі документи. Це обмеження застосовується до загальної суми вхідних токенів та вихідних токенів. Ви можете зберігати величезні обсяги попередніх розмов без втрати зв’язності.

При проектуванні додатка переконайтеся, що ви точно відстежуєте використання токенів. Якщо ви перевищите ліміт, API поверне помилку. Використовуйте дані про використання токенів у кінцевому потоковому фрагменті для моніторингу споживання в реальному часі. Це допомагає залишатися в межах бюджету та уникати несподіваного обрізання історії розмови.

Перевірка обмежень виходу токенів

Кожен запит може повертати максимум 16,000 токенів виводу. Якщо ви не вказуєте max_tokens параметр, обмеження за замовчуванням становить 2,048 токенів. Це обмеження забезпечує стабільну продуктивність та передбачувану затримку для ваших користувачів.

Для творчого письма великого обсягу або детальної генерації коду завжди встановлюйте max_tokens параметр явно. Це запобігає обрізанню моделлю речення посередині, якщо їй закінчиться місце. Ви також можете встановити нижчий ліміт для контролю витрат, якщо вам потрібні лише короткі відповіді. API нараховує плату за фактичне використання, тому точний контроль допомагає керувати вашим передоплаченим кредитом.

Увімкнути потокову передачу для UX

Потокова передача через події, що надсилаються сервером (SSE) забезпечує плавніший користувацький досвід, доставляючи токени по мірі їх генерації. Це зменшує сприйняту затримку, особливо для довших відповідей. Останній фрагмент потоку містить загальне використання токенів, що дозволяє миттєво оновлювати панель білінгу.

Реалізуйте клієнт потокового передавання у фронтенді або бекенд-сервісі. Правильно обробляйте часткові токени, щоб не збити інтерфейс. Цей підхід є суттєво важливим для чат-інтерфейсів, де користувачі очікують миттєвого зворотного зв’язку. Без потокового передавання користувачі можуть чекати кілька секунд, поки повна відповідь не буде отримана, що призводить до поганого досвіду.

Перевиклик функцій

API підтримує виклик функцій (інструменти) та вибір інструментів, що дозволяє вашій програмі взаємодіяти з зовнішніми системами. Ви можете визначити інструменти в запиті та надати моделі право вирішувати, коли їх використовувати. Це критично важливо для створення агентів, які можуть отримувати дані, оновлювати бази даних або виконувати обчислення.

Переконайтеся, що ваші визначення інструментів відповідають очікуваній схемі JSON. Модель поверне виклики інструментів у відповіді, які ви повинні виконати та повернути в розмову. Цей цикл дозволяє складні багатокрокові робочі процеси. Протестуйте граничні випадки, коли модель може галюцинувати параметри інструментів, щоб забезпечити надійність.

Встановити режим JSON для структурованих даних

Для додатків, що вимагають суворих форматів вихідних даних, використовуйте response_format параметр встановлено на {"type": "json_object"}. Це змушує модель повертати дійсний JSON, що є важливим для програмного парсингу даних. Це зменшує необхідність у складній постобробці або вилученні за допомогою регулярних виразів.

Перевіряйте вихідні дані JSON на своєму боці, оскільки жодна модель не є ідеальною. Однак цей режим значно підвищує надійність витягування структурованих даних. Використовуйте це для генерації файлів конфігурації, запитів до баз даних або API-підвантажень безпосередньо з природномовних промптів.

Налаштуйте Temperature та Top P

Налаштування temperature та top_p контролює випадковість моделі. Нижчі значення роблять вивід більш детермінованим і сфокусованим, тоді як вищі значення сприяють креативності та різноманітності. Оскільки модель не має цензури, вона може генерувати різноманітні результати навіть за низьких температур.

Почніть із температури 0.7 для балансу між креативністю та зв'язністю тексту. Збільшуйте її для задач мозкового штурму або зменшуйте для отримання фактологічно точних відповідей. Цей top_p параметр працює аналогічно, обмежуючи ймовірнісну масу вибраних токенів. Експериментуйте з цими налаштуваннями, щоб знайти правильний тон для вашого конкретного випадку використання.

Моніторинг використання та витрат

Ціноутворення прозоре: $0.15 за 1 млн входних токенів та $0.50 за 1 млн вихідних токенів. Ви платите лише за те, що використовуєте, без місячних підписок. Помилки та відмови безкоштовні, тому ви платите лише за успішні відповіді. Ця модель ідеально підходить для додатків із великим навантаженням, де важлива передбачуваність витрат.

Відстежуйте використання токенів через відповіді API. Оскільки кредити є передоплаченими і ніколи не закінчуються, ви можете поповнювати рахунок за потреби. Відсутність щомісячних платежів означає, що ви уникаєте оплати простою потужності. Регулярно моніторьте баланс, щоб переконатися, що у вас достатньо кредитів для пікових періодів використання.