Kontrolní seznam pro produkční nasazení neomezené AI

Ověřit kompatibilitu koncového bodu

Prvním krokem je potvrzení, že vaše knihovna klienta se připojuje ke správné základní URL. Naše služba poskytuje standardní /v1/chat/completions endpoint, který přesně zrcadlí strukturu OpenAI. To znamená, že můžete změnit základní URL ve své existující konfiguraci SDK bez přepisování základní logiky.

• Použít https://api.hereticproject.com/v1 jako vaši základní URL.
• Posílejte požadavky do POST /v1/chat/completions.
• Vyhledejte dostupné modely pomocí GET /v1/models.

Nezakládejte si, že existují další endpointy. Neposkytujeme embeddingy, generování obrázků ani audia. Pokud vaše aplikace spoléhá na multimodální vstupy, toto API s jedním modelem nemusí splňovat vaše požadavky. Zůstaňte u pracovních postupů text-v-text pro nejlepší výsledky.

Otestujte limity kontextového okna

Náš model podporuje kontextové okno o velikosti 100,000 tokenů, což umožňuje rozsáhlou historii konverzací nebo zpracování velkých dokumentů. Tento limit se vztahuje na celkový součet vstupních tokenů a výstupních tokenů. Můžete si ponechat obrovské množství předchozích konverzací bez ztráty koherence.

Při navrhování aplikace zajistěte přesné sledování využití tokenů. Pokud limit překročíte, API vrátí chybu. Použijte data o využití tokenů v posledním streamovaném chunku k monitorování vaší spotřeby v reálném čase. Pomůže vám to zůstat v rozpočtu a vyhnout se neočekávanému ořezání historie konverzace.

Zkontrolovat omezení výstupu tokenů

Každý požadavek může vrátit maximálně 16 000 tokenů výstupu. Pokud nespecifikujete max_tokens parametr, výchozí limit je 2 048 tokenů. Toto omezení zajišťuje konzistentní výkon a předvídatelnou latenci pro vaše uživatele.

Pro dlouhý kreatívní text nebo podrobnou generaci kódu vždy nastavte max_tokens parameter explicitně. Tím se zabrání přerušení modelu uprostřed věty, pokud mu dojde místo. Můžete také nastavit nižší limit pro kontrolu nákladů, pokud potřebujete pouze krátké odpovědi. API účtuje na základě skutečného využití, takže přesná kontrola pomáhá spravovat váš předplacený kredit.

Povolit streamování pro UX

Streamování přes Server-Sent Events (SSE) poskytuje plynulejší uživatelský zážitek dodáváním tokenů ihned po jejich vygenerování. To snižuje vnímanou latenci, zejména u delších odpovědí. Finální chunk streamu obsahuje celkovou spotřebu tokenů, což vám umožňuje okamžitě aktualizovat dashboard fakturace.

Implementujte streamovacího klienta ve frontendu nebo backendové službě. Správně zpracovávejte částečné tokeny, abyste nepoškodili UI. Tento přístup je nezbytný pro chatová rozhraní, kde uživatelé očekávají okamžitou zpětnou vazbu. Bez streamování by uživatelé mohli čekat několik sekund na kompletní odpověď, což by vedlo k špatnému zážitku.

Ověřte volání funkcí

API podporuje volání funkcí (nástroje) a výběr nástrojů, což umožňuje vaší aplikaci interagovat s externími systémy. Můžete definovat nástroje v požadavku a nechat model, aby rozhodl, kdy je použít. To je klíčové pro tvorbu agentů, kteří mohou načítat data, aktualizovat databáze nebo provádět výpočty.

Ujistěte se, že definice nástrojů odpovídají očekávanému schématu JSON. Model vrátí volání nástrojů v odpovědi, která musíte vykonat a zpět předat do konverzace. Tento cyklus umožňuje komplexní vícekrokové pracovní postupy. Otestujte hraniční případy, kde model může halucinovat parametry nástrojů, abyste zajistili robustnost.

Nastavit režim JSON pro strukturovaná data

Pro aplikace vyžadující přísné formáty výstupu použijte response_format parameter nastaven na {"type": "json_object"}. Toto donutí model vrátit platný JSON, což je zásadní pro programové parsování dat. Snižuje potřebu složitého post-processingu nebo extrakce regulárními výrazy.

Ověřte výstup JSON na své straně, protože žádný model není dokonalý. Tento režim však výrazně zvyšuje spolehlivost extrakce strukturovaných dat. Použijte to pro generování konfiguračních souborů, dotazů do databáze nebo payloadů API přímo z přirozenojazyčných promptů.

Konfigurujte Teplotu a Top P

Úpravou temperature a top_p kontroluje náhodnost modelu. Nižší hodnoty činí výstup více deterministickým a zaměřeným, zatímco vyšší hodnoty podporují kreativitu a rozmanitost. Protože je model bez omezení (uncensored), může generovat různé výstupy i při nízkých teplotách.

Začněte s teplotou 0,7 pro rovnováhu mezi kreativitou a koherencí. Zvyšte ji pro brainstorming nebo snižte pro vyhledávání faktů. The top_p parametr funguje podobně tím, že omezuje pravděpodobnostní hmotnost vzorkovaných tokenů. Vyzkoušejte tato nastavení a najděte správný tón pro váš konkrétní případ použití.

Sledovat využití a náklady

Ceny jsou transparentní: $0.15 za 1M vstupních tokenů a $0.50 za 1M výstupních tokenů. Platíte pouze za to, co použijete, bez měsíčních předplatných. Chyby a odmítnutí jsou zdarma, takže platíte pouze za úspěšné odpovědi. Tento model je ideální pro aplikace s vysokým objemem, kde záleží na předvídatelnosti nákladů.

Sledujte využití tokenů prostřednictvím odpovědí API. Protože kredity jsou předplacené a nevyprší, můžete doplňovat podle potřeby. Absence měsíčních poplatků znamená, že se vyhnete placení za nevyužitou kapacitu. Pravidelně monitorujte svůj zůstatek, abyste měli dostatečné kredity pro období špičkového využití.