Senarai Semak Pengeluaran AI Tanpa Sensor

Verifikasi Kompatibilitas Titik Akhir

Langkah pertama ialah mengesahkan bahawa perpustakaan klien anda menyambung ke URL asas yang betul. Perkhidmatan kami menyediakan piawai /v1/chat/completions endpoint yang meniru struktur OpenAI dengan tepat. Ini bermakna anda boleh menukar URL asas dalam konfigurasi SDK sedia ada anda tanpa menulis semula logik teras anda.

• Gunakan https://api.hereticproject.com/v1 sebagai URL asas anda.
• Hantar permintaan ke POST /v1/chat/completions.
• Query model yang tersedia melalui GET /v1/models.

Jangan anda anggap endpoint lain wujud. Kami tidak menawarkan embeddings, imej, atau penjanaan audio. Jika aplikasi anda bergantung pada input multimodal, API model tunggal ini mungkin tidak sesuai untuk keperluan anda. Patuhi aliran kerja teks-masuk, teks-keluar untuk hasil terbaik.

Uji Had Jendela Konteks

Model kami menyokong tetingkap konteks 100,000-token, membolehkan sejarah perbualan yang meluas atau pemprosesan dokumen besar. Had ini terpakai kepada jumlah gabungan token input dan token output. Anda boleh menyimpan jumlah sejarah perbualan yang luas tanpa kehilangan koherensi.

Apabila mereka bentuk aplikasi anda, pastikan anda menjejak penggunaan token dengan tepat. Jika anda melebihi had, API akan mengembalikan ralat. Gunakan data penggunaan token dalam chunk streaming akhir untuk memantau penggunaan anda secara masa nyata. Ini membantu anda kekal dalam bajet dan mengelakkan pemotongan sejarah perbualan yang tidak dijangka.

Semak Kekangan Output Token

Setiap permintaan boleh mengembalikan maksimum 16,000 token output. Jika anda tidak menentukan max_tokens parameter, had lalai ialah 2,048 token. Kekangan ini memastikan prestasi yang konsisten dan latensi yang boleh ramalkan untuk pengguna anda.

Untuk penulisan kreatif panjang atau penjanaan kod terperinci, sentiasa tetapkan max_tokens parameter secara eksplisit. Ini menghalang model daripada terputus di tengah ayat jika ruang tamat. Anda juga boleh menetapkan had lebih rendah untuk mengawal kos jika anda hanya memerlukan respons pendek. API mengenakan caj berdasarkan penggunaan sebenar, jadi kawalan tepat membantu menguruskan kredit prabayar anda.

Aktifkan Aliran untuk UX

Penghantaran secara berstrim melalui Server-Sent Events (SSE) memberikan pengalaman pengguna yang lebih lancar dengan menghantar token sejajar dengan penjanaan. Ini mengurangkan latensi yang dirasakan, terutamanya untuk respons yang lebih panjang. Potongan akhir strim termasuk jumlah penggunaan token, membolehkan anda mengemas kini papan pemuka pengebilan anda serta-merta.

Laksanakan klien aliran dalam perkhidmatan hadapan atau belakang anda. Tangani token separuh dengan betul untuk mengelakkan merosakkan UI. Pendekatan ini amat penting untuk antara muka sembang di mana pengguna menjangkakan maklum balas serta-merta. Tanpa aliran, pengguna mungkin menunggu beberapa saat untuk respons lengkap, menyebabkan pengalaman yang kurang baik.

Sahkan Panggilan Fungsi

API ini menyokong panggilan fungsi (alat) dan pilihan alat, membolehkan aplikasi anda berinteraksi dengan sistem luaran. Anda boleh mentakrifkan alat dalam permintaan dan membiarkan model memutuskan bila untuk menggunakannya. Ini penting untuk membina ejen yang boleh mengambil data, mengemas kini pangkalan data, atau melakukan pengiraan.

Pastikan definisi alat anda sepadan dengan skema JSON yang dijangka. Model akan memulangkan panggilan alat dalam respons, yang mesti anda jalankan dan hantar semula ke perbualan. Gelung ini membolehkan aliran kerja kompleks berbilang langkah. Ujian kes sempadan di mana model mungkin mengarang parameter alat untuk memastikan ketahanan.

Tetapkan Mod JSON untuk Data Terstruktur

Untuk aplikasi yang memerlukan format output yang ketat, gunakan response_format parameter ditetapkan kepada {"type": "json_object"}. Ini memaksa model mengembalikan JSON yang sah, yang amat penting untuk menguraikan data secara berprogram. Ia mengurangkan keperluan untuk pasca-pemprosesan kompleks atau pengekstrakan regex.

Sahkan output JSON di pihak anda juga, kerana tiada model yang sempurna. Walau bagaimanapun, mod ini meningkatkan kebolehpercayaan ekstraksi data terstruktur dengan ketara. Gunakan ini untuk menjana fail konfigurasi, pertanyaan pangkalan data, atau beban API terus dari arahan bahasa semula jadi.

Konfigurasikan Suhu dan Top P

Melaraskan temperature dan top_p kawal rawak model. Nilai yang lebih rendah menjadikan output lebih deterministik dan fokus, manakala nilai yang lebih tinggi menggalakkan kreativiti dan kepelbagaian. Sifat model yang tidak disensor bermakna ia mungkin menghasilkan output yang berbeza walaupun pada suhu rendah.

Mulakan dengan suhu 0.7 untuk keseimbangan antara kreativiti dan koherensi. Tingkatkan untuk tugas berfikir secara kreatif atau kurangkannya untuk pengambilan fakta. top_p parameter berfungsi serupa dengan membataskan jisim kebarangkalian token yang diambil. Eksperimen dengan tetapan ini untuk mencari nada yang tepat untuk kesgunaan khusus anda.

Pantau Penggunaan dan Kos

Harga adalah telus: $0.15 bagi setiap 1M token input dan $0.50 bagi setiap 1M token output. Anda hanya membayar untuk apa yang anda guna, tanpa langganan bulanan. Ralat dan penolakan adalah percuma, jadi anda hanya membayar untuk respons berjaya. Model ini sesuai untuk aplikasi bervolume tinggi di mana kebolehramalan kos adalah penting.

Jejaki penggunaan token anda melalui respons API. Oleh kerana kredit adalah pra-dibayar dan tidak luput, anda boleh menambah baki mengikut keperluan. Ketidakhadiran yuran bulanan bermaksud anda mengelakkan membayar untuk kapasiti tidak digunakan. Pantau baki anda secara berkala untuk memastikan anda mempunyai kredit yang mencukupi untuk tempoh penggunaan puncak anda.