Ceklis Produksi AI Tanpa Sensor

Verifikasi Kompatibilitas Titik Akhir

Langkah pertama adalah mengonfirmasi bahwa pustaka klien Anda terhubung ke URL dasar yang benar. Layanan kami menyediakan standar /v1/chat/completions endpoint yang meniru struktur OpenAI secara tepat. Ini berarti Anda dapat mengganti URL dasar dalam konfigurasi SDK Anda yang sudah ada tanpa menulis ulang logika inti Anda.

• Gunakan https://api.hereticproject.com/v1 sebagai URL dasar Anda.
• Kirimkan permintaan ke POST /v1/chat/completions.
• Kirim permintaan ke model yang tersedia melalui GET /v1/models.

Jangan mengasumsikan ada endpoint lain. Kami tidak menawarkan embedding, gambar, atau generasi audio. Jika aplikasi Anda bergantung pada input multimodal, API model tunggal ini mungkin tidak sesuai dengan kebutuhan Anda. Tetap gunakan alur kerja teks masuk, teks keluar untuk hasil terbaik.

Uji Batas Jendela Konteks

Model kami mendukung jendela konteks 100,000-token, memungkinkan riwayat percakapan yang luas atau pemrosesan dokumen besar. Batas ini berlaku untuk total gabungan token input dan token output. Anda dapat menyimpan sejumlah besar percakapan sebelumnya tanpa kehilangan koherensi.

Saat merancang aplikasi Anda, pastikan Anda melacak penggunaan token secara akurat. Jika Anda melebihi batas, API akan mengembalikan error. Gunakan data penggunaan token dalam chunk streaming terakhir untuk memantau konsumsi Anda secara real-time. Ini membantu Anda tetap berada dalam anggaran dan menghindari pemotongan riwayat percakapan yang tidak terduga.

Periksa Kendala Output Token

Setiap permintaan dapat mengembalikan maksimal 16.000 token output. Jika Anda tidak menentukan max_tokens parameter, batas defaultnya adalah 2.048 token. Kendala ini memastikan kinerja yang konsisten dan latensi yang dapat diprediksi bagi pengguna Anda.

Untuk penulisan kreatif panjang atau generasi kode terperinci, selalu atur max_tokens parameter secara eksplisit. Ini mencegah model memotong kalimat di tengah jalan jika kehabisan ruang. Anda juga dapat mengatur batas yang lebih rendah untuk mengontrol biaya jika Anda hanya memerlukan respons singkat. API membebankan biaya berdasarkan penggunaan aktual, sehingga kontrol yang tepat membantu mengelola kredit prabayar Anda.

Aktifkan Streaming untuk UX

Streaming melalui Server-Sent Events (SSE) memberikan pengalaman pengguna yang lebih lancar dengan mengirimkan token segera setelah dihasilkan. Hal ini mengurangi latensi yang dirasakan, terutama untuk respons yang lebih panjang. Potongan terakhir stream mencakup total penggunaan token, memungkinkan Anda memperbarui dasbor penagihan Anda secara instan.

Terapkan klien streaming di layanan frontend atau backend Anda. Tangani token parsial dengan benar untuk menghindari merusak UI. Pendekatan ini sangat penting untuk antarmuka chat di mana pengguna mengharapkan umpan balik segera. Tanpa streaming, pengguna mungkin menunggu beberapa detik untuk respons lengkap, menyebabkan pengalaman yang buruk.

Validasi Panggilan Fungsi

API mendukung pemanggilan fungsi (alat) dan pilihan alat, memungkinkan aplikasi Anda berinteraksi dengan sistem eksternal. Anda dapat menentukan alat dalam permintaan dan membiarkan model memutuskan kapan menggunakannya. Ini sangat penting untuk membangun agen yang dapat mengambil data, memperbarui basis data, atau melakukan perhitungan.

Pastikan definisi alat Anda cocok dengan skema JSON yang diharapkan. Model akan mengembalikan panggilan alat dalam respons, yang harus Anda eksekusi dan kirim kembali ke percakapan. Loop ini memungkinkan alur kerja kompleks multi-langkah. Uji kasus tepi di mana model mungkin melakukan halusinasi parameter alat untuk memastikan ketangguhan.

Setel Mode JSON untuk Data Terstruktur

Untuk aplikasi yang memerlukan format output yang ketat, gunakan response_format parameter diatur ke {"type": "json_object"}. Ini memaksa model untuk mengembalikan JSON yang valid, yang sangat penting untuk memproses data secara terprogram. Hal ini mengurangi kebutuhan akan pasca-pemrosesan kompleks atau ekstraksi regex.

Validkan output JSON di sisi Anda juga, karena tidak ada model yang sempurna. Namun, mode ini secara signifikan meningkatkan keandalan ekstraksi data terstruktur. Gunakan ini untuk menghasilkan file konfigurasi, kueri database, atau payload API langsung dari prompt bahasa alami.

Konfigurasikan Suhu dan Top P

Menyesuaikan temperature dan top_p mengontrol keacakan model. Nilai yang lebih rendah membuat output lebih deterministik dan terfokus, sedangkan nilai yang lebih tinggi mendorong kreativitas dan keragaman. Sifat uncensored dari model berarti model ini mungkin menghasilkan output yang bervariasi bahkan pada suhu rendah.

Mulai dengan suhu 0.7 untuk keseimbangan antara kreativitas dan koherensi. Tingkatkan untuk tugas brainstorming atau turunkan untuk pengambilan fakta. top_p parameter bekerja serupa dengan membatasi massa probabilitas token yang diambil. Eksperimen dengan pengaturan ini untuk menemukan nada yang tepat untuk kasus penggunaan spesifik Anda.

Monitor Penggunaan dan Biaya

Harga transparan: $0.15 per 1M token input dan $0.50 per 1M token output. Anda hanya membayar untuk apa yang Anda gunakan, tanpa langganan bulanan. Kesalahan dan penolakan gratis, sehingga Anda hanya membayar untuk respons yang berhasil. Model ini ideal untuk aplikasi dengan volume tinggi di mana prediktabilitas biaya penting.

Lacak penggunaan token Anda melalui respons API. Karena kredit adalah prabayar dan tidak pernah kedaluwarsa, Anda dapat mengisi ulang sesuai kebutuhan. Tidak adanya biaya bulanan berarti Anda menghindari membayar untuk kapasitas menganggur. Pantau saldo Anda secara teratur untuk memastikan Anda memiliki kredit yang cukup untuk periode penggunaan puncak Anda.