รายการตรวจสอบการนำ Uncensored AI ไปใช้งานจริง

ตรวจสอบความเข้ากันได้ของเอนด์พอยต์

ขั้นตอนแรกคือการยืนยันว่าไลบรารีไคลเอนต์ของคุณเชื่อมต่อกับ base URL ที่ถูกต้อง บริการของเราให้มาตรฐาน /v1/chat/completions endpoint ที่จำลองโครงสร้างของ OpenAI ออกมาอย่างแม่นยำ นั่นหมายความว่าคุณสามารถเปลี่ยน URL พื้นฐานในการกำหนดค่า SDK ที่มีอยู่ของคุณได้โดยไม่ต้องเขียนตรรกะหลักใหม่

• ใช้ https://api.hereticproject.com/v1 เป็น URL พื้นฐาน
• ส่งคำขอไปยัง POST /v1/chat/completions.
• ระบุโมเดลที่พร้อมใช้งานผ่าน GET /v1/models.

อย่าสันนิษฐานว่ามีเอนด์พอยต์อื่น ๆ เราไม่ให้บริการ embeddings รูปภาพ หรือการสร้างเสียง หากแอปพลิเคชันของคุณพึ่งพาอินพุตหลายรูปแบบ API โมเดลเดียวนี้อาจไม่เหมาะกับความต้องการของคุณ ใช้เวิร์กโฟลว์ข้อความเข้า-ข้อความออกเพื่อผลลัพธ์ที่ดีที่สุด

ทดสอบขีดจำกัดหน้าต่างบริบท

โมเดลของเรารองรับ context window ขนาด 100,000-token ซึ่งอนุญาตให้เก็บประวัติการสนทนาที่ยาวนานหรือประมวลผลเอกสารขนาดใหญ่ ขีดจำกัดนี้ใช้กับผลรวมรวมของ input tokens และ output tokens คุณสามารถเก็บการสนทนาในอดีตจำนวนมากได้โดยไม่สูญเสียความสอดคล้อง

เมื่อออกแบบแอปพลิเคชันของคุณ ให้แน่ใจว่าคุณติดตามการใช้งานโทเค็นอย่างแม่นยำ หากเกินขีดจำกัด API จะส่งข้อผิดพลาดกลับมา ใช้ข้อมูลการใช้งานโทเค็นในชิ้นส่วนสตรีมสุดท้ายเพื่อติดตามการบริโภคของคุณแบบเรียลไทม์ สิ่งนี้ช่วยให้คุณอยู่ในงบประมาณและหลีกเลี่ยงการตัดประวัติบทสนทนาของคุณอย่างไม่คาดคิด

ตรวจสอบข้อจำกัดของ Token Output

แต่ละคำขอสามารถส่งค่าสูงสุด 16,000 tokens ของเอาต์พุต หากไม่ได้ระบุ max_tokens พารามิเตอร์ ขีดจำกัดเริ่มต้นคือ 2,048 โทเค็น ข้อจำกัดนี้ช่วยให้มั่นใจถึงประสิทธิภาพที่สม่ำเสมอและเวลาแฝงที่คาดการณ์ได้สำหรับผู้ใช้ของคุณ

สำหรับการเขียนเชิงสร้างสรรค์แบบยาวหรือการสร้างโค้ดแบบละเอียด ให้ตั้งค่า max_tokens พารามิเตอร์นี้ได้อย่างชัดเจน สิ่งนี้ป้องกันไม่ให้โมเดลตัดกลางประโยคหากพื้นที่หมด คุณสามารถตั้งค่าขีดจำกัดที่ต่ำกว่าเพื่อควบคุมต้นทุนหากคุณต้องการเพียงการตอบสนองสั้นๆ API คิดค่าใช้จ่ายตามการใช้งานจริง ดังนั้นการควบคุมที่แม่นยำจึงช่วยจัดการเครดิตที่ชำระล่วงหน้าของคุณ

เปิดใช้งานการสตรีมเพื่อประสบการณ์ผู้ใช้

การสตรีมผ่าน Server-Sent Events (SSE) มอบประสบการณ์ผู้ใช้ที่ลื่นไหลยิ่งขึ้นโดยการส่งโทเค็นทันทีที่สร้างเสร็จ ซึ่งช่วยลดความล่าช้าที่ผู้ใช้รู้สึก โดยเฉพาะสำหรับการตอบสนองที่ยาวนาน ชิ้นสุดท้ายของสตรีมรวมถึงการใช้งานโทเค็นรวม ทำให้คุณสามารถอัปเดตแดชบอร์ดการเรียกเก็บเงินของคุณได้ทันที

ใช้ไคลเอนต์สตรีมในส่วนหน้าเว็บหรือบริการแบ็กเอนด์ จัดการโทเค็นบางส่วนให้ถูกต้องเพื่อไม่ให้ทำลาย UI วิธีนี้จำเป็นสำหรับอินเทอร์เฟซแชทที่ผู้ใช้คาดหวังการตอบกลับทันที หากไม่มีสตรีม ผู้ใช้อาจรอหลายวินาทีสำหรับการตอบกลับที่สมบูรณ์ ซึ่งนำไปสู่ประสบการณ์ที่ไม่ดี

ตรวจสอบการเรียกใช้ฟังก์ชัน

API รองรับ function calling (tools) และการเลือกเครื่องมือ (tool choice) ทำให้แอปพลิเคชันของคุณสามารถโต้ตอบกับระบบภายนอกได้ คุณสามารถกำหนดเครื่องมือในการเรียกใช้และปล่อยให้โมเดลตัดสินใจเมื่อควรใช้งานสิ่งเหล่านี้ ซึ่งสำคัญต่อการสร้าง agents ที่สามารถดึงข้อมูล อัปเดตฐานข้อมูล หรือคำนวณค่าต่างๆ

ตรวจสอบให้แน่ใจว่าคำจำกัดเครื่องมือของคุณตรงกับสคีมา JSON ที่คาดหวัง โมเดลจะส่งกลับการเรียกใช้เครื่องมือในคำตอบ ซึ่งคุณต้องดำเนินการและส่งกลับไปยังบทสนทนา วงจรนี้ช่วยให้สามารถทำงานหลายขั้นตอนที่ซับซ้อนได้ ทดสอบกรณีขอบที่โมเดลอาจสร้างพารามิเตอร์เครื่องมือขึ้นเองเพื่อตรวจสอบความแข็งแกร่ง

ตั้งค่าโหมด JSON สำหรับข้อมูลที่มีโครงสร้าง

สำหรับแอปพลิเคชันที่ต้องการรูปแบบผลลัพธ์ที่เข้มงวด ให้ใช้ response_format พารามิเตอร์นี้ตั้งค่าเป็น {"type": "json_object"}. สิ่งนี้บังคับให้โมเดลส่งกลับ JSON ซึ่งจำเป็นสำหรับการแยกวิเคราะห์ข้อมูลแบบโปรแกรมมิ่ง มันลดความจำเป็นในการประมวลผลหลังที่ซับซ้อนหรือการแยกสกัดด้วย regex

ตรวจสอบเอาต์พุต JSON ด้วยตนเองเนื่องจากไม่มีโมเดลใดสมบูรณ์แบบ อย่างไรก็ตาม โหมดนี้เพิ่มความน่าเชื่อถือของการสกัดข้อมูลที่มีโครงสร้างอย่างมีนัยสำคัญ ใช้สำหรับการสร้างไฟล์กำหนดค่า คำสอบถามฐานข้อมูล หรือโหลด API โดยตรงจากคำขอภาษาธรรมชาติ

กำหนดค่าอุณหภูมิและ Top P

การปรับ temperature และ top_p ควบคุมความสุ่มของโมเดล ค่าที่ต่ำกว่าทำให้ผลลัพธ์มีความเป็นกำหนดเองและมุ่งเน้นมากขึ้น ในขณะที่ค่าที่สูงขึ้นส่งเสริมความสร้างสรรค์และความหลากหลาย ลักษณะที่ไม่ถูกเซ็นเซอร์ของโมเดลหมายความว่าอาจผลิตผลลัพธ์ที่หลากหลายแม้ที่อุณหภูมิต่ำ

เริ่มต้นที่ temperature 0.7 เพื่อความสมดุลระหว่างความคิดสร้างสรรค์และความสอดคล้อง เพิ่มค่าสำหรับการระดมสมอง หรือลดค่าสำหรับการดึงข้อมูลข้อเท็จจริง top_p พารามิเตอร์ทำงานคล้ายกันโดยจำกัดมวลความน่าจะเป็นของโทเค็นที่สุ่มเลือก ลองปรับแต่งการตั้งค่าเหล่านี้เพื่อหาโทนเสียงที่เหมาะสมกับกรณีการใช้งานเฉพาะของคุณ

ตรวจสอบการใช้งานและต้นทุน

ราคาโปร่งใส: $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens คุณจ่ายเฉพาะสิ่งที่ใช้ โดยไม่มีค่าสมาชิกรายเดือน ความผิดพลาดและการปฏิเสธบริการเป็นฟรี ดังนั้นคุณจึงจ่ายเฉพาะการตอบกลับที่สำเร็จเท่านั้น โมเดลนี้เหมาะสำหรับแอปพลิเคชันปริมาณสูงที่ความสามารถในการพยากรณ์ต้นทุนมีความสำคัญ

ติดตามการใช้งาน tokens ผ่านการตอบสนองของ API เนื่องจากเครดิตเป็นแบบพรีเพดและไม่มีวันหมดอายุ คุณสามารถเติมเงินได้ตามต้องการ การไม่มีค่าธรรมเนียมรายเดือนหมายความว่าคุณหลีกเลี่ยงการจ่ายสำหรับความจุที่ว่างเปล่า ตรวจสอบยอดคงเหลือของคุณเป็นระยะเพื่อให้แน่ใจว่าคุณมีเครดิตเพียงพอสำหรับช่วงเวลาการใช้งานสูงสุดของคุณ