Danh sách kiểm tra triển khai AI không kiểm duyệt

Xác minh khả năng tương thích điểm cuối

Bước đầu tiên là xác nhận rằng thư viện máy khách của bạn kết nối với URL cơ sở đúng. Dịch vụ của chúng tôi cung cấp một tiêu chuẩn /v1/chat/completions endpoint sao chép chính xác cấu trúc của OpenAI. Điều này có nghĩa là bạn có thể thay đổi URL cơ sở trong cấu hình SDK hiện có mà không cần viết lại logic cốt lõi của bạn.

• Sử dụng https://api.hereticproject.com/v1 làm URL cơ sở.
• Gửi yêu cầu đến POST /v1/chat/completions.
• Truy vấn các mô hình khả dụng qua GET /v1/models.

Đừng giả sử các điểm cuối (endpoint) khác tồn tại. Chúng tôi không cung cấp embedding, tạo hình ảnh hoặc âm thanh. Nếu ứng dụng của bạn dựa trên đầu vào đa phương thức, API mô hình đơn lẻ này có thể không phù hợp với nhu cầu của bạn. Hãy giữ các quy trình đầu vào văn bản, đầu ra văn bản để có kết quả tốt nhất.

Kiểm tra giới hạn cửa sổ ngữ cảnh

Mô hình của chúng tôi hỗ trợ cửa sổ ngữ cảnh 100,000-token, cho phép lưu giữ lịch sử hội thoại rộng rãi hoặc xử lý tài liệu lớn. Giới hạn này áp dụng cho tổng cộng các token đầu vào và token đầu ra. Bạn có thể giữ lại lượng lớn hội thoại trước đó mà không mất tính nhất quán.

Khi thiết kế ứng dụng của bạn, hãy đảm bảo bạn theo dõi chính xác việc sử dụng token. Nếu bạn vượt quá giới hạn, API sẽ trả về lỗi. Sử dụng dữ liệu sử dụng token trong chunk phát trực tuyến cuối cùng để theo dõi mức tiêu thụ của bạn theo thời gian thực. Điều này giúp bạn duy trì ngân sách và tránh việc cắt ngắn lịch sử cuộc trò chuyện không mong muốn.

Kiểm tra Ràng buộc Đầu ra Token

Mỗi yêu cầu có thể trả về tối đa 16.000 token đầu ra. Nếu bạn không chỉ định max_tokens tham số, giới hạn mặc định là 2.048 token. Ràng buộc này đảm bảo hiệu suất nhất quán và độ trễ có thể dự đoán được cho người dùng của bạn.

Đối với việc viết sáng tạo dài hoặc tạo mã chi tiết, luôn đặt max_tokens tham số rõ ràng. Điều này ngăn mô hình ngắt quãng giữa câu nếu hết không gian. Bạn cũng có thể đặt giới hạn thấp hơn để kiểm soát chi phí nếu bạn chỉ cần các phản hồi ngắn. API tính phí dựa trên mức sử dụng thực tế, vì vậy việc kiểm soát chính xác giúp quản lý tín dụng trả trước của bạn.

Bật phát trực tiếp cho trải nghiệm người dùng

Streaming qua Server-Sent Events (SSE) mang lại trải nghiệm người dùng mượt mà hơn bằng cách cung cấp token ngay khi chúng được tạo ra. Điều này giảm độ trễ cảm nhận, đặc biệt đối với các phản hồi dài. Chunk cuối cùng của luồng bao gồm tổng số token đã sử dụng, cho phép bạn cập nhật bảng điều khiển tính phí của mình ngay lập tức.

Triển khai máy khách phát trực tiếp trong dịch vụ giao diện người dùng hoặc máy chủ phía sau. Xử lý đúng các token một phần để tránh làm hỏng giao diện người dùng. Phương pháp này rất cần thiết cho các giao diện trò chuyện nơi người dùng mong đợi phản hồi ngay lập tức. Không có phát trực tiếp, người dùng có thể phải đợi vài giây để nhận phản hồi hoàn chỉnh, dẫn đến trải nghiệm kém.

Xác thực Function Calling

API hỗ trợ gọi hàm (tools) và lựa chọn công cụ, cho phép ứng dụng của bạn tương tác với các hệ thống bên ngoài. Bạn có thể định nghĩa các công cụ trong yêu cầu và để mô hình quyết định khi nào sử dụng chúng. Điều này rất quan trọng để xây dựng các agent có thể lấy dữ liệu, cập nhật cơ sở dữ liệu hoặc thực hiện tính toán.

Đảm bảo các định nghĩa công cụ của bạn khớp với lược đồ JSON dự kiến. Mô hình sẽ trả về các lệnh gọi công cụ trong phản hồi, mà bạn phải thực thi và truyền lại cho cuộc trò chuyện. Vòng lặp này cho phép các quy trình làm việc phức tạp, nhiều bước. Kiểm tra các trường hợp cạnh tranh nơi mô hình có thể hallucinate các tham số công cụ để đảm bảo tính mạnh mẽ.

Đặt chế độ JSON cho dữ liệu có cấu trúc

Đối với các ứng dụng yêu cầu định dạng đầu ra nghiêm ngặt, hãy sử dụng response_format tham số đặt thành {"type": "json_object"}. Điều này buộc mô hình trả về JSON hợp lệ, điều cần thiết cho việc phân tích cú pháp dữ liệu theo chương trình. Nó giảm nhu cầu về xử lý sau phức tạp hoặc trích xuất regex.

Xác nhận đầu ra JSON ở phía bạn bất kể, vì không có mô hình nào hoàn hảo. Tuy nhiên, chế độ này đáng kể tăng độ tin cậy của việc trích xuất dữ liệu có cấu trúc. Sử dụng điều này để tạo tệp cấu hình, truy vấn cơ sở dữ liệu hoặc tải trọng API trực tiếp từ các gợi ý bằng ngôn ngữ tự nhiên.

Cấu hình Nhiệt độ và Top P

Điều chỉnh temperature và top_p kiểm soát độ ngẫu nhiên của mô hình. Các giá trị thấp hơn làm cho đầu ra trở nên xác định và tập trung hơn, trong khi các giá trị cao hơn khuyến khích sự sáng tạo và đa dạng. Bản chất không kiểm duyệt của mô hình có nghĩa là nó có thể tạo ra các đầu ra khác nhau ngay cả ở nhiệt độ thấp.

Bắt đầu với nhiệt độ 0.7 để cân bằng giữa sáng tạo và tính nhất quán. Tăng nó lên cho các nhiệm vụ brainstorming hoặc giảm nó xuống để truy xuất dữ liệu thực tế. Các top_p tham số hoạt động tương tự bằng cách giới hạn khối lượng xác suất của các token được lấy mẫu. Hãy thử nghiệm các cài đặt này để tìm ra giọng điệu phù hợp nhất cho trường hợp sử dụng cụ thể của bạn.

Theo dõi Mức sử dụng và Chi phí

Giá cả minh bạch: $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Bạn chỉ trả cho những gì mình sử dụng, không có gói đăng ký hàng tháng. Lỗi và từ chối đều miễn phí, vì vậy bạn chỉ trả cho các phản hồi thành công. Mô hình này lý tưởng cho các ứng dụng khối lượng lớn nơi khả năng dự đoán chi phí quan trọng.

Theo dõi việc sử dụng token thông qua các phản hồi API. Vì tín dụng được trả trước và không bao giờ hết hạn, bạn có thể nạp thêm khi cần. Việc không có phí hàng tháng có nghĩa là bạn tránh phải trả tiền cho dung lượng không sử dụng. Theo dõi số dư của bạn thường xuyên để đảm bảo bạn có đủ tín dụng cho các giai đoạn sử dụng đỉnh cao của mình.