Định nghĩa

Trong bối cảnh các Mô hình Ngôn ngữ Lớn (LLM) và AI tạo sinh, Ngân sách Token (Token Budget) đề cập đến số lượng token tối đa được phép mà một ứng dụng hoặc người dùng có thể xử lý trong một tương tác, một lệnh gọi API hoặc một khoảng thời gian sử dụng cụ thể. Token là các đơn vị cơ bản của văn bản mà LLM sử dụng để xử lý thông tin; chúng có thể đại diện cho các từ, các tiểu từ hoặc các ký tự.

Ngân sách này quy định tổng kích thước đầu vào (prompt) và tổng kích thước đầu ra (completion) mà mô hình có thể xử lý đồng thời, ảnh hưởng trực tiếp đến độ trễ và chi phí vận hành.

Tại sao nó quan trọng

Quản lý Ngân sách Token là rất quan trọng vì nhiều lý do kinh doanh:

• Kiểm soát chi phí: Việc sử dụng LLM thường được tính phí theo token. Việc vượt quá ngân sách hoặc gửi các lời nhắc quá dài có thể dẫn đến chi phí vận hành không thể đoán trước và cao.
• Hiệu suất & Độ trễ: Các đầu vào hoặc đầu ra cực lớn có thể gây áp lực lên khả năng xử lý của mô hình, dẫn đến thời gian phản hồi chậm hơn.
• Ràng buộc hệ thống: Nhiều API áp đặt giới hạn cứng về kích thước cửa sổ ngữ cảnh. Việc tuân thủ ngân sách đảm bảo ứng dụng hoạt động được trong các thông số kỹ thuật của nhà cung cấp.

Cách thức hoạt động

Quá trình mã hóa token (tokenization) chia văn bản thô thành các token riêng biệt. Ví dụ, từ 'tokenization' có thể được chia thành nhiều token. Ngân sách Token thường được xác định bởi kích thước cửa sổ ngữ cảnh của mô hình (ví dụ: 4096 token). Cửa sổ này phải chứa cả lời nhắc đầu vào và phản hồi đầu ra dự kiến.

Nếu lời nhắc của bạn tiêu tốn 3000 token, và cửa sổ ngữ cảnh tối đa của mô hình là 4096 token, thì ngân sách còn lại của bạn cho phản hồi chỉ là 1096 token.

Các trường hợp sử dụng phổ biến

• Chatbot và AI hội thoại: Việc giới hạn ngân sách ngăn chặn các vòng lặp vô tận hoặc các lịch sử trò chuyện quá dài làm tăng chi phí.
• Tóm tắt dữ liệu: Khi tóm tắt các tài liệu lớn, việc đặt ngân sách đảm bảo đầu ra ngắn gọn và phù hợp với các giới hạn xử lý hạ nguồn.
• Điều phối tác nhân (Agent Orchestration): Trong các tác nhân AI đa bước, ngân sách kiểm soát độ phức tạp của chuỗi suy luận trước khi thực hiện hành động cuối cùng.

Lợi ích chính

• Chi tiêu có thể dự đoán được: Việc thiết lập các ngân sách rõ ràng cho phép các bộ phận tài chính dự báo chi phí vận hành AI một cách chính xác.
• Trải nghiệm người dùng tối ưu: Bằng cách quản lý độ dài đầu vào, các nhà phát triển có thể đảm bảo người dùng nhận được câu trả lời kịp thời và phù hợp.
• Hiệu quả tài nguyên: Ngăn chặn lãng phí tài nguyên tính toán vào dữ liệu quá dài dòng hoặc không liên quan.

Thách thức

• Quản lý ngữ cảnh: Việc xác định lượng dữ liệu lịch sử tối ưu để đưa vào lời nhắc mà không vượt quá ngân sách là một sự cân bằng liên tục.
• Độ chính xác ước tính token: Mặc dù có các công cụ, việc dự đoán chính xác số lượng token của dữ liệu phức tạp, phi cấu trúc trước khi gửi đi có thể là một thách thức.

Các khái niệm liên quan

• Cửa sổ ngữ cảnh (Context Window): Tổng dung lượng token mà mô hình có thể xem xét tại bất kỳ thời điểm nào.
• Kỹ thuật nhắc lệnh (Prompt Engineering): Thực hành cấu trúc đầu vào để gợi ra đầu ra mong muốn và hiệu quả.
• Chi phí suy luận (Inference Cost): Chi phí vận hành liên quan đến việc chạy mô hình để tạo ra phản hồi.