Định nghĩa

Cửa sổ ngữ cảnh (context window) đề cập đến lượng văn bản đầu vào (prompt) và văn bản đầu ra (completion) tối đa mà một mô hình ngôn ngữ lớn (LLM) có thể xử lý hoặc 'ghi nhớ' trong một lần tương tác duy nhất. Khả năng này được đo bằng token, trong đó một token tương đương với một từ hoặc một đơn vị từ phụ.

Tại sao nó quan trọng

Kích thước của cửa sổ ngữ cảnh quyết định trực tiếp độ phức tạp và phạm vi của các tác vụ mà một LLM có thể xử lý. Cửa sổ lớn hơn cho phép mô hình duy trì tính mạch lạc trong các cuộc trò chuyện dài hơn nhiều, phân tích các tài liệu đồ sộ và tham chiếu đến các phần trước của một đầu vào phức tạp mà không bị lạc đề.

Cách thức hoạt động

Các mô hình dựa trên Transformer, vốn là nền tảng của hầu hết các LLM hiện đại, xử lý thông tin tuần tự trong giới hạn token đã xác định này. Khi đầu vào vượt quá cửa sổ ngữ cảnh, mô hình buộc phải cắt bỏ thông tin cũ nhất, về cơ bản khiến nó 'quên' đi phần đầu của cuộc trò chuyện hoặc tài liệu.

Các trường hợp sử dụng phổ biến

• Tóm tắt tài liệu: Phân tích toàn bộ bản đệ trình pháp lý hoặc bài báo nghiên cứu chỉ trong một lần.
• Chatbot dạng văn bản dài: Duy trì lịch sử hội thoại qua các phiên người dùng kéo dài.
• Tạo mã: Cho phép mô hình tham chiếu đến các cơ sở mã lớn để hoàn thành chính xác.
• Phân tích dữ liệu: Xử lý các nhật ký hoặc tập dữ liệu dài được cung cấp dưới dạng đầu vào văn bản.

Lợi ích chính

• Cải thiện tính mạch lạc: Cho phép mô hình tạo ra các đầu ra nhất quán và phù hợp với ngữ cảnh hơn.
• Phân tích sâu hơn: Cho phép xem xét toàn diện các tập dữ liệu hoặc tài liệu lớn.
• Xử lý tác vụ phức tạp: Hỗ trợ suy luận đa bước đòi hỏi phải tham chiếu các hướng dẫn hoặc dữ liệu trước đó.

Thách thức

• Chi phí và độ trễ: Các cửa sổ ngữ cảnh lớn hơn đòi hỏi tài nguyên tính toán đáng kể hơn (VRAM và thời gian xử lý), làm tăng chi phí API và độ trễ phản hồi.
• Suy giảm sự chú ý: Ngay cả với các cửa sổ lớn, các mô hình đôi khi vẫn gặp khó khăn trong việc gán trọng số bằng nhau cho thông tin được đặt ở rất đầu hoặc rất cuối đầu vào.

Các khái niệm liên quan

• Tokenization (Mã hóa token): Quá trình chia văn bản thô thành các token rời rạc mà mô hình có thể hiểu được.
• Cơ chế chú ý (Attention Mechanism): Thành phần kiến trúc cốt lõi cho phép mô hình đánh giá mức độ quan trọng của các token khác nhau so với nhau trong ngữ cảnh.
• Tinh chỉnh (Fine-Tuning): Điều chỉnh một mô hình đã được huấn luyện trước trên dữ liệu cụ thể để cải thiện hiệu suất trong một ngữ cảnh giới hạn.