Định nghĩa

Ngữ cảnh ngắn hạn (Short-Term Context) đề cập đến tập hợp thông tin trước đó, giới hạn và tức thời mà một mô hình AI, đặc biệt là Mô hình Ngôn ngữ Lớn (LLM) hoặc tác nhân đàm thoại, có thể chủ động xem xét khi tạo ra đầu ra tiếp theo. Đây là 'bộ nhớ làm việc' của hệ thống cho một tương tác hoặc phiên cụ thể.

Không giống như bộ nhớ dài hạn, vốn lưu trữ một lượng lớn dữ liệu lịch sử, ngữ cảnh ngắn hạn bị giới hạn bởi cửa sổ ngữ cảnh cố định của mô hình—số lượng tối đa các token (từ hoặc tiểu từ) mà nó có thể xử lý đồng thời.

Tại sao nó quan trọng

Chất lượng và kích thước của ngữ cảnh ngắn hạn quyết định trực tiếp tính mạch lạc, mức độ liên quan và độ chính xác của các phản hồi từ AI. Nếu cửa sổ ngữ cảnh quá nhỏ, mô hình sẽ 'quên' các phần trước đó của cuộc trò chuyện, dẫn đến các đầu ra vô nghĩa hoặc lặp đi lặp lại. Quản lý ngữ cảnh hiệu quả là rất quan trọng để xây dựng các trải nghiệm đàm thoại đáng tin cậy, giống con người.

Cách thức hoạt động

Khi người dùng nhập một lời nhắc (prompt), hệ thống sẽ đóng gói lời nhắc đó cùng với các lượt đối thoại trước đó (lịch sử trò chuyện) thành một chuỗi đầu vào duy nhất. Chuỗi này, cấu thành ngữ cảnh ngắn hạn, được đưa vào kiến trúc transformer. Sau đó, mô hình sử dụng các cơ chế chú ý (attention mechanisms) để đánh giá mức độ quan trọng của từng token trong cửa sổ giới hạn đó nhằm dự đoán token có khả năng xảy ra tiếp theo cao nhất.

Các trường hợp sử dụng phổ biến

• Chatbot và Trợ lý ảo: Duy trì sự liên quan về chủ đề qua nhiều lượt trao đổi qua lại.
• Tạo mã (Code Generation): Ghi nhớ các định nghĩa biến hoặc chữ ký hàm được cung cấp trước đó trong lời nhắc.
• Tóm tắt: Đảm bảo bản tóm tắt phản ánh chính xác các điểm chính được trình bày trong tài liệu nguồn ngay lập tức.
• Theo dõi trạng thái hội thoại (Dialogue State Tracking): Theo dõi các tùy chọn hoặc ràng buộc của người dùng được đề cập cách đây vài khoảnh khắc.

Lợi ích chính

• Tính mạch lạc: Đảm bảo AI luôn đi đúng chủ đề và duy trì dòng chảy hội thoại.
• Tính liên quan: Cho phép mô hình điều chỉnh phản hồi dựa trên lịch sử đầu vào tức thời.
• Hiệu quả: Xử lý cửa sổ ngữ cảnh có giới hạn hiệu quả về mặt tính toán hơn là cố gắng tải toàn bộ lịch sử cơ sở dữ liệu.

Thách thức

• Giới hạn cửa sổ ngữ cảnh: Giới hạn cứng về số lượng token hạn chế độ sâu của quá trình suy luận phức tạp, nhiều giai đoạn.
• Nhồi nhét ngữ cảnh (Context Stuffing): Việc quá tải ngữ cảnh bằng dữ liệu không liên quan có thể làm loãng tín hiệu, dẫn đến hiệu suất kém hơn.
• Độ trễ (Latency): Xử lý các cửa sổ ngữ cảnh dài hơn làm tăng tải tính toán và thời gian phản hồi.

Các khái niệm liên quan

• Bộ nhớ dài hạn: Các cơ sở dữ liệu bên ngoài hoặc kho lưu trữ vector được sử dụng để truy xuất thông tin ngoài cửa sổ ngữ cảnh tức thời.
• Cơ chế chú ý (Attention Mechanism): Chức năng mạng nơ-ron cốt lõi xác định phần nào của ngữ cảnh ngắn hạn là phù hợp nhất cho dự đoán hiện tại.
• Tokenization: Quá trình chia văn bản thành các đơn vị rời rạc (token) mà mô hình thực sự xử lý.