Định nghĩa

Quy trình làm việc đa phương thức (multimodal workflow) là một quy trình có cấu trúc tích hợp và xử lý thông tin từ nhiều loại dữ liệu cùng một lúc. Thay vì xử lý văn bản, hình ảnh hoặc âm thanh một cách riêng lẻ, các quy trình làm việc này được thiết kế để cho phép các phương thức khác nhau—chẳng hạn như ngôn ngữ tự nhiên, dữ liệu hình ảnh và âm thanh—tương tác và cung cấp thông tin cho một kết quả hoặc quyết định duy nhất.

Tại sao nó lại quan trọng

Trong môi trường dữ liệu phong phú ngày nay, các vấn đề trong thế giới thực hiếm khi chỉ giới hạn trong một định dạng dữ liệu duy nhất. Một tương tác của khách hàng có thể bao gồm một truy vấn bằng giọng nói (âm thanh), ảnh chụp màn hình lỗi (hình ảnh) và bản ghi trò chuyện (văn bản). Các quy trình làm việc đa phương thức cho phép hệ thống hiểu được toàn bộ ngữ cảnh, dẫn đến tự động hóa chính xác, tinh tế và giống con người hơn đáng kể.

Cách thức hoạt động

Cốt lõi của một quy trình làm việc đa phương thức bao gồm các bộ mã hóa chuyên biệt cho từng loại dữ liệu. Ví dụ, bộ mã hóa thị giác xử lý hình ảnh thành các vector số, trong khi mô hình ngôn ngữ xử lý văn bản thành các vector. Các vector này sau đó được ánh xạ vào một không gian nhúng (embedding space) chung, nhiều chiều. Không gian chung này cho phép hệ thống suy luận xuyên suốt các phương thức—ví dụ, hiểu rằng văn bản 'màn hình bị hỏng' tương ứng về mặt ngữ nghĩa với hình ảnh màn hình bị nứt.

Các trường hợp sử dụng phổ biến

• Xử lý tài liệu thông minh (IDP): Phân tích các hóa đơn chứa cả các trường văn bản có cấu trúc và các sơ đồ trực quan.
• Hỗ trợ khách hàng nâng cao: Xử lý bản ghi cuộc gọi video của khách hàng cùng với ngữ cảnh trực quan của sản phẩm họ đang thảo luận.
• Kiểm duyệt nội dung: Phát hiện nội dung không phù hợp bằng cách phân tích cả chú thích văn bản và các yếu tố hình ảnh của hình ảnh hoặc video được tải lên.
• Robot và Hệ thống tự hành: Kết hợp dữ liệu cảm biến (hình ảnh, LiDAR) với các hướng dẫn vận hành (văn bản).

Lợi ích chính

• Hiểu biết ngữ cảnh sâu sắc hơn: Vượt ra ngoài việc đối sánh từ khóa để đạt được sự thấu hiểu ngữ nghĩa thực sự.
• Tăng độ chính xác: Giảm thiểu lỗi bằng cách xác thực chéo thông tin trên các nguồn dữ liệu khác nhau.
• Trải nghiệm người dùng nâng cao: Cung cấp các tương tác trực quan và toàn diện hơn cho người dùng cuối.
• Thông tin chi tiết phong phú hơn: Khai phá các mẫu hình vô hình khi các luồng dữ liệu bị cô lập.

Thách thức

• Chi phí tính toán: Việc xử lý và căn chỉnh nhiều luồng dữ liệu nhiều chiều đòi hỏi tính toán chuyên sâu.
• Căn chỉnh dữ liệu: Đảm bảo sự căn chỉnh về thời gian và ngữ nghĩa giữa các đầu vào dữ liệu khác biệt (ví dụ: khớp một từ cụ thể được nói với khoảnh khắc chính xác trong video).
• Độ phức tạp của mô hình: Việc phát triển và huấn luyện các mô hình hợp nhất xử lý sự khác biệt cố hữu giữa các phương thức đòi hỏi chuyên môn ML tiên tiến.

Các khái niệm liên quan

• Kiến trúc Transformer: Công nghệ nền tảng cho phép chú ý đa phương thức (cross-modal attention).
• Cơ sở dữ liệu Vector: Thiết yếu để lưu trữ và truy vấn các nhúng chung được tạo ra bởi các mô hình đa phương thức.
• AI Tạo sinh (Generative AI): Thường là lớp đầu ra của một quy trình làm việc đa phương thức thành công, tạo ra nội dung mới dựa trên các đầu vào được hợp nhất.