Định nghĩa

Tự động hóa đa phương thức (Multimodal Automation) đề cập đến việc ứng dụng các hệ thống trí tuệ nhân tạo có khả năng xử lý, hiểu và tạo ra thông tin từ nhiều loại dữ liệu cùng một lúc. Không giống như tự động hóa truyền thống chỉ xử lý một luồng dữ liệu duy nhất (ví dụ: chỉ đầu vào văn bản), các hệ thống đa phương thức tích hợp các đầu vào như văn bản, hình ảnh, âm thanh, video và dữ liệu cảm biến để đạt được sự hiểu biết toàn diện về một tác vụ.

Tại sao nó lại quan trọng

Trong môi trường kỹ thuật số phức tạp ngày nay, dữ liệu hiếm khi đến dưới một định dạng duy nhất. Các tương tác của khách hàng bao gồm các truy vấn bằng lời nói cùng với ảnh chụp màn hình được tải lên. Tự động hóa đa phương thức cho phép các doanh nghiệp vượt ra khỏi việc xử lý dữ liệu biệt lập, giúp AI diễn giải được toàn bộ ngữ cảnh của một tình huống. Điều này dẫn đến việc ra quyết định và kết quả tự động hóa chính xác hơn đáng kể.

Cách thức hoạt động

Các hệ thống này dựa vào các kiến trúc mạng nơ-ron tiên tiến, thường là các mô hình transformer, được huấn luyện trên các tập dữ liệu khổng lồ chứa các phương thức được ghép cặp. Ví dụ, AI có thể được huấn luyện để liên kết một mô tả bằng văn bản ('vòi nước bị hỏng') với một hình ảnh tương ứng của chiếc vòi nước. Khi được cung cấp một hình ảnh mới và một lời nhắc bằng văn bản, mô hình sẽ sử dụng các mối quan hệ đa phương thức đã học được để thực hiện phản hồi tự động chính xác.

Các trường hợp sử dụng phổ biến

• Hỗ trợ khách hàng nâng cao: Phân tích cuộc gọi thoại được phiên âm của khách hàng (âm thanh) cùng với ảnh chụp màn hình lỗi đính kèm (hình ảnh) để chẩn đoán và giải quyết vấn đề ngay lập tức.
• Kiểm soát chất lượng trong sản xuất: Sử dụng thị giác máy tính (hình ảnh/video) để phát hiện các lỗi trên dây chuyền lắp ráp, đối chiếu sự bất thường về hình ảnh với các thông số kỹ thuật kỹ thuật (văn bản) để gắn cờ tự động.
• Kiểm duyệt nội dung: Xem xét nội dung do người dùng tạo bằng cách phân tích chú thích văn bản đi kèm, các yếu tố hình ảnh trong ảnh và bất kỳ siêu dữ liệu liên quan nào để thực thi chính sách.

Lợi ích chính

Các lợi ích chính bao gồm tăng độ chính xác hoạt động, hiểu biết ngữ cảnh sâu sắc hơn và khả năng tự động hóa các tác vụ phức tạp, trước đây đòi hỏi nhiều sự can thiệp của con người. Nó thúc đẩy hiệu quả bằng cách giảm nhu cầu xem xét thủ công trên các nguồn dữ liệu khác nhau.

Thách thức

Việc triển khai các hệ thống đa phương thức đặt ra những thách thức, chủ yếu liên quan đến việc hài hòa hóa dữ liệu và chi phí tính toán. Việc huấn luyện các mô hình này đòi hỏi các tập dữ liệu khổng lồ, được gắn nhãn tỉ mỉ và ghép cặp chính xác các phương thức khác nhau, và sức mạnh xử lý cần thiết cho suy luận đa phương thức theo thời gian thực có thể rất lớn.

Các khái niệm liên quan

Lĩnh vực này có sự chồng chéo đáng kể với AI tạo sinh (Generative AI - tạo ra các đầu ra đa phương thức) và Thị giác máy tính (Computer Vision - tập trung cụ thể vào việc diễn giải dữ liệu hình ảnh). Nó đại diện cho một bước tiến vượt ra ngoài việc tích hợp dữ liệu đơn thuần hướng tới trí tuệ ngữ cảnh thực sự.