Định nghĩa

Bộ xử lý thần kinh (Neural Engine) là một đơn vị xử lý chuyên dụng, thường được tích hợp vào Hệ thống trên Chip (SoC), được thiết kế đặc biệt để xử lý các phép toán toán học chuyên sâu mà các mô hình Trí tuệ Nhân tạo (AI) và Học máy (ML) yêu cầu. Không giống như CPU đa dụng hay thậm chí là GPU tiêu chuẩn, Bộ xử lý thần kinh được tối ưu hóa cho các phép nhân ma trận và phép tích chập song song, vốn là nền tảng của học sâu.

Tại sao nó lại quan trọng

Sự trỗi dậy của các ứng dụng AI phức tạp—chẳng hạn như nhận dạng hình ảnh thời gian thực, xử lý ngôn ngữ tự nhiên và phân tích dự đoán—đòi hỏi sức mạnh tính toán khổng lồ. Các bộ xử lý truyền thống có thể hoạt động kém hiệu quả khi chạy các mô hình này, dẫn đến độ trễ cao và mức tiêu thụ điện năng đáng kể. Bộ xử lý thần kinh giải quyết vấn đề này bằng cách cung cấp khả năng tăng tốc phần cứng chuyên dụng, hiệu suất cao, cho phép các tác vụ AI phức tạp chạy cục bộ, nhanh hơn và với mức tiêu thụ năng lượng thấp hơn.

Cách thức hoạt động

Về cốt lõi, Bộ xử lý thần kinh được thiết kế kiến trúc để thực hiện các phép tính mạng nơ-ron với khả năng song song cực cao. Nó được chế tạo để thực hiện suy luận—quá trình sử dụng một mô hình đã được huấn luyện để đưa ra dự đoán—rất nhanh. Nó đạt được điều này thông qua các mảng systolic chuyên dụng hoặc các cấu trúc tương tự, cho phép hàng nghìn phép toán nhân-cộng (MACs) xảy ra đồng thời. Sự chuyên biệt hóa này giúp bỏ qua chi phí liên quan đến các tập lệnh đa dụng, làm cho nó lý tưởng cho các phép tính có cấu trúc và lặp đi lặp lại vốn có trong mạng nơ-ron.

Các trường hợp sử dụng phổ biến

Bộ xử lý thần kinh là các thành phần quan trọng trong nhiều công nghệ hiện đại:

• AI trên thiết bị: Cho phép các tính năng như phiên âm giọng nói thời gian thực hoặc nhận dạng khuôn mặt trực tiếp trên thiết bị di động mà không cần kết nối đám mây liên tục.
• Xử lý hình ảnh và video: Cung cấp sức mạnh cho các tác vụ thị giác máy tính tiên tiến, chẳng hạn như phát hiện đối tượng và phân đoạn cảnh trong xe tự hành hoặc camera an ninh.
• Xử lý ngôn ngữ tự nhiên (NLP): Tạo điều kiện cho việc thực thi nhanh chóng, cục bộ các mô hình ngôn ngữ cho các tác vụ như phân tích cảm xúc hoặc văn bản dự đoán.
• Bảo trì dự đoán: Chạy các mô hình ML nhẹ trên các thiết bị biên để dự đoán sự cố thiết bị.

Lợi ích chính

Các lợi ích chính của việc sử dụng Bộ xử lý thần kinh có ba khía cạnh: hiệu năng, hiệu suất và độ trễ.

• Hiệu năng cao: Đạt được thông lượng cao hơn đáng kể cho các khối lượng công việc AI so với CPU.
• Hiệu suất năng lượng: Thực thi các mô hình phức tạp bằng mức năng lượng ít hơn nhiều, điều này rất quan trọng đối với các thiết bị chạy bằng pin.
• Độ trễ thấp: Cho phép ra quyết định gần thời gian thực bằng cách xử lý dữ liệu cục bộ tại biên.

Thách thức

Mặc dù mạnh mẽ, việc triển khai và tối ưu hóa cho Bộ xử lý thần kinh đặt ra những thách thức. Lượng tử hóa mô hình (giảm độ chính xác của trọng số và kích hoạt) thường là cần thiết để đưa các mô hình vào giới hạn của bộ xử lý một cách hiệu quả. Hơn nữa, các nhà phát triển phải sử dụng các framework và trình biên dịch được tối ưu hóa đặc biệt để ánh xạ đồ thị ML của họ một cách hiệu quả lên kiến trúc độc đáo của bộ xử lý.