定义

神经引擎是一种专门的处理器单元，通常集成在系统级芯片（SoC）中，专门设计用于处理人工智能（AI）和机器学习（ML）模型所需的密集数学运算。与通用CPU甚至标准GPU不同，神经引擎针对深度学习的支柱——并行矩阵乘法和卷积进行了优化。

为什么它很重要

复杂AI应用（如实时图像识别、自然语言处理和预测分析）的兴起，对巨大的计算能力提出了要求。传统的处理器在运行这些模型时效率可能不高，会导致高延迟和显著的功耗。神经引擎通过提供专用、高效的硬件加速来解决这个问题，使复杂的AI任务能够在本地、更快、更低能耗的情况下运行。

工作原理

从核心上看，神经引擎的架构旨在以极高的并行性执行神经网络计算。它被设计用于非常快速地执行推理——即使用训练好的模型进行预测的过程。它通过专门的脉动阵列或类似结构来实现这一点，这些结构允许数千个乘加运算（MACs）同时发生。这种专业化绕过了通用指令集相关的开销，使其非常适合神经网络固有的重复性、结构化计算。

常见用例

神经引擎是许多现代技术中的关键组成部分：

• 设备端AI： 能够在移动设备上直接启用实时语音转录或面部识别等功能，而无需持续连接到云端。
• 图像和视频处理： 为自动驾驶汽车或安全摄像头中的目标检测和场景分割等高级计算机视觉任务提供动力。
• 自然语言处理（NLP）： 促进语言模型快速、本地地执行，用于情感分析或预测文本等任务。
• 预测性维护： 在边缘设备上运行轻量级ML模型，以预测设备故障。

主要优势

使用神经引擎的主要优势有三个：性能、效率和延迟。

• 高性能： 与CPU相比，为AI工作负载实现了显著更高的吞吐量。
• 高能效： 使用更少的能源执行复杂的模型，这对电池供电设备至关重要。
• 低延迟： 通过在边缘本地处理数据，实现近乎实时的决策制定。

挑战

尽管功能强大，但为神经引擎部署和优化也带来了挑战。模型量化（降低权重和激活的精度）通常是必要的，以便将模型有效地适配到引擎的约束范围内。此外，开发人员必须使用专门针对将他们的ML图有效地映射到引擎独特架构的框架和编译器。