定义

本地副驾驶（Local Copilot）指的是一个完全在用户本地设备（如笔记本电脑、智能手机或专用硬件）上运行的人工智能助手或代理，而不是依赖远程云服务器进行核心处理。与将数据发送到外部进行计算的云端副驾驶不同，本地副驾驶在其用户机器的限制范围内执行其模型和处理数据。

为什么重要

向本地AI的转变主要由对增强隐私、降低延迟和提高操作弹性（operational resilience）的需求所驱动。通过将数据保留在设备上，组织和个人可以对敏感信息获得更大的控制权。此外，消除对网络的依赖确保了即使在连接不良或间歇性的环境中也能保持性能一致性。

工作原理

本地副驾驶利用了经过优化、规模较小的大型语言模型（LLMs）或专门的机器学习模型，这些模型旨在在消费级或企业级硬件上高效运行。这些模型通常经过量化（quantized）或剪枝（pruned）处理，以最大限度地减少计算开销，同时保持特定任务所需的足够准确性。设备的本地CPU、GPU或专用神经处理单元（NPU）负责处理推理过程，从而实现近乎实时的交互。

常见用例

• 私密文档摘要： 在不将机密内部文档传输到第三方服务器的情况下进行摘要。
• 离线代码辅助： 在无法访问互联网时，为开发人员提供代码补全和调试建议。
• 个性化工作流程自动化： 基于本地数据模式自动执行重复性任务，例如整理本地文件或根据本地日历条目起草电子邮件。
• 安全数据分析： 在进行任何必要的云同步之前，对敏感数据集运行初步数据分析。

主要优势

• 增强的数据隐私： 数据从不离开用户控制的环境，从而减轻了与云数据传输相关的风险。
• 低延迟性能： 处理在设备上即时发生，从而产生对交互式应用至关重要的即时反馈循环。
• 操作自主性： 即使网络基础设施发生故障或不可用，功能仍然保持完好。
• 降低运营成本： 减少对持续、高带宽云API调用的依赖。

挑战

• 硬件限制： 运行复杂模型需要大量的本地计算能力（RAM、GPU VRAM），这可能会限制模型的大小和能力。
• 模型优化： 开发既足够小以进行本地执行，又足够强大以发挥作用的模型，仍然是一个重大的工程难题。
• 部署复杂性： 在各种硬件配置上分发和更新优化模型带来了后勤挑战。

相关概念

这项技术与边缘计算（Edge Computing）相交，后者侧重于在更靠近数据生成源的地方处理数据。它也与TinyML密切相关，TinyML涉及在资源极其受限的设备上部署机器学习。