定义

可解释评分是指为预测模型生成的输出或“分数”提供清晰、人类可理解的理由的过程。它不只是简单地返回一个概率（例如，85%的违约可能性），而是详细说明为什么会分配该分数，并突出显示最具影响力的输入特征。

为什么重要

在金融、医疗和保险等受监管的行业中，“黑箱”模型是不可接受的。可解释评分确保了问责制并建立了用户信任。企业不仅需要知道模型预测了什么，还需要知道它为什么做出该预测，这对审计、调试和获得利益相关者支持至关重要。

工作原理

解释通常是使用应用于已训练模型的事后（post-hoc）技术生成的。这些技术会局部（针对单个预测）或全局（针对整个模型）地探测模型的行为。常见的方法包括 SHAP（SHapley 加性解释）和 LIME（局部可解释模型无关解释），它们量化了每个输入变量对最终分数的贡献。

常见用例

• 信用风险评估： 通过指出高债务收入比或较短的信用历史来解释为什么贷款申请获得了较低的批准分数。
• 欺诈检测： 详细说明哪些交易属性（例如，不寻常的地点、高速度）对高欺诈分数贡献最大。
• 客户流失预测： 识别驱动高流失风险分数的特定因素（例如，最近的支持工单、登录频率下降）。

主要优势

• 监管合规性： 符合 GDPR 的“解释权”和金融法规等要求。
• 偏差检测： 允许分析师发现模型是否不公平地加权了受保护的属性，从而带来更公平的结果。
• 模型调试： 帮助数据科学家快速发现数据漂移或模型行为异常。

挑战

生成忠实的解释是复杂的。解释的保真度（它多准确地反映了黑箱）与其简洁性（业务用户能多容易地理解它）之间通常存在权衡。此外，一些高度复杂的模型本质上很难被完美解释。

相关概念

模型可解释性、特征重要性、反事实解释、算法公平性