Execution Context
算子融合 (Operator Fusion) 是一种模型优化中的关键技术，它将一系列计算步骤合并为统一的算核。通过合并诸如卷积、激活函数和批量归一化等操作，该功能消除了中间张量的分配和内存传输。这种集成显著降低了延迟，并提高了 GPU 和 TPU 硬件上的吞吐量，从而可以在生产环境中更高效地部署深度学习模型，而无需修改底层模型架构。
融合过程会分析计算图，以识别可以进行数学组合且不改变最终输出结果的相邻操作。
一旦识别出可合并的操作，系统会重写执行计划，将这些合并的操作作为单个原子级内核指令来执行。
这种统一的执行方式最大限度地减少了内存层级之间的数据传输，从而直接提高了计算利用率，并缩短了整体推理时间。
Operating Checklist
分析计算图，以识别连续且数据类型和形状兼容的操作。
评估融合候选方案时，请检查中间张量的大小增长情况以及内存访问模式。
生成一个统一的内核指令，以替代已识别出的离散操作序列。
编译并部署优化后的图，以验证其执行时间是否缩短以及内存占用是否降低。
Integration Surfaces
图分析引擎
自动检测编译模型图中满足融合标准的候选操作序列，该检测基于数据类型和形状进行。
内核生成流水线
为融合操作生成优化的底层代码，目标是特定的硬件加速器，例如英伟达GPU或TPU。
性能分析器
融合后，通过测量延迟降低和内存带宽节省情况，以验证其相对于基准执行的效率提升。
