此功能使基础设施工程师能够管理包含多种加速器类型的复杂环境。通过管理异构计算资源,组织可以确保最佳的资源分配和能源效率。该系统能够动态地将任务路由到最合适的处理器,无论是高吞吐量的CPU、并行GPU还是专用TPU,从而在满足高要求的AI训练和推理场景下,最大限度地提高吞吐量并降低延迟。
基础设施层会检测工作负载的特性,并自动选择合适的硬件加速器。
调度算法能够实时地在 CPU、GPU 和 TPU 集群之间平衡负载分配。
性能指标汇总用于验证混合架构执行策略带来的效率提升。
根据应用需求,确定目标加速器类型。
配置混合硬件集群的资源亲和性策略。
部署具有特定硬件选择器的容器化工作负载。
监控执行指标,并调整调度参数。
可视化当前硬件利用率,并识别异构资源分配中的瓶颈。
允许工程师为计算架构中的特定加速器类型定义亲和性规则。
跟踪因设备间动态工作负载迁移而产生的吞吐量和延迟提升情况。