算力革命！沈抖：百度智能云昆仑芯超节点推理性能飙升 13 倍

百度智能云昆仑芯超节点推理性能提升13倍，得益于其将64张昆仑芯AI加速卡集成于同一机柜，通过更快的机内通信替代机间通信，实现卡间互联带宽提升8倍，单机训练性能提升10倍，单卡推理性能提升13倍。昆仑芯超节点设计：百度智能云发布的昆仑芯超节点，支持将64张昆仑芯AI加速卡集成于同一机柜。这种设计使得单节点性能超强，一个机柜的算力相当于过去100台机器。性能提升原理：昆仑芯超节点以更快的机内通信替代机间通信，有效降低了带宽成本。这种设计实现了卡间互联带宽提升8倍，单机训练性能提升10倍，单卡推理性能提升13倍。实际应用效果：昆仑芯超节点在实际应用中展现出了卓越的性能。例如，在招商银行与百度智能云的算力合作中，昆仑芯P800稳定支撑各类开源大模型，在智能客服、多模态数据分析等场景中显著提升业务效能。百舸推理加速能力的配合：百度智能云全面升级了百舸推理加速能力，通过大规模分布式推理的PD分离技术，支持客户根据不同业务场景特点灵活设置PD配比，并实现token级别的PD负载均衡。百舸还针对MOE模型进行了大规模多机专家并行的极致优化，大幅降低推理通信开销，并对核心链路的每个细节进行系统级工程优化，显著提升GPU有效利用率。综合效益：昆仑芯超节点与百舸推理加速能力的结合，使得百度智能云在算力性能与成本控制上实现了重大突破。这种系统级智能基础设施为企业大模型应用落地提供了量身定制的最佳解决方案，助力企业实现个性化、智能化的升级转型。