面向国产化生态的模型推理优化支持技术及应用适配

傅 文琦, 朱 奕健, 顾 剑峰
联通（上海）产业互联网有限公司

摘要

国产化生态持续完善且自主可控需求不断增强，在此情况下人工智能应用落地的重要环节是模型推理的高效适配。
以近一年的技术实践为基础针对国产 CPU、GPU、NPU 和本土操作系统分析模型在不同推理场景的性能瓶颈、迁移障碍
并提出优化路径且要兼顾精度、时延、能耗和稳定性。研究方法包括构建统一中间表示、算子标准化与内核加速、量化与
结构压缩、运行时调度与资源管理以及针对行业应用的端边云协同部署策略，结果表明优化后的推理系统典型任务延迟降
低超 20%、能效比提升约 15% 且安全可控与合规性方面满足业务要求。结论是系统化的优化支持技术与应用适配能有效提
升国产化生态下模型推理的可用性和工程价值并给后续行业推广提供可复制的技术参考。

关键词

国产化生态；模型推理优化；算子加速；量化压缩；端边云协同；安全合规

参考

[1] 段柳成 , 肖巧玲 , 金怡 , 等 . 大模型时代国产大算力

GPU 的关键挑战与发展路径 [J]. 人工智能 ,2025,(03):8-21.

[2] 刘磊 , 卢国彬 , 杜科 , 等 . 大模型运管平台建设实践

与技术优化 [J]. 信息技术与标准化 ,2025,(06):71-77.

[3] 刘磊 , 卢国彬 , 杜科 , 等 . 大模型运管平台建设实践

与技术优化 [J]. 信息技术与标准化 ,2025,(06):71-77.

[4] 李俊伟 , 林龙 , 王力华 . 基于国产化生态系统的医院

信息系统智能运维助手构建与应用 [J]. 中国卫生信息管理杂

志 ,2025,22(01):14-19+25.