昆仑技术助力滴普科技完成模型迁移调优，加速推进国产化生态建设

人工智能正以前所未有的速度，推动各行各业迈向数智化的新纪元。

滴普科技是一家企业AI基础设施平台和产业生成式AI应用服务商，通过DeepexiOS企业AI平台构建融合知识体系、实现语料加工与应用开发落地以及支持快捷部署和算力集群管理等能力，为客户提供人工智能落地产业的产品和服务，打造核心场景应用，赋能装备制造、零售、交通、医疗等行业的数智化升级。

围绕技术创新和产业发展需求，滴普科技充分发挥在人工智能与数据领域的技术优势，并携手河南昆仑技术有限公司（简称：昆仑技术），积极布局算力，充分结合昇腾在AI上的强大技术能力，把握大模型推理部署和应用新机遇。

解锁AI大模型高效运行 释放算力潜能

AI大模型时代，需要巨大的计算资源来进行训练和推理。但现有的算力基础设施若无法满足上述需求，大模型整体的训练进度和部署效率都将受到制约：

• 算力释放难：为充分利用KunLun G5680 V2计算资源，实现自有 Qwen1.5-32b、Qwen1.5-72b、Reranker模型在GCH硬件上的适配。
• 适配问题多：客户在业务部署的各个阶段均遇到一系列问题。“点亮”阶段：NPU驱动不兼容、集群网络不通等；“跑起来”阶段：模型未适配，迁移过程中遇到训练卡死问题；“用得好”阶段：模型显存占用过大，业务无法在单卡上部署。

推动大模型在产业场景中落地应用

依托软硬深度协同能力，昆仑技术FAE（现场技术支持工程师）团队充分发挥技术优势，逐层拆解问题，快速定位定界，提供从环境部署到业务落地的端到端解决方案，加速客户业务国产化进程：

• “点亮”阶段：针对NPU驱动不兼容和集群网络不通问题，昆仑技术FAE团队提供兼容性配套的系统和驱动版本，结合过往项目的集群交付经验，提供成熟的集群部署指导手册，快速帮助客户完成基础环境部署。
• “跑起来”阶段：针对未适配模型，昆仑技术FAE团队进行模型迁移适配工作，迁移实施前进行充分的可行性分析；迁移过程中深入分析模型参数和日志，解决训练卡死问题；迁移完成后从单机训练拓展到集群训练&微调，快速拉起模型集群测试。
• 用得好”阶段：针对客户Reranker模型显存占用过多的问题，昆仑技术FAE团队通过升级torch版本，对模型进行Quanto量化等优化方案，将模型显存占用从40G降低到19G，优化后的显存占用仅为A800的50%，大大降低客户的业务成本。

数字化与智能化正以前所未有的速度重塑着我们的世界。在这个过程中，昇腾以其强大的计算能力，为数字化与智能化的发展提供了坚实的基础。未来，昆仑技术将继续紧抓 “人工智能 +” 趋势，积极拥抱昇腾根技术路线，在大模型开发的三阶段：点亮、跑起来、用得好，持续构建模型迁移、适配和调优的能力，为行业的数智化转型注入新的动力。