• 首页
  • 案例中心
  • 昆仑技术加速北京移动大模型应用拓展,驱动业务创新发展

    昆仑技术加速北京移动大模型应用拓展,驱动业务创新发展

    昆仑技术加速北京移动大模型应用拓展,驱动业务创新发展

    2024年11月13日 阅读 148

    当前,新一代信息技术加速突破,深度融入经济社会民生各领域、全过程,为新质生产力的构建提供重要支撑。

    北京节点的算力建设布局,是北京移动在京津冀蒙四大区域推进算力服务的关键举措。在北京投建首个绿色安全的智算资源,一期规模高达500PFLOPS算力,同时深度推进云边端协同发展,建成边缘节点超过1500个,达成“入网即入云”的优质体验,致力推动算力成为与水、电同等的社会级服务。

    为助力北京移动超前优化布局算力基础设施,昆仑技术提供基于昇腾国产化AI技术的KunLun G5680 V2训练服务器,以稳定可靠的国产化AI算力底座,推进构建安全、高效、可持续的算力生态系统。

    大模型实际应用场景下,由于硬件设备、操作系统、编程语言等多种因素的差异,一个模型在某个平台上表现良好,并不意味着它可以直接迁移到其他平台或设备上。昆仑技术需完成模型迁移与部署,以支撑北京移动高复杂度、高计算需求的大模型训练推理:

    • 项目需在一周时间内完成 llama2-13b、llama3-8b、Qwen1.5-7b、Qwen7b这四个模型的部署,输出详尽的指导文档,并为客户进行效果演示。
    • 在模型迁移过程中,遭遇算子缺失、权重转移失败、依赖库缺失等10余个阻塞性问题,亟待有效解决。

    模型迁移与部署:让AI大模型快速适应新任务

    当前的大模型普遍具有上万亿个参数,训练时常常用到数万亿甚至数十万亿的语料,如何将大模型更快速地部署到实际应用场景中成为重要课题:

    • 硬件选型:模型训练集群采用KunLun G5680 V2全国产化AI训练服务器,在满足安全性要求的前提下提供PFLOPS级别的AI算力。
    • 模型迁移:KunLun AI调优团队通过深入的日志分析迅速精准锁定缺失算子,并提供算子实现的优化解决策略。
    • 模型部署:通过对离线部署流程的优化、采用容器化部署等手段,实现模型的一键部署。

    为国产化算力拓展提供安全可靠的坚实底座

    作为大模型的基石,算力的稳定性与可靠性至关重要。昆仑技术通过为北京移动提供安全可靠的国产化算力底座,助力其为用户提供“算、网、数、模、台”一体化服务能力。

    • 可信硬件底座:通过引入KunLun G5680 V2全国产化AI服务器,同时满足客户对安全性和极高AI算力的需求。
    • 模型迁移适配:一周之内成功完成llama2-13b、llama3-8b、Qwen1.5-7B、Qwen-7B等4个模型的迁移适配和调优工作,同时输出详细的部署指导文档,加速北京移动算力国产化的业务拓展进程。
    • 部署效率提升:通过对离线部署流程的优化、采用容器化部署等手段,实现模型的一键部署,确保模型功能的完整性和稳定性,在无网络机房环境下的大模型迁移调测工作从一周大幅缩短至两天。

    昆仑技术通过助力北京移动大模型应用拓展,共同构筑服务全社会数智化转型的能力中台,为算力新应用提供技术与服务护航。未来,昆仑技术将始终坚持以客户为中心,在AI方面围绕昇腾根技术路线,通过领先的技术、市场和服务能力,提供稳定可靠、安全可信、绿色可持续的算力产品与创新解决方案,持续为客户和伙伴创造价值,助力千行百业数字化转型。

    分享至