海若讲堂丨浪潮云朱芳娟:浪潮海若大模型及智能体
2024年政府工作报告提出,大力推进现代化产业体系建设,加快发展新质生产力。智能化、数字化是新质生产力的重要特征,推动数据要素与技术、资金、人才等要素协同融合,已成为发展的关键。
当前,国内通用大模型、行业大模型、端侧大模型如雨后春笋般涌现,大模型的应用落地将进一步提速。在此过程中,浪潮云率先入局,积极探索数据要素价值释放路径,发挥数据与行业的融合优势,打造了浪潮海若大模型,助力产业增强赋智创新能力。
5月9日,由浪潮云主办的「海若讲堂」首场直播特别邀请到浪潮云海若大模型产品总监朱芳娟,为我们深入解读海若大模型及智能体的相关背景、核心技术以及行业落地经验,看浪潮云如何化繁为简,让大模型训练触手可及,在无缝衔接技术与实践的过程中,开启智能新时代!
Q:浪潮海若大模型产生的契机?
朱芳娟:随着数字经济的持续发展,以大模型为代表的智能技术发展迈向新阶段,新应用、新生态不断涌现,行业用户亟需大模型带来更丰富、更多样的场景加速推动智能化转型、提高生产力,但是大部分政企用户自身并不具备打造行业专属大模型的能力。在此背景下,浪潮云在打造稳健的数据基础设施之上,推出浪潮海若大模型,打造以数据和大模型为支撑的面向不同行业的数智化场景服务能力,为发展新质生产力蓄势赋能。
当前大模型在落地行业过程中,面临模型训练成本高、数据安全要求高、行业个性化需求多、驻场支撑人员匮乏等挑战,但是浪潮云凭借在全国布局的120余个云中心,以及服务全国245个省市政府的实践积累,具备丰富的数据工程经验,能够为大模型落地行业提供强大的算力支撑、安全可信的数据训练服务、多样化的大模型服务、本地化训练推理人员服务,加速海若大模型的训练优化与落地应用,为政企行业客户提供更加精准、更加智能的支持和服务,加速政企行业客户智能化转型升级。
Q:请详细介绍一下海若大模型的优势?
浪潮海若大模型定位行业大模型,首批面向政府、交通、应急、制造、医疗、农业六大行业,具备可信赖、易落地、可持续三大核心优势。依托海若完整产品矩阵,浪潮云能够帮助用户打造行业专属大模型,并基于在全国布局的分布式算力平台,实现带算力入场,对于政务云覆盖用户,只需1天时间即可实现海若快速交付,其他行业最长不超过1个月。此外,结合20年行业经验,浪潮云持续打造和完善行业智能体商店,每个行业智能体商店将覆盖200余个典型应用场景,为行业用户提供更加精准、更加智能的支持和服务。
在产品架构方面,浪潮云构建了一整套覆盖“海若大模型引擎、海若智能体工厂、海若智能体商店、模型开发平台、模型安全卫士”在内的核心产品架构,通过知识检索库、Prompt库等核心能力库,不断为多元化场景提供底层支撑。
其中,海若大模型开发平台(ModelOps)提供了覆盖数据工程、大模型训练、大模型仓库、大模型评测等一站式能力;围绕训练任务自动化管理、训练过程异常检测、训练容错处理、训练优化等几个方面进行了工程化能力的构建。海若大模型应用开发平台(AgentStore)可以快速打造各种Agent场景应用,具备低门槛、可视化等能力。
Q:海若大模型如何落地?
在落地方法论方面,浪潮云总结出行业落地三步法:第一阶段是以分布式云节点支持灵活部署多元算力环境,实现快速交付,开箱即用;第二阶段是借助专有数据进行训练,精调模型;第三阶段是以业务驱动,通过打造全流程一体化的海若模型开发平台和海若智能体工厂,实现持续迭代。
浪潮海若行业大模型通过采用MoE架构、全面优化RAG、全链路安全防护等举措实现关键技术创新,解决了行业用户在大模型落地过程中所关注的运行成本、准确性、安全性等问题。基于分布式云模式所打造的大模型服务,可以最大化保障大模型输出标准化的产品,预训练以及算法等工作可以在中心节点完成,满足行业客户的定制化需求,还能结合客户自身数据和实际业务场景实现本地化交付,最大限度地保障行业客户的本地数据安全。
在国内通用大模型、行业大模型、端侧大模型持续涌现的现状下,浪潮云将继续携手生态伙伴,深挖数据要素价值,推进海若大模型在各行各业的快速落地,为新质生产力的发展添砖加瓦,为数字中国、数字经济、数字社会的建设贡献力量。