11月4日,第二届开放原子开源基金会OpenHarmony技术大会在北京圆满举办。在下午举办的OS原生智能分论坛中,华为昇思MindSpore总架构师金雪锋担任出品人,华为AI大模型应用开发平台架构师王磊担任主持人,与来自华为、中软国际有限公司、深圳市若芯科技有限公司等企业界技术领袖和来自清华大学、上海交通大学等学术界专家学者分享了各自领域在OpenHarmony生态中结合AI大模型相关技术如何进行技术创新、突破技术难题,并共同探讨了未来AI大模型与终端操作系统相结合的技术发展趋势,为共建OpenHarmony繁荣生态贡献力量。

出品人:华为昇思MindSpore总架构师金雪锋

主持人:华为AI大模型应用开发平台架构师王磊

首先,来自清华大学的助理研究员李元春就《大模型驱动的终端智能代理》课题进行了报告分享,介绍了一种大模型驱动的智能个人代理系统的设计与实现,分享了如何通过对移动应用的自动分析和大模型知识嵌入,将应用内部的领域知识与大模型的常识知识有机结合,实现更准确高效的任务自动化。李元春指出,智能个人代理一直是终端系统研究人员和开发者关注的关键技术之一,然而由于用户意图理解、任务规划、工具使用等能力的不足,目前智能个人代理的智能程度和可扩展性仍有较大缺陷。大语言模型的出现则解决了这些难点,李元春表示:“以大语言模型为代表的大模型的出现为该领域的发展带来了崭新的机遇,有望通过强大的语义理解和常识推理能力大大提升智能个人代理支持功能的广度和深度。”

清华大学助理研究员李元春主题分享

中软国际有限公司智能物联网军团产品研发管理部总经理、OpenHarmony项目群技术指导委员会委员张兆生基于自身在大模型及端边协同领域的深厚洞察,带来了题为《视觉大模型在OpenHarmony的端边云侧应用》的报告。他指出,智能化时代,随着大模型和算力底层技术的不断完善,大模型部署在边缘侧与终端侧成为必然趋势。他高度肯定了OpenHarmony担当数字底座的价值与意义,“OpenHarmony作为万物互联时代的技术底座,可以广泛应用于多种算力场景,满足了多联接、高实时和海量异构数据的业务需求,起到了向下发挥硬件算力,向上使能海量应用的作用。”在张兆生看来,以OpenHarmony为根基融合边端大模型能力,构建端边协同业务场景,可以为行业提供更有竞争力的创新解决方案,加速拓展生态。

中软国际有限公司智能物联网军团产品研发管理部总经理、OpenHarmony项目群技术指导委员会委员张兆生主题分享

华为小艺架构师周剑辉基于华为小艺在终端产品的智能化服务技术思考,带来了《基于意图框架的端侧原生智能大模型生态建设探索》主题报告。这篇报告中提到,意图框架是系统级的意图标准体系,通过多维系统感知、大模型等能力构建全局意图范式,实现对用户显性与潜在意图的理解,并及时、准确地将用户需求传递给生态伙伴,匹配合时宜的服务,为用户提供多模态、个性化的进阶场景体验。

华为小艺架构师周剑辉主题分享

上海交通大学计算机科学与工程系副教授郑文立聚焦于机器学习方法,带来《端边云协同推理中的深度神经网络动态分割》的报告。在端边云环境下,为了匹配网络负载与服务器负载的动态变化,郑文立教授提出了基于机器学习的DNN分割优化算法,并将其实现在昇思MindSpore上,使之能在执行多种常见的CNN、RNN时自动调整它们跨端、边/云两侧的分布,从而保持最低的推理延迟。同时,他还指出,“资源限制是边缘计算面临的主要挑战,设法突破资源限制才能最大化边缘优势,使智能真正走进每个人的生活。”

上海交通大学计算机科学与工程系副教授郑文立主题分享

来自华为诺亚方舟实验室的研究员侯璐则在现场分享了《大语言模型的压缩加速和高效部署》,这一报告从架构设计、成本、吞吐、时延、长序列等方面介绍大语言模型在推理阶段面临的内存、访存和计算的挑战,以及模型和KVcache量化压缩、融合大算子和投机式推理在大语言模型高效推理带来的收益。

华为诺亚方舟实验室研究员侯璐主题分享

深圳市若芯科技有限公司CTO周芃带来了《无处不在的智能:端侧类脑大模型的应用与解决方案》的演讲,面向参会者介绍了面对大语言模型的算力开销问题,以及如何采用类人脑处理信息的方式对Transformer架构进行改进。通过使用第三代神经网络SNN搭建神经网络,将网络中的数据使用脉冲序列进行存储和传输,在不影响网络智能程度的同时,极大地降低了推理开销。周芃表示,“使用该项技术训练的大模型,不仅做到同参数级别能耗、延时、算力要求最优,也成功具备了在消费级设备本地部署运行的能力。

深圳市若芯科技有限公司CTO周芃主题分享

华为昇思MindSpore架构师李政结合MindSpore框架技术探索及实践经验,分享了《MindSpore端侧大模型部署助力OS智能化》的报告,讲解如何解决AI大模型的部署与应用挑战。李政提到,“生成式AI大模型正悄然改变人们工作和生活,AI大模型与智能终端相结合势必引发新的体验。然而受终端设备算力和存储制约,AI大模型端侧部署面临诸多挑战”。他在报告中介绍了MindSpore在大模型端侧部署及推理加速已展开的探索和相关技术思路。作为云端边全场景训推一体开源AI框架,MindSpore深度参与HarmonyOSAI智能业务场景的性能优化,大量落地华为手机、平板、手表、笔记本、智慧屏、智能车等终端产品。

华为昇思MindSpore架构师李政主题分享

在OS原生智能分论坛的最后环节,由论坛主持人华为AI大模型应用开发平台架构师王磊,出品人华为昇思MindSpore总架构师金雪锋及演讲嘉宾进行了主题为“端侧大模型及应用的技术前沿挑战及解决方案思路”的圆桌讨论,进一步深入探讨了OS原生智能下的AI应用架构和框架、模型训推框架、模型架构及算法方面的技术构想和思路。

“端侧大模型及应用的技术前沿挑战及解决方案思路”圆桌讨论

至此,第二届OpenHarmony技术大会OS原生智能分论坛圆满落幕。各位技术专家与业界大咖的分享,展示了OpenHarmony在原生智能领域的技术潜力与应用实践,也展望了AI大模型与操作终端深度结合后,必将带来大模型扩展能力边界、终端设备更加智能的“双赢”前景。而随着越来越多原生智能领域的技术专家和行业精英加入OpenHarmony社区,也必将推动OpenHarmony生态枝繁叶茂。期待更多伙伴加入OpenHarmony技术和生态共建中,携手以“技术筑生态,智联赢未来”。