摘要：营销服经过多年的数智化探索，未来即将走进AI技术的深水区。作为感知智能、认知智能、决策智能和生成式AI四大类技术的综合呈现，多模态交互可谓是实现营销服数智化的关键技术。本文作者系中关村科金技术副总裁张杰，分享了多模态交互在数智化营销服中的技术实践。

【资料图】

关键词：人工智能、多模态交互、人机协同、营销服、数字化转型

营销服数智化进入人机协同阶段

数字经济从2019年起已连续4年写入政府工作报告，数字经济被看作是与农业经济、工业经济相对应的新的经济形态，数字化转型实际上是从工业经济向数字经济的转变。在如今这样一个充满不确定性的经济环境中，企业竞争的一个关键生产要素就是数据，或早或晚，任何组织都会走上利用数据创造价值的道路。

然而，数据本身很少直接创造价值，而是依托具体的业务场景。营销服是大多数企业都会涉及到的核心价值创造过程，也是数字化转型中最容易见到成效的环节，尤其是对于产品品类繁多或者业务逻辑复杂的行业。企业数字化转型必然要经历三个阶段：信息化、网络化和智能化。信息化是将核心生产要素（如：人、机、料、法、环）和关键价值创造过程（如：研、产、营、销、服）纳入信息系统。网络化是通过大数据、区块链等技术连接企业内外部数据，消除信息孤岛。智能化是通过人工智能等技术辅助操作和决策，达到降本增效、开源节流的效果。

营销服经过前些年的数智化探索，未来即将走进AI技术的深水区，主要原因在于：随着大数据和AI技术的普及，很多企业对技术的心理预期和业务效果比较基线被拉高了，进一步的效果提升依赖更复杂的AI技术。同时，越来越多的传统企业启动数字化转型项目，其中不乏产品种类繁多、业务流程繁琐的企业，浅层AI技术无法满足业务需求。拿呼叫中心举例：第一代呼叫中心基本上是拿到客户名单后做盲打；第二代呼叫中心为客户添加了一些属性维度，通过精准营销模型做筛选和排序后再拨打；而新一代呼叫中心则要求从系统日志中沉淀出优秀话术，并根据客户属性将话术素材组织成标准操作流程，企业不但希望系统告诉它哪些客户可营销，还希望在一步步地话术提示下营销。

营销服数智化不单是技术问题，还是管理问题，最终可能都会涉及流程变革，将以往人工主导的方式改造成人机协同的方式。人机协同是一门综合学科，它与人机工程学、多媒体技术、计算机科学、机器学习、认知心理学等密切相关，它通过合理有效的交互协调机制，集成人类智能和人工智能，由人类和机器人一起组成团队，自主交互，协作共赢。

多模态交互是实现人机协同的重要途径

传统的营销服系统（如呼叫中心、客服系统）仅仅起到连接客户（Customer）和客户经理（Agent）的通道作用，系统本身没有决策能力。

在数智化阶段，企业需要的不仅仅是另外一款连接用户的沟通系统，还希望系统具备以下能力：

01实时交互能力

适时地介入到客户经理与客户的交互过程中，在其中增加客户与机器的交互、客户经理与机器的交互，判断哪些任务交给客户经理、哪些任务交给后台机器人处理，并且选择适当的交互方式。

02客户洞察能力

全方位地了解客户，既知道客户的基本属性，又能精准感知到客户当前的情绪状态和潜在需求。

03业务决策能力

同时具备领域事实知识（如产品、竞品）和领域技能知识（如营销话术、售后处理流程）。

04最佳实践总结能力

快速发现用户需求及其变化趋势，并总结出应对的最佳实践。在总结过程中，最好能通过傻瓜式的工具简单、快速地完成，形成人机协同的闭环。

无论是售前营销还是售后服务，数智化的背后都依赖多模态交互技术的支撑，都是感知智能、认知智能、决策智能和生成式AI这四大类技术的综合呈现，多模态交互是实现营销服数智化的关键技术。

三个模块组成多模态交互引擎

中关村科金在过去8年间，服务了金融、零售、教育、医疗、智能制造等多个行业的500多家头部企业，在营销、服务、运营的三大类环节中提供了200多个细分场景的解决方案。基于上述经验，中关村科金打造了一款多模态智能交互引擎，主要包含三部分：多模态感知系统、领域知识中台和交互式决策引擎，其逻辑架构如下图所示。

01多模态感知系统

主要负责理解用户的意图和深层次需求。该系统的输出是对客户的结构化表示，包含但不限于：客户人口统计学标签、客户短期状态标签、环境上下文特征、客户意图的类别标签或嵌入式表示。

02领域知识中台

主要负责对企业内的领域知识做全生命周期管理。通过与知识官人机交互的方式将企业的核心生产要素、核心价值活动做统一化、标准化处理，帮助企业解决知识难以集中管理、难分享、难传承的问题。领域知识中台可以同时支撑对内的知识检索、员工培训以及对外的精准营销、客服系统等，具体内容包含但不限于：经营策略集、交互策略集、领域知识库等。

03交互式决策引擎

主要负责两类工作，一方面是实时客户交互，通过对客户的感知洞察，找到匹配的标准化策略，选择与客户经理协同的机制（如：互补人机协同机制、混合人机协同机制、多人多机协同机制），并在客户交互中达成营销服目标；另一方面是在交互过程中，发现现有活动策略的不足，通过流程挖掘的方法找出潜在的最佳实践。

全栈科技能力的挑战

数智化营销服系统需要汇总的信息类型非常多，判断的逻辑和流程非常复杂，它既是对产品设计能力的考验，也是对ICT综合技术能力的考验。其中，面临的技术挑战可以归纳为四个方面：

01感知层面

如何在高并发、全渠道（如官网、APP客户端、小程序、官方微信公众号等）、全媒体（文本、语音、视频等）环境下，兼顾系统稳定性、客户便利性、识别准确性？这其中涉及融合通信、音视频编解码、融合通信、语音识别、图像识别、自然语言理解、数字人渲染等技术。

02认知层面

如何从繁杂的系统日志中将隐性知识挖掘出来并做显性化表示？如何解决领域知识库的冷启动问题，降低人工标注成本高？如何使各类知识、模型具备更新迭代能力，适应客群特征和外部环境的快速变化？这其中涉及流程挖掘、知识图谱、在线学习、主动学习、冲突监测等技术。

03决策层面

如何从历史日志中挖掘出最优执行策略（如优秀话术）？如何基于客户特征和环境上下文等信息，自动地探索出潜在的执行策略以弥补现有策略集的不足？这其中涉及强化学习、因果推断、反事实干预等技术。

04应用层面

如何在人机切换时保持平滑的用户体验？如何在客户需求不明确的情况下逐步引导客户？如何在技术准确度不够时通过产品设计来弥补？如何让不懂AI的运营人员经过短时间培训就能接手整个系统？这其中需要恰当的人在回路（human-in-the-loop）的产品设计，需要对行业有深刻理解的产品经理，也需要经过与业务专家的长期共创。最好的AI是让用户察觉不到的AI。

多模态交互典型应用场景

新技术促生新场景，新场景激发新技术。移动网络下的音视频通信技术使得很多业务可以线上办理，生物识别技术使得身份伪造的成本变得越来越高......中关村科金将音视频通信、人工智能、大数据技术进行深度融合，并在金融、零售、教育、医疗、智能制造等产业的多个行业场景落地。几类典型的应用场景包括：

总结与展望

数字经济是以新一代信息技术和智能技术为基础设施和创新要素，以业务赋能和产业创新为核心内容，具有数据驱动、人机协同、跨界融合、共创分享四大特征。企业数字化转型在催生新需求、新业态的同时，通过多模态交互的方式重塑企业的生产流程。营销服的数智化已经在数据基础较好的互联网行业和金融行业中呈现出了从降本增效、到流程重塑、再到改变行业格局的态势，在更多的传统行业中也有很多成熟的应用案例。

中关村科金的多模态交互引擎是面向企业营销服数智化的全生命周期、一站式的解决方案，它通过多模态客户洞察组件感知客户需求，通过领域知识中台对业务知识进行聚合、关联、融合、补全等形式的再组织，形成领域事实知识库（KnowWhat）和策略集（KnowHow），最后再在交互式决策引擎的辅助下以人机协同的方式服务客户，持续挖掘智慧金融、智慧政务、智慧零售等领域智能科技的创新场景应用，促进人工智能与实体经济深度融合。