一年一度的中国计算机行业顶级盛会 —— CNCC2021（ 中国计算机大会大会) 12 月 16-18 在深圳开幕。InfoQ 正式成为极客传媒 CNCC2021 战略合作媒体。作为合作的一部分，《InfoQ 大咖说》与 CCF 联合推出高端访谈栏目《技术风云》 | 对话 CNCC》。
《技术风云 | 对话 CNCC》高端访谈栏目将以直播对话的形式，从计算机发展的角度出发，特邀 CNCC2021 技术企业的顶尖专家学者和技术领袖围绕 AI、数字化转型、计算 、广泛探讨云计算、开源、芯片等前沿技术，带来学术、技术、产业等全方位深入解读，推动计算领域创新技术的广泛传播、讨论和变革，帮助 IT 从业者开阔视野，紧跟时代。
语音助手被认为是下一代人机交互的入口。近年来，国内外科技公司竞相进入该局。
语音助手被认为是下一代人机交互的入口。近年来，国内外科技公司竞相进入该局。 2 月，OPPO 小布助手月活突破 1.3 成为中国第一个月活用户数超过1亿的手机语音助手。这个数字背后有哪些高增长的秘诀，有哪些技术力量支撑？
10 月 25 日，InfoQ 和 CCF 联合推出的大咖说栏目《技术风云》 | 对话CNCC》第 4 期直播开播。本期大咖说我们邀请了。 OPPO 万玉龙，高级总监，来和我们谈谈 OPPO 小布助手的技术创新和应用实践。
自当天分享以下内容，InfoQ 编辑：
InfoQ：非常感谢万先生的到来。近年来，智能语音助手的发展非常火爆，国内外大厂商都希望抢占智能语音交互的流量入口。那么，对于 OPPO 推出小布助手的初衷是什么？OPPO 小布助手的定位是什么，对其发展的期望和目标是什么？
万玉龙： 小布助手是搭载的 OPPO、Realme 和 OnePlus 这三大 OPPO 智能助手产品的品牌。
我们推出小布助手的初衷是首先希望 OPPO 万物互融新的生态建设服务，成为关键的战略控制点。我们希望依靠它 AI 基于数据智能驱动人机交互的用户体验不断升级。
小布助手的定位不仅限于语音助手，还包括语音、指令、建议、屏幕识别和扫描 5 大能力是人机交互最直接的信息媒介。我们希望通过小布助手为用户提供跨终端、全场景、智能的服务体验。
InfoQ：与朋友相比，小布的差异化有什么优势？
万玉龙： 与朋友相比，我认为小布助手最大的区别在于发展速度。
OPPO 智能助手产品最新推出，但最早月活超过1亿。到目前为止，小布助手已经累计搭载了 2.5 设备亿，月活用户数量突破 1.3 一亿，月交互次数达到 20 亿。
我们的技术研发投资不断增长，取得了丰硕的成果。例如，小布助理的语义理解算法在行业最权威的中文语言理解评价基准上继续处于第一梯队。同时，我们今年也获得了中国信息技术学院组织的安全性、可靠性和隐私性的可信度 AI 证书。
InfoQ：小布助手的整体技术结构是什么？目前迭代了多少版本？有哪些具有代表性的功能点？
万玉龙： 小布助手的整体技术架构与传统智能助手相似，包括端和云计算单元。端侧包括语音算法模块，如音频采集、声学信号处理、人声检测、声纹识别和语音唤醒。同时，端侧还部署了一些能力模块，如指令和推荐。云包括语音识别、语音合成、声纹属性识别、语义理解与对话管理、知识图谱、推荐建议等 AI 能力还包括听歌识曲、音乐理解生成等创新功能模块。
从 2018 年底，小布助手前身推出 Breeno 到目前为止，我们已经迭代了三年。 40 多个版本。
在过去的六个月里，我们推出了一些重要的更新，主要集中在两个方向：能力扩展和交互模式升级。在能力扩展方面，小布助手在语音助手的基础上增加了识别屏幕、扫描、主动建议、视频通话等能力，为用户提供更多维度的智能服务。同时，在最近的迭代中，我们推出了基于虚拟人多模态交互的手机智能助手小布虚拟人。
InfoQ：相比之下，其他一些厂商也推出了自己的虚拟人服务，OPPO 虚拟人发布有什么区别？
万玉龙： 小布虚拟人的第一版实现了天气广播和新闻广播的两个垂直场景。这两个场景更注重信息的反馈表达，可以更好地反映虚拟人的互动价值。
在技术层面，我们在传统语音交互技术基础上针对天气和新闻播报场景做了特定意图的优化定制，同时分析理解所需播报内容文本，生成对应文本所需的动作、表情和嘴形，基于 AI 驱动和智能捏脸等技术生成虚拟人的外观、表情和动作，最终将语音合成的音频与虚拟人的视频进行时间戳对齐融合，实现小布虚拟人产品的最终形式。
与朋友相比，小布虚拟人的应用场景与服务用户群不同。
与朋友相比，小布虚拟人的应用场景不同于服务用户群。小布助手首先是智能助手，已经拥有了 1.3 对于1亿月活跃用户，我们将根据在线真实用户的需求分析进行体验升级，并结合用户的个性化信息，为用户提供更亲密和个性化的互动体验。与此同时，小布也不仅仅是智能助手，我们希望小布能成为数字世界用户的朋友。
未来，我们还将为小布虚拟人提供更个性化的定制能力，逐步开放唤醒词定制、发音人定制、形象定制、个性定制、内容服务定制等开放能力。
目前，我们首先希望能够允许开发者为小布定制更多场景所需的虚拟人，让开发者帮助我们同亿万用户建立技术桥梁，搭载到更多智能设备上。比如在电商场景中定制一些具有品牌特色的带货主播虚拟人，在天气场景中定制具有地域特色的天气主播。目前正在开发这些平台能力，未来将逐步向开发者和用户开放。
InfoQ：多模态交互被认为是智能语音交互领域未来的发展趋势。那么小布助手团队在多模态融合交互方面的研发进展是什么呢？
万玉龙： 多模态集成交互技术分为信息处理和信息表达两个层次。
在信息处理层面，小布已经包含了五种能力，其中屏幕识别和扫描集成了视觉图像算法，形成了多模态解决方案。在信息表达方面，虚拟人本身就是多模式表达技术的尝试。我们希望通过表达、动作、嘴形等方式，使人机交互体验更加自然，提高信息传输效率。
InfoQ：在情感分析方面，用户能感知用户的情绪变化，并在与智能语音助手交谈时做出一些反馈吗？
万玉龙： 情感分析是一个非常大的话题，在行业中，这也是一个难题，涉及多模态技术的整合。通常需要将图像、语音、文本等信息识别结果结合起来，判断用户交互时的情绪，并根据用户情绪实时调整交互策略。
小布试图根据用户的请求文本分析用户当前的情绪状态。例如，当用户表达一些与孤独和悲伤有关的文本时，我们会及时了解用户的情绪，并给予相应的安慰。有些用户的情绪波动很大。当他们非常生气时，我们会试图通过转移主题来平静用户的极端情绪。
我们希望根据声学特征分析，结合声学和文本信息，更好地了解用户。比如 Apple 最近申请的一项专利可以根据用户发出的语音请求的音量实时调整回复用户的音量，这也是类似的想法。
从长远来看，当用户习惯于与智能助手面对面交流时，他们也可以结合视觉信息更深入地了解用户的情绪。例如，用户当前的表情可以根据相机来判断，看看他是否有皱眉、愤怒的表情等，并给出相应的反馈。Google 类似的尝试是基于用户眼睛的焦点来判断用户是否真的在与智能助手交谈。我认为这种技术集成是一个很大的趋势。
刚才提到转移话题，我们时，我们将通过搜索聊天匹配获得一些可能引导用户进入下一个话题的方可能引导用户进入下一个话题的方导用户进入另一个可能让用户缓解情绪的话题。比如试着给用户讲个笑话，或者推荐一些小游戏等等。
InfoQ：作为语音交互产品，小布助手在 OPPO 的 AI 战略在哪里？
万玉龙： 在 OPPO 的 AI 战略里，小布助手是最重要的关键点之一。
智能助手可以帮助用户处理很多事情，缩短用户，智能助手可以帮助用户处理很多事情，缩短用户和服务之间的路径。例如，你可以直接查询天气，通过一句话显示健康码，而不需要单独打开一个 APP。
小布助手希望让用户和服务之间的实现路径越来越短，让用户尽可能懒惰。我认为这是智能助手真正反映价值的一点。
InfoQ：考虑到用户体验指标，哪些指标可以衡量小布助手的准确性？
万玉龙： 小布助手面临的识别场景非常复杂，因为手机经常在嘈杂的环境中使用，而且有很多无效的音频。对于用户来说，无效音频识别不好或不识别，对需求满意度影响不大。
为了评估用户体验，我们将分析用户在线有效音频实际输入的技能领域和场景，建立不同的场景测试集和领域测试集进行分析和评估。
从评价结论来看，我们在一般识别率上仍然满足了大量用户的实际需求，但在聊天等开放场景中仍存在一些小问题，希望在未来能有更多的改进。
InfoQ：应用落地方面，OPPO 小布助手包括智能家居吗？小布助手还在应用哪些场景？
万玉龙： 目前智能家居的核心设备是智能扬声器。
OPPO 我们在智能音箱单品上走得比较晚，但在智能家居场景中也有一些尝试。比如 OPPO 电视支持语音交互，一些可穿戴设备也支持交互。
OPPO 之所以强调万物互融，是因为我们强调用户在多终端的体验是无缝衔接的。小布助手是 OPPO 万物互融战略下最关键的角色之一。ColorOS 它是我们多设备的底层操作系统，我们也实现了一些多设备协同智能的能力。例如，我们可以通过手表和手镯查询手机的位置，当我们找不到手机时，我们可以让手机发出声音等等。未来，我们希望根据用户对智能场景的需求，不断调整战略方向。
InfoQ：小布助手现在应用于哪些行业？OPPO 选择这些行业有什么特别的考虑吗？针对专业性比较高的领域（例如金融）有哪些经验教训？
万玉龙： 目前，小布助手仍围绕着它 OPPO 智能设备的 C 端用户正在进行产品迭代，我们更关注用户体验本身。
我们将继续优化我们的领域技能，基于一些在线不满足的要求。其中一些将涉及跨领域、跨应用程序调度，例如，我们希望通过小布直接满足用户的导航需求。
家用雾化器：「科普」家用雾化器应该这样使用…
我们对行业选择没有特别的偏好，或者根据用户的在线需求分析进行有针对性的优化。
作为手机智能助手，小布满足的很多需求都不是金融等专业领域的需求。它更像是一个全能助手，需要满足用户更广泛的需求，不像导航或金融 APP 等专家助手，能很好地满足垂直领域的需要。
我们中间也踩过一些坑。例如，当用户希望小布完成导航需求时，需要调动导航 APP 以前跟随导航的联动 APP 在联动过程中，一些被识别的导航意图分发给导航 APP，让导航 APP 执行相应的导航任务。 但有时导航 APP 会存在异常情况，拿到指令后没办法很好地执行完成，用户需求并没有被满足。后面我们在跟三方 APP 联动时也会关注他们的异常情况，来保证用户端到端体验。
{n}{n}
Inf
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时候联系我们修改或删除，多谢。
标签：
评论