DoNews9月13日消息,近日,小米自研声音识别算法取得最新进展,算法模型领先其他机构,性能国际排名第一。小米是在 Google 发布的 AudioSet 音频标记任务中获得的这一突破。
它是音频标记任务影响力最大的数据集,被认为是声音领域的 ImageNet (注:计算机视觉领域最著名的数据集,由著名学者李飞飞等主持发布),权威性颇高。
Google 将 AudioSet 数据集分为三个子集,前两个子集用于训练,被合并称为 “AudioSet-2M”。正是在这个合并后的训练集中,小米的声音识别算法模型首次在业界突破了50 mAP,刷新了音频标记技术指标,成为截至目前性能最好的模型。
此外,小米还发布了一个 Mini 版模型,适合资源受限的场景。该模型的参数量被压缩到了原模型的约九分之一,远小于其他机构的模型,但性能却优于其他所有机构。
这项技术的突破意味着小米的声音识别算法能力再次精进,小米的众多智能硬件设备应用此项技术后,可以更敏锐地捕捉和识别环境声音,大幅提升硬件的智能化程度,从而为用户创造更加便捷的智能生活体验。
不仅如此,小米声音识别算法下的音频标记技术能力,还为业界的前沿研究提供了巨大的技术价值,有力推动了相关研发进程。
(小米自研声音识别算法性能国际排名第一)
小米算法应用场景广泛,AI赋能惠及普通大众
小米此次精进后的声音识别算法,具有极高的应用价值。它能够广泛应用于小米的智能设备中,大幅提升用户的智能生活体验。具体来说,音频标记算法能够识别广泛的环境声音,比如婴儿的啼哭声、动物叫声、汽车引擎声、爆炸声、烟雾警报、门铃声、水流声等,并让环境中的声音以文字等模态表达,让声音被“看”见。这可以让硬件设备更加智能,为用户带去更高效和更准确的声音识别体验。
以搭载在小米手机中的“小米闻声”功能来说,它可以监测 14 种重要的环境音,包括火警、婴儿啼哭、烧水壶声等,并以手机通知栏进行文字推送。这让听力障碍用户得以“看见”生活中的声音,与普通人一样享受智能生活的便捷。小米手环也可以同步显示和接收这样的声音信息。
智能家居设备上的应用则更加广泛。小米的声音识别算法已经应用于众多的智能家居设备中,比如米家摄像头的宝宝哭声监测功能,它能在监测到宝宝哭声的时候,实时向用户手机推送通知。
Xiaomi Sound 音箱也搭载了声音识别功能,它能够识别家用报警器、婴儿啼哭、火警、流水、猫叫、狗叫等六种用户关心的家居环境声音。小米健康 APP 的睡眠鼾声监测,则可以帮助跟踪用户睡眠时的鼾声梦话。
此外,针对家庭场景,小米还对音箱环境音的监测做了特别适配。比如为了避免一开水龙头就触发通知,打扰用户,研发人员将水流声的识别提醒条件改为一分钟之内多次监测到。
这项算法技术还广泛应用于小米机器人的研发中,大幅提升了机器人的感知能力。小米历时10个月全栈自研的第一代全尺寸人形机器人 CyberOne,可以识别 85 种环境声音,能够通过听觉感知 6 类、45 种人类情绪。而小米第二代仿生四足机器人 CyberDog 2 则可以识别 38 种环境声音,实现更强大的动态响应能力。
小米强大的 AIoT 平台生态,为这项算法技术的应用提供了广阔的空间,这也是小米技术研发的先天优势,有丰富的场景推动技术迈向应用层面,让科技成果真正惠及普通大众。
目前,小米的声学语音团队已将自研声学语音技术全面应用于小米手机、音箱、电视、耳机、手表、机器人等 79 个品类,共计 5000多款智能产品中。而小爱同学的月活跃用户数量则达到了1.15 亿,是世界上最忙的语音助手之一。
长期深耕底层技术,小米推动行业前沿探索向前迈进
小米自研声音识别算法的突破,还为业界的前沿研究提供了巨大的技术价值。目前,业内已知的相关研究成果几乎都应用到了预训练的音频标记模型,用作音频编码,为音频领域的研究提供关键的音频信息提取能力。
小米此次在音频标记任务上的出色表现,不仅充分彰显了技术实力,更直接推动了音频领域前沿探索向前迈进。
这是小米又一次展露出深耕底层技术的决心和实力。今年8月,小米对其科技战略进行了升级,提出“选择对人类文明有长期价值的技术领域,坚持长期投入”的科技理念,并指出了具体路径和原则,即深耕底层技术,长期持续投入,软硬深度融合,AI全面赋能。
事实上,历经十三年的发展,小米的技术研发已经从应用层面更多转向了底层技术层面。其中 AI 领域是小米长期持续投入的底层赛道之一。据悉,小米自2016年组建AI团队以来,人工智能团队经过7年6次扩展,人员规模已达3000多人。
同时,小米 AI 技术能力也已经覆盖了视觉、声学、语音、NLP、知识图谱、机器学习、大模型、多模态等众多方向,并全面赋能了手机、汽车、AIoT、机器人等众多业务板块。
2023年4月,小米还正式组建了 AI 大模型团队,全面拥抱大模型,目前陆续有了一些应用尝试。其中第一个应用大模型,就是将智能语音助理小爱同学升级了大模型版本,并开启邀请测试。这次声学语音团队刷新行业音频标记技术指标,再次证明了小米强大的AI实力。
从更全局的视野看,小米的技术体系已蔚然成林,研发布局进入了12个技术领域,包括5G 移动通信技术、大数据、云计算及人工智能,同时基于智能制造,进入机器人、无人工厂、智能电动汽车等,总体细分领域达99项。小米的技术研发还有持续的资金保障,未来五年(2022-2026)研发投入将超过1000亿元。
小米还在持续通过多个层面的努力提升科技创新能力。9月11日,小米正式成立集团科协暨院士专家工作站,携手更多力量、汇聚更多资源进行关键核心技术攻关,加强基础性、前沿性研究和成果转化。
(9月11日,小米集团科协成立暨院士专家工作站授牌仪式在京举行)
中国科协党组成员、书记处书记殷皓在当天的授牌仪式活动中表示,小米集团科协的成立,体现了小米集团高管对科技创新工作的高度重视。他指出,期待小米集团科协充分发挥资源优势,大力普及科学知识,拓展开放合作,共同营造具有全球竞争力的开放创新生态。
中国工程院院士丁文华成为小米院士专家工作站的首位进站院士。他指出,在以手机镜头为代表的成像技术领域,小米实现了光学镜头小型化的重大突破,是行业的佼佼者。
小米已经牵头成立了智能图像处理北京市工程研究中心,他希望未来能够努力升级为国家工程研究中心。他还表示,期待与小米科技工作者团队共同开展关键技术攻关,推动行业向前发展。
在新的科技战略指引下,小米正朝向着世界科技巨头的目标锐意进取。而在历经十三年的丰厚积淀,又汇聚起强大外部科研力量后,小米势必迸发出更加强劲的创新活力。
//= _STATIC ?>
联系地址:北京市海淀区宝盛东路兴华绿色产业楼3层307室(东升地区)
违法和不良信息举报电话:010-87538607 邮箱:
[email protected]
网上有害信息举报专区: www.12377.cn
蜀ICP备2024059877号-1
京ICP证151088号
京网文【2018】2361-237号