pg电子游戏下载app新闻

2022年7月11日

ClearBuds:第一款利用深度学习来清除通话的无线耳机

pg电子游戏下载app新闻

一个人戴着耳机,看着自己的手机,手机上显示着ClearBuds的应用程序. 应用程序显示了左右耳塞的详细信息,并有选项打开噪音抑制.

ClearBuds使用了一种新颖的麦克风系统,是第一个实时操作并在智能手机上运行的机器学习系统.雷蒙德·史密斯/pg电子客户端

随着会议在新型冠状病毒肺炎封锁期间转移到网上, 很多人发现,室友喋喋不休, 垃圾车和其他巨大的声音打断了重要的谈话.

这段经历启发了pg电子客户端的三位研究人员, 疫情期间谁是室友, 开发更好的耳塞. 提高说话人的声音,减少背景噪音, “ClearBuds”使用了一种新颖的麦克风系统和第一批实时操作的机器学习系统之一,并在智能手机上运行.

研究人员 6月30日提交了这个项目 在ACM移动系统、应用和服务国际会议上.

ClearBuds与其他无线耳机的区别在于两个关键方面,合著者说 Maruchi金他是保罗克. 艾伦计算机科学学院 & 工程. 首先,ClearBuds使用了双麦克风阵列. 每个耳塞上的麦克风可以产生两个同步的音频流,提供信息,并允许pg电子客户端在空间上以更高的分辨率分离来自不同方向的声音. 其次,轻量级的神经网络进一步增强了说话人的声音.”

而大多数的商业耳塞在每个耳塞上都有麦克风, 每次只有一个耳机在主动向手机发送音频. 使用ClearBuds耳机,每个耳塞都会向手机发送一串音频. 研究人员设计了蓝牙网络协议,允许这些数据流在70微秒内同步.

该团队的神经网络算法在手机上运行来处理音频流. 首先,它会抑制任何非声音的声音. 然后它会隔离并增强两个耳塞同时传来的任何噪音,也就是说话人的声音.

因为说话人的声音离两个耳塞很近,而且距离大致相等, 通过训练,神经网络可以只关注他们的讲话,并消除背景音, 包括其他的声音,合著者说 伊珊Chatterjee他是艾伦学院的博士生. “这种方法和你自己耳朵的工作原理非常相似. 它们利用声音到达你的左右耳之间的时间差来判断声音来自哪个方向.”

一个环形电路靠在两个3D打印的耳塞盒上

这里显示的是3D打印耳塞外壳前的ClearBuds硬件(圆形磁盘).雷蒙德·史密斯/pg电子客户端

当研究人员将ClearBuds和苹果AirPods Pro进行比较时, ClearBuds表现更好, 在所有测试中实现更高的信噪比.

“考虑到pg电子客户端的神经网络必须在不到20毫秒的时间内运行,而iPhone的计算能力只是大型商业显卡的一小部分,这是非常了不起的, 哪一个通常用于运行神经网络,合著者说 Vivek Jayaram他是艾伦学院的博士生. “这是pg电子客户端在这篇论文中必须解决的挑战的一部分:pg电子客户端如何在保持输出质量的同时减少传统神经网络的大小?”

研究小组还在“野外”对ClearBuds进行了测试,他们记录了八个人阅读的声音 古登堡计划 在嘈杂的环境中,如咖啡店或繁忙的街道上. 然后,研究人员让37人对这些10到60秒的录音片段进行打分. 参与者认为通过ClearBuds的神经网络处理的片段具有最好的噪音抑制和最好的整体聆听体验.

ClearBuds的一个限制是,人们必须同时佩戴两种耳塞才能获得噪音抑制的体验, 研究人员说.

但这里开发的实时通信系统可以用于各种其他应用, 研究小组称, 包括智能音箱, 跟踪机器人的位置或搜索和救援任务.

该团队目前正在努力让神经网络算法变得更稳定 更高效的 这样他们就可以通过耳机运行了.

其他的合作者 爱尔兰共和军Kemelmacher-Shlizerman艾伦学院(Allen School)副教授; Shwetak帕特尔, a professor in both the Allen School 和 the electrical 和 computer engineering department; 和 Shyam Gollakota史蒂文·塞茨两人都是艾伦学院的教授. 这项研究由美国国家科学基金会和pg电子客户端现实实验室资助.

如需更多信息,请与团队联系 clearbuds@cs.华盛顿.edu.

标签: