国际聋人节:Google 将科技与无障碍设计结合
2018 年奥斯卡最佳真人短片《缄默沉静的孩子》中,当妈妈出门前对莉比说 “拜拜莉比,爱你”的时分,听不见的莉比仅仅看着电视,然而在影片结束,当莉比隔着围栏对家教教师用手语比出“我喜欢你”的时分,莉比对“表达”与“被了解”的巴望直击人心。
本年的 9 月 26 日是第 64 个国际聋人节。据国际卫生组织数据显现,全球有 15 亿人患有某种程度的听力丢失,人工耳蜗和助听器是他们的“义肢”,慢速播映是他们在互联网日子中的常态。好在,科技更迭,给听障人群带来了更多的或许。
打破“妨碍”,让每个人能平等地探究日子和国际。这也成为包含 Google 在内,许多科技企业、社会组织重视的方向。
人工耳蜗语音增强技能研讨
许多耳聋或听障人士无法容易取得无妨碍服务来辅佐日常白话对话,助听器尽管有所协助,但关于听力受损严峻乃至耳聋的人士,就需求凭仗人工耳蜗(CI)。人工耳蜗是一种电子设备,经过外科手术放入内耳中,并经过外部声响处理器将声响信号转换为电信号,影响耳蜗残存的听神经,然后产生听觉。CI 范畴依然面对的首要应战是怎么最好地处理声响,即怎么将声响转换为电极上的脉冲使它们更易于了解。Google 对人工耳蜗进行了探究性研讨,试验了一些增强 CI 用户对语音的了解的办法。
2019 年,Google 在一个小型内部项目中,约请参与者倾听了 60 个预录制/预处理的音频样本,并请他们对舒适度进行评分。效果显现,倾听运用噪声按捺器处理过的语音,舒适度和了解度一般都会增加,证明语音增强预处理器(特别是噪声按捺器)可用于处理器的输入,增强用户在喧闹环境中对语音的了解。

语音增强网络被练习为按捺非语音,包含音乐,所以需求采纳额定办法才干保存这一重要的用户享用。为此,Google 创建了原始音频与降噪音频的“混合”,以便让足够多的音乐经过以坚持可听性。在按捺非语音(例如噪声和音乐)的语音增强模块,Google 将原始音频转换成神经网络可运用的方式后,经过 AI 模型生成声响特性,并依据这些特性生成两个“掩码”,别离作用于语音和非语音,然后经过将“掩码”与特性相乘,把别离的语音和布景音重建回音频域,最终进行混合一致性处理,进步音频质量。该模型对每 2.5 毫秒的输入音频进行预算,因而能够实时运用。
Google 经过研讨展现了未来功用更强壮的人工耳蜗能够完成的功用,也凭仗该效果,在由人工耳蜗制造商 Advanced Bionics、加州大学旧金山分校和明尼苏达大学一起举行的 2020 Cochlear Implant Hackathon 竞赛中取得第二名。
为视频会议软件开发实时手语检测模型
大部分视频会议软件无法辨认手语,因而当参会者需求经过手语进行沟通时,他们无法被判别为发言人。Google 以为,视频会议作为人们作业日子沟通的重要渠道,每个人都应该能够平等地运用它们,尤其在疫情约束出行的情况下。所以,Google 开发了实时手语检测模型,经过人体姿态来判别参会者是否正在运用手语“说话”。
由于需求运用很多视频源作为输入来履行分类,所以 Google 规划了一个轻量级的模型,减小对 CPU 的耗费,以最大程度防止检测进程对通话质量的影响。当检测模型确认用户正在运用手语,它会经过虚拟音频电缆传递超声波音频,这尽管超出人类的听觉范围,但能够被视频会议软件检测到,并以为是用户正在发出声响。

Google 对该检测模型进行了用户体会查询,参与者在视频会议期间像平常相同经过手语进行沟通,或是参与者之间彼此“对话”,或是用手语和运用语音的用户进行沟通。在这个进程中,手语被视为可听语音,成功触发了会议体系的“麦克风”图标,将参会人员的注意力招引到手语参会者。参与者对检测模型也给出了活跃的点评。
为耳聋或听障人士规划使用
除了经过相关研讨寻求协助残疾人日常沟通的办法,Google 也继续开发辅佐使用不断优化产品无妨碍规划,以下介绍三款专门针对耳聋或听障人士规划的使用。
Live Transcribe & Sound Notifications 是 Google 与加洛迪特大学合作开发的使用,可与 Android,Wear OS 等体系适配,支撑 80 种言语或方言。“实时转录”功用使用先进的主动语音辨认和声响检测技能,实时将语音转换为文字,协助耳聋或听障人士了解对话。“重要声响告诉功用” 则经过告诉、闪光灯闪耀或手机振荡提示用户身边正在产生的要害声响,例如火灾或门铃响起,以便用户快速呼应。

Live Caption 是一个主动字幕体系,会主动为用户设备上的视频、播客、电话、视频通话、音频音讯、录制的内容生成实时字幕,现在 Pixel 手机,Google Meet,Chrome 都已增加该功用。
Sound Amplifier 是一款 Android 辅佐功用使用,经过过滤布景噪音而不过度增强“重要的声响”来进步清晰度。为了用户能够愈加直观的了解 Sound Amplifier 是怎么检测并增强声响的,该使用增加了音频可视化功用,即运用户听不出声响增强前后的差异,也能够知道声响增强的起伏。
构建一个无妨碍的国际,需求全社会一起的尽力。这些特别的日子仅仅一种唤醒:对残疾人士的关爱不能停步于此。期望未来有更多的科技立异协助打破“妨碍”,让所有人都能彼此沟通和了解。