Google又創超神技術!在超吵派對「關掉周遭雜音」,讓你只聽你想聽的聲音,耳根好清淨!

2018-04-19 11:44
Google研究人員,利用深度學習、影像模型打造出一套系統,能夠辨識出畫面中說話人物的聲音,依照需求強化特定人士的聲音,消除其他人聲、環境音。(圖/截自youtube)
Google研究人員,利用深度學習、影像模型打造出一套系統,能夠辨識出畫面中說話人物的聲音,依照需求強化特定人士的聲音,消除其他人聲、環境音。(圖/截自youtube)

人類有一項特殊的能力,能夠在眾多吵雜的聲音中,辨識出我們熟悉、想聽的聲音,「過濾」掉其他雜訊,專注在說話的對象上,而機器要做到這樣的程度,在過去一直被認為是一件相對困難的事。

最近Google研究人員,利用深度學習、影像模型打造出一套系統,能夠辨識出畫面中說話人物的聲音,依照需求強化特定人士的聲音,消除其他人聲、環境音,這項功能將來可以應用在多人的電話、視訊會議中,或者在多人爭辯的政論節目中,幫助我們清楚聽見特定人士的觀點。

利用深度學習,分離不同聲音來源

「人們很擅長在吵雜的環境中,將注意力放在特定的人身上,心理上將其他人與背景聲音靜音。」Google軟體工程師Inbar Mosseri 、Oran Lang認為,這是人類一項先天的能力,可以將眾多聲音區分成各種音源,但過去許多研究都認為,這對電腦來說仍是一項重大挑戰。

根據最新一份叫「Looking to Listen at the Cocktail Party」研究,研究人員透過深度學習,同步分析影片中的影像與聲音,能單從說話者的臉部表情,就辨別出是誰在說話,觀眾只要點選畫面中特定人臉,就能聽見想聽的聲音來源。研究人員使用10萬支、總長度達2,000小時的單一講者影片,訓練系統辨識個別聲音,接著混入其他影片增加背景雜音,一步一步教懂AI辨別不同音軌,最後會產生一套模型。

完成訓練後,這套系統只要偵測到任何影片中有嘴巴在動,系統會去抓取該來源的音檔,並將其他雜音去除。而這套系統之所以厲害,是因為不僅可以去除環境中的雜音,更可以在多人大聲、激烈交雜談話的同時,還能將目標的聲音細緻地分析出來,即便過程中說話的人麥克風不小心遮住嘴型,這套系統依然可以不受干擾的執行。

聽清楚想聽的意見,政論節目將能改善閱聽品質

Google表示,目前仍在探索一切應用的可能,「我們相信這項軟體可以有許多應用,特別是在有許多人說話的吵雜環境,例如增強影片聲音辨識、視訊會議、改良助聽器。」

若這項軟體真的普及,將能改善許多生活中痛苦的經驗,Google可以將這套軟體導入自家Hangouts、Duo這類語音視訊軟體,多人會議時就能過濾背景雜音,增加理解效率,甚至也能改善傳統助聽器無法分離聲音的缺點,未來自動翻譯軟體也能因此受惠。

Google官方釋出了一段影片,畫面中兩位主播激烈的針對議題爭論,聲音重疊時幾乎難以聽清楚任何一方的意見,透過軟體強化左邊主播聲音後,就能清楚聽見單方意見。台灣今年是選舉年,各種議題的辯論將會大量出現,不論是電視政論節目、廣播、網路直播、Podcast,往後若能應用這套軟體,想必能幫助更多閱聽人舒服、有效率的,吸收各種不同的討論內容。

文 / 高敬原

本文經授權轉載自數位時代(原標題:用AI聽你想聽的聲音,Google能在吵雜影片中偵測特定人聲) (相關報導: 太神啦!Google機器學習再現驚人功力,看一眼照片就知道這拉麵來自哪家分店! 更多文章

責任編輯/趙元

更多文章
打進中國市場的「印度劉德華」:寶萊塢明星阿米爾汗的成功之道
張麗善推麥寮港改制全國公投 「雲林子弟」蔣萬安支持
MLB》洛杉磯第二大報:林子偉是台灣棒球領頭羊
「空污不會分台北、新北」 朱立倫籲柯文哲一起關注深澳電廠
出訪不忘掌握國內情勢 蔡總統在非洲視訊國安首長
金正恩與文在寅握手看得到!兩韓板門店峰會將對全球現場直播
要房價更透明!實價登錄大改革,除了門牌全都露,造假炒房罰款將高5倍
張震遭坎城影展列為中國籍 經紀公司:他祖籍浙江,生於台北
妹妹有多敏感,棉花棒一碰就痛?婦產科醫師:「陰道憂鬱症」讓人變得不「性」福
【張維中專欄】免費、內容卻不被業配綁架!1本銀座傳奇雜誌,令人讚嘆日本不愧為文化大國
建教生不得夜間8時至晨間6時受訓 陳宜民盼「彈性」處理:我不信學生回去在休息!
NBA季後賽》詹姆斯飆分模式 騎士扳平戰局
今天高溫超過30度 23日又變天
妳願意跟機器人發生性愛嗎?如果,男性愛機器人「硬上」女主人怎麼辦?
為了保飯碗,連上廁所都不敢!員工尿在寶特瓶省時間,他臥底揭發亞馬遜惡劣血汗行徑!
「管中閔有其專業」吳茂昆:下周開諮詢會議做決定
縝密的謀殺計畫、遙控引爆的手機炸彈──FBI介入調查:誰是下令炸死馬爾他女記者的影武者?
侯友宜被質疑過去「專抓異議人士」 段宜康:被迫面對不堪回首歷史
確保軍人年改明順利付委 綠委凌晨3點半議場外排隊搶遞案權
百萬策展費! 3年實現29組夢想 今年更要揮灑獨特「調調」
NBA季後賽》詹皇又「開無雙」? 首節20分超越溜馬全隊
蘇貞昌競選團隊佈局 陳明文證實:蘇希望協調陳菊出任主委
宣布制裁俄羅斯被打臉》海莉與川普分歧浮上檯面,下個被拔官的會是她?
有「刺青店」竟是文藝氣息的重大指標!英國調查公布全球最文青的城市,居然是…
日出香榭大道工程遭中央卡關 傅崐萁蕭美琴花蓮王不見王
溫泉水權被廢止!理想大地後續開發 賴清德訪花蓮也關切
風評:小英糾結核電,蔡政府官員只能練肖話
小孩的事,美國爸爸永遠在媽媽後頭!《魔球》作者從女兒生病,領悟自己像冷板球員
顧爾德專欄:為什麼柯P能左右年底選情?
鍾文榮觀點:央行總裁報告,內需不振,何須解密?
陳述恩觀點:用臉書治國,用網路資料審查台大校長?
王宗偉觀點:去對岸教法律教經濟與教超導材料,誰對台灣最危險?
楊雅雲觀點:投資人和你想的不一樣!三分鐘搞懂影響力投資的全球趨勢
吳典蓉專欄:蔡英文是好主席 可惜考題卻是好總統
每晚不只要刷牙,還要養成「刷腳底」習慣!腦科學評論家透露「刷腳底」3大好處
觀點投書:與其估柯外溢,更應慎防基本盤側漏
觀點投書:賴清德「務實台獨論」只是包裹糖衣的毒藥
蕙嘉琳觀點:高度串連正顛覆亞洲物流市場
觀點投書:年改那把尺何去何從,請政府說分明
觀點投書:學法的蔡總統,請勿剝奪了軍公教警消的生存權!
該跟前任復合嗎?心理專家:先想這5件事,再考慮要不要「重蹈覆轍」!
從三架零戰奇襲,窺見當時日本充滿絕望:《敗戰的勇者》選摘(3)
鮪魚變黃金!台灣鮪魚捕撈量世界第一 年出口達208億元
溫芳瑜專欄:為何再可愛的少女,最後都會變成無敵歐巴桑?
姚文智發重誓 若選台北市長第三名就「永久退出政壇」
父母說好買房送兒子,卻留下550萬房貸…她神解析台灣父母「用房子綁架子女」的老技倆
馬來西亞最大英文報刊文 呼籲支持台灣參與世衛大會
控訴吳茂昆自加年薪近500萬元 東華教授明擬提告貪污
敘利亞化武攻擊已過10天 禁止化武組織專家還能找到證據嗎?