誰說人工智慧冷冰冰,絕對奏不出感動樂曲?中研院奇招訓練,結果讓所有人都驚艷

2017-08-08 14:17

? 人氣

為了推廣這個概念,蘇黎與沛思文教基金會將於 2017 年 11 月合作推出《日新‧樂譯》跨界科技音樂會(註三),將現場演奏即時轉譯成樂譜動畫,用科技的語言,述說音樂的故事,透過多媒體動畫影像,讓大家聽得到也看得到音樂的演出。

[啟動LINE推播] 每日重大新聞通知

除了紀錄樂譜,還能做什麼應用呢?

「多重音高偵測技術」對於輔助學習的應用,也不僅限於音樂元素的偵測與視覺化。

(圖/
音樂人工智慧的研究範疇,除了理解音樂天才如何聽音樂以外,還有音樂演奏家如何「詮釋」音樂。(圖/Clem Onojeghuo,研之有物提供)

精確的多重音高偵測技術為了滿足這個目標,往往需要更精確的頻率與能量偵測演算法,精確描述演奏者在演奏時的音量有多大、抖音怎麼使用、如何控制音長等等。

蘇黎與成大蘇文鈺老師、中研院楊奕軒老師合作的工作中,專注探討小提琴演奏者的詮釋,就像同樣的小星星會有很多不同的詮釋版本,可以彈得恬靜、彈得莊嚴、彈得詼諧、彈得有精神,種種不同的表情術語和詮釋方式,都可以從精確的音高偵測演算法中看出端倪。

更進一步地說,未來我們或許能建立一個檢定的標準:當彈奏者把自己的演奏記錄下來,並輸入音樂人工智慧時,就可以和標準演奏做出比對,看看自己演奏得好不好。或是藉由音樂人工智慧的示範演出,讓初學者可以不斷聆聽各種詮釋方式,再去揣摩自己喜歡的演奏表情。這一些都是未來可以從「多重音高偵測技術」中,延伸開發的音樂人工智慧。

(圖/
此圖為小星星的第一個 Do 音在不同音樂情緒的表現。每一個彈奏風格的聲音變化,都可以被明確記錄下來,抓到彈奏要點。(圖/張凱鈞、張語辰,研之有物提供)

如果可以辨識演奏的詮釋方式,則有機會透過音樂人工智慧,從仰慕的音樂高手的精湛演奏中,學習樂器的彈奏技巧。

精確的音高偵測技術不僅可以用來分析古典音樂中的表情術語,另一個有趣的應用是分析搖滾樂中,吉他 solo 複雜的演奏技巧。

帥氣熱血的吉他 solo 往往結合各式不同的演奏技巧,如推弦,滑音、悶音、捶勾弦等等,這是吉他新手在學習抓譜時最困擾的地方。「多重音高偵測技術」有助於辦識出吉他的演奏技巧,把這一些技巧轉變成可閱讀的技巧符號,並記載在樂譜上,讓我們可以更容易去理解彈奏方式,進而模仿演奏者的演奏變化,達成自己想要的音樂學習目標,也是種未來可能發展出的音樂學習系統。

(圖/
吉他 SOLO 的時頻圖:可清楚看到推弦、勾弦等不同演奏技巧的音頻變化,並進一步將明星吉他手的「個人演奏風格」變成樂譜,供粉絲或學生「臨摹」學習。(圖/Electric guitar playing technique detection in real-world recording based on F0 sequence pattern recognition,研之有物提供)

音樂人工智慧會取代音樂家嗎?

當 AlphaGo 問世改寫了圍棋的新面貌,一一擊敗了世界頂尖的圍棋好手,有人感到恐懼、有人感到興奮,無非都是因為人工智慧科技所帶來的改變,但換一個角度想,這不正是把漫畫「棋靈王」的故事搬到現實世界嗎?

當 AlphaGo 變成每個人的藤原佐為,我們就可以像進藤光一樣,即使沒有從小就接觸圍棋,也可以學習到好的圍棋思維。根據類似的道理,我們可以說, 音樂人工智慧科技的進步,其目的並不在於取代音樂家的工作。相反的,我們能看到在不久的將來,這些科技將會被用來增進人類學習音樂的效率,而擴大音樂的學習與消費市場。

正如工業革命讓古鋼琴現代化並大量製造,而孕育浪漫樂派蕭邦、舒曼等作曲家不朽的鋼琴獨奏作品;當代音樂人工智慧的成熟發展將開展另一場革命,不僅讓學習音樂變得更輕鬆有趣,也提供音樂家前所未有的音樂創作思維。

蘇黎不僅是個資訊科學家,也是一個音樂愛好者。深度研究「多重音高偵測技術」,逐步發展出可以正確轉譯樂譜的音樂人工智慧,一方面希望讓專業的音樂創作人擁有更好的創作環境,不用在記載與解析樂譜上耗費太多心力,創作者可以運用更充足的時間來創作嶄新的音樂風格。

另一方面則期望,讓每個想學習音樂的人,可以搭載猶如莫札特的音樂耳。每個人都好像擁有一個虛擬音樂老師,以更輕鬆、簡單的方式,認識音樂的組成結構,降低學習成本,加快學習音樂的速度。讓想學音樂的心,不會隨著年齡增長而有所阻礙,讓全年齡層的人們都有興趣把音樂成為生活的一部分。

(圖/
如何打破「會音樂」與「不會音樂」的高牆,利用科技創造更好的音樂學習介面,讓音樂欣賞與彈奏更好上手,便是蘇黎致力研究的目標。(圖/張語辰,研之有物提供)

註一 : Pasibutbut 歌曲試聽
註二 : 泛音唱法的 youtube 影音
註三.:《日新‧樂譯》跨界科技音樂講座、演奏會資訊

文/張凱鈞
本文經授權轉載自研之有物(原標題:天才莫札特的傳說很狂?現在只要一鍵就做得到!)
責任編輯/鐘敏瑜

關鍵字:
風傳媒歡迎各界分享發聲,來稿請寄至 opinion@storm.mg

本週最多人贊助文章