QQ在線
企業(yè)微信
資訊
1022想象一個計算機程序能夠直觀地識別出在無聲的鋼琴演奏視頻中演奏的是哪首樂曲，或許并不夸張。然而，一個新的人工智能系統(tǒng)卻更進一步，以數(shù)字方式逼真地再現(xiàn)了鋼琴演奏的聲音。
這項技術被稱為Audeo，由華盛頓大學的一個團隊設計。研究人員使用鋼琴家保羅·巴頓的YouTube視頻對系統(tǒng)進行了培訓和測試。培訓包括約17.2萬巴頓演奏巴赫和莫扎特等著名古典作曲家音樂的視頻幀。
在分析一段無聲視頻時，所產生的系統(tǒng)首先會觀察哪些鍵被按下的順序，確定各個音符及其排列方式。也就是說，它還能感知到每個鍵被擊打的力度和被按住的時間--這讓它能計算出每個音符的強度，以及它在隨后彈奏的音符下面持續(xù)的時間長度。它還考慮到了鋼琴獨特的聲學特性。然后，這些數(shù)據被轉換為一種可以被現(xiàn)有的數(shù)字合成器理解的格式。據報道，當該合成器回放音樂文件時，它聽起來非常像原始的鋼琴音樂。
在對Audeo的測試中，它的任務是根據巴頓演奏的靜音視頻重現(xiàn)鋼琴音樂，而不是系統(tǒng)所訓練的音樂作品。當SoundHound等音樂識別應用分析這些再現(xiàn)時，它們能夠以大約86%的準確率識別出樂曲。相比之下，當這些應用分析相同視頻中的原始鋼琴音頻時，其識別準確率攀升至93%。隨著技術的進一步發(fā)展，這種差距應該會縮小。
“我們希望我們的研究能夠實現(xiàn)與音樂互動的新方法，”該研究的高級作者Eli Shlizerman副教授說?！袄纾磥淼囊粋€應用是，Audeo可以擴展到虛擬鋼琴，攝像頭只記錄一個人的手。此外，通過將攝像頭放在真實的鋼琴之上，Audeo有可能協(xié)助教學生如何演奏的新方法?！?/span>
