封面設(shè)計(jì)：Milkki

預(yù)計(jì)閱讀時(shí)間：8 分鐘

Intro

蘋果在近日收購了一家名為 AI Music 的初創(chuàng)公司，該公司提供的服務(wù)正是利用人工智能技術(shù)來個(gè)性化定制音樂。

音樂人工智能這個(gè)名詞聽著仿佛距離我們的生活很遙遠(yuǎn)，但是實(shí)際上，它已經(jīng)滲透到我們的生活當(dāng)中。比如：各個(gè)公司相繼推出的虛擬歌手，從初音未來到微軟小冰都深受廣大年輕人的喜愛；當(dāng)你在電臺(tái)里聽到一首好聽的歌曲時(shí)，你可以使用聽歌識(shí)曲應(yīng)用來找到這首歌曲……

初音未來[2]

以下將從音樂人工智能的概念、子課題、應(yīng)用、相關(guān)期刊會(huì)議四個(gè)方面進(jìn)行介紹。

? ? ? ?概念

近年來，在音樂及計(jì)算機(jī)領(lǐng)域出現(xiàn)了音樂人工智能（Music AI）這一名詞。音樂人工智能是一個(gè)相對模糊的概念，可以看作人工智能在音樂領(lǐng)域的垂直應(yīng)用。包括音樂生成，音樂信息檢索，以及所有其它涉及AI音樂相關(guān)的應(yīng)用例如智能音樂分析、智能音樂教育、樂譜跟隨、智能混音、音樂機(jī)器人、基于智能推薦的音樂治療、圖片視頻配樂等應(yīng)用。音樂人工智能屬于音樂科技的一部分。[1]

子課題 ? ??????

早期的音樂信息檢索(Music Information Retrieval, MIR)技術(shù)以符號音樂如MIDI(Musical Instrument Digital Interface)為研究對象，后續(xù)以音頻信號為研究對象，研究難度急劇上升。如今MIR技術(shù)已經(jīng)不僅僅指早期狹義的音樂搜索，而更廣泛地包含了音樂信息處理的所有子領(lǐng)域。我們根據(jù)自己的理解，將MIR的幾十個(gè)研究課題歸納為核心層和應(yīng)用層共９個(gè)部分。核心層包含與各大音樂要素（如音高與旋律、音樂節(jié)奏、音樂和聲等）及歌聲信息處理相關(guān)的子領(lǐng)域，應(yīng)用層則包含在核心層基礎(chǔ)上更偏向應(yīng)用的子領(lǐng)域（如音樂搜索、音樂情感計(jì)算、音樂推薦等）。[1]

音樂信息檢索（MIR）的研究領(lǐng)域[1]

2.1?鋼琴轉(zhuǎn)譜

接下來將以鋼琴轉(zhuǎn)譜這個(gè)子課題為例進(jìn)行進(jìn)一步的介紹。

鋼琴轉(zhuǎn)譜，顧名思義就是將一段鋼琴音頻通過技術(shù)自動(dòng)轉(zhuǎn)化為MIDI等符號音樂表示，是自動(dòng)音樂轉(zhuǎn)譜（automatic music transcription，AMT）在鋼琴這一樂器上的子任務(wù)。

“鋼琴轉(zhuǎn)譜”示意圖

鋼琴轉(zhuǎn)譜可以分為單音高和多音高，當(dāng)音頻每一時(shí)刻都只有一個(gè)音符在發(fā)出聲音就是單音高，當(dāng)音頻中存在多個(gè)同時(shí)發(fā)聲的音符時(shí)就是多音高。

在單音高識(shí)別上，在2018年Jong Wook Kim等人提出的《CREPE: A Convolutional Representation for Pitch Estimation》是一篇影響力非常大的論文，刷新了當(dāng)時(shí)的指標(biāo)。該模型的輸入直接采用原始音頻信號片段，經(jīng)過六層一維卷積層和一層全連接層，輸出360維向量，其中每一維分別代表對應(yīng)音高的概率。最后該模型對于音高的估計(jì)能夠?qū)崿F(xiàn)HZ級別的精度。

CREPE網(wǎng)頁小樣截圖

鋼琴多音高檢測的里程碑是谷歌團(tuán)隊(duì)Google Magenta提出的《Onsets and Frames: Dual-Objective Piano Transcription》。這個(gè)模型開創(chuàng)性地在音高檢測時(shí)加入了琴鍵按下時(shí)間(onset)的信息大大提高了音高檢測的準(zhǔn)確率，全方位刷新了當(dāng)年的指標(biāo)，甚至在note-with-offset的F1 score的指標(biāo)上超過之前模型成績的一倍，達(dá)到了50.22%。

Onsets and Frames網(wǎng)頁小樣截圖

目前在多音高鋼琴轉(zhuǎn)譜領(lǐng)域的?SOTA?(?state of the art，當(dāng)前最優(yōu)模型?)?由字節(jié)跳動(dòng)的孔秋強(qiáng)博士等人保持，他們在《High-resolution Piano Transcription with Pedals by Regressing Onset and Offset Times》一文中寫到他們將鋼琴按鍵在時(shí)間上的精度縮小到?1?毫秒這個(gè)量級，還對鋼琴按鍵力度、鋼琴踏板等多個(gè)信息進(jìn)行了檢測和標(biāo)注。

? ? ?應(yīng)用

大多數(shù)的音樂播放軟件都有的聽歌識(shí)曲功能

利用副歌檢測技術(shù)進(jìn)行副歌標(biāo)注點(diǎn)的標(biāo)注

除了intro中提到的應(yīng)用以外，近年來音樂人工智能的應(yīng)用越來越廣泛。

清華大學(xué)墨甲樂隊(duì)。“墨甲”機(jī)器人樂隊(duì)是中國首支具有中國文化特色的機(jī)器人表演團(tuán)體。2019年4月27日，機(jī)器人音樂舞臺(tái)劇《墨甲幻音》在清華大學(xué)上演。[3]

2022年1月，網(wǎng)易推出一站式AI音樂創(chuàng)作平臺(tái)天音。用戶可在“網(wǎng)易天音”小程序中輸入祝福對象、祝福語，10秒可產(chǎn)出詞曲編唱，還可以選擇小冰框架內(nèi)的何暢、陳水若、陳子渝等AI歌手進(jìn)行演唱。[4]

相關(guān)期刊會(huì)議 ??

1.IEEE International Conference on Multimedia and Expo (ICME)

2.International Society for Music Information Retrieval Conference?(ISMIR)

3.IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)

4.International Conference on Spoken Language Processing (Interspeech)

5.Journal of The Acoustical?Society of America（JASA）

6.IEEE Transactions on Audio, Speech and Language Processing（TASLP）

……

Outro

當(dāng)前相比于NLP和CV以及語音領(lǐng)域的快速發(fā)展，音樂人工智能仍存在較大發(fā)展空間，蘋果這一舉動(dòng)讓更多的對于這一方面感興趣的人了解到這一領(lǐng)域，對于該領(lǐng)域的發(fā)展能夠起到一定的促進(jìn)作用。而在國內(nèi)，這一學(xué)科得到了越來越多的重視。2019年，中央音樂學(xué)院音樂人工智能與音樂信息科技系創(chuàng)建。復(fù)旦大學(xué)的李偉教授預(yù)測，今明兩年將是國內(nèi)音樂科技從萌芽、起步、進(jìn)化到加速發(fā)展的轉(zhuǎn)折點(diǎn)，音樂家主導(dǎo)的從上到下的學(xué)科框架設(shè)置，以及理工科同行主導(dǎo)的從下到上的知識(shí)體系構(gòu)建有望在中間相遇。[8]

參考文獻(xiàn)：

[1]李偉，李子晉，高永偉，“理解數(shù)字音樂-音樂信息檢索技術(shù)綜述”，復(fù)旦學(xué)報(bào)（自然科學(xué)版），2018，57（3）：271-313.

[2baijiahao.baidu.com/s?id=1606162308984311497&wfr=spider&for=pc

[3]news.sina.com.cn/c/2019-04-27/doc-ihvhiewr8563419.shtml

[4]www.jiemian.com/article/7047190.html

[5]Kim J W , ?Salamon J , ?Li P , et al. Crepe: A Convolutional Representation for Pitch Estimation[C]// ICASSP 2018 - 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018.

[6]Hawthorne C , ?Elsen E , ?Song J , et al. Onsets and Frames: Dual-Objective Piano Transcription[J]. ?2017.

[7]Kong Q , ?Li B , ?Song X , et al. High-resolution Piano Transcription with Pedals by Regressing Onsets and Offsets Times[J]. ?2020.

[8]音樂人工智能不再冷門,?https://mp.weixin.qq.com/s/aMR9hBikULDnEAJr9XWaeg.

點(diǎn)個(gè)在看你最好看

蘋果收購AI音樂公司，音樂人工智能將迎來新機(jī)遇？

? ? ? ?概念

子課題 ? ??????

? ? ?應(yīng)用

相關(guān)期刊會(huì)議 ??

Outro