這首歌，竟然是AI生成的，太狠了...
參考整理自：機器之心?量子位
大家好，我是 Jack。
我寫過很多關(guān)于視覺的算法，一直有小伙伴問我，關(guān)于音頻的，有沒有一些好玩的項目。
今天給大家介紹兩個算法。
Music Source Separation
老粉應(yīng)該看我介紹過這個算法，一首歌曲，可以使用算法分離人聲和伴奏。
比如《Stay》，原聲是這樣的：
伴奏和人聲就輕松分離，大家聽聽效果：
人聲頗有種在空曠地帶清唱的清晰感，背景樂都能直接拿去做混剪了！
神器，福音??！
這樣驚人的效果也引發(fā)了 Reddit 熱議：
這項研究的主要負責人孔秋強來自字節(jié)跳動，全球最大的古典鋼琴數(shù)據(jù)集GiantMIDI-Piano，也是由他在去年牽頭發(fā)布的。
AI 音樂家實錘，可以看下官方的演示效果。
算法已經(jīng)開源，有編程基礎(chǔ)的可以直接跑代碼。
項目地址：
https://github.com/bytedance/music_source_separation
沒有編程基礎(chǔ)也沒關(guān)系，項目提供了在線可玩的網(wǎng)頁。
試玩網(wǎng)頁：
https://huggingface.co/spaces/akhaliq/Music_Source_Separation
算法原理可以看我之前寫過的文章：
GenéLive
上面介紹的算法是去年的作品，咱再介紹一個今年的新作 GenéLive。
知名偶像企劃 LoveLive，不知道各位知道不？他們發(fā)了一篇 AI 論文。
生成模型自動寫曲譜，音樂譜子交給 AI 寫了~
最近，預(yù)印版論文平臺 arXiv 上的一篇論文引起了人們的注意，其作者來自游戲開發(fā)商 KLab 和九州大學。他們提出了一種給偶像歌曲自動寫譜的模型，更重要的是，作者表示這種方法其實已經(jīng)應(yīng)用過很長一段時間了。
由于 LoveLive！是一個有 12 年歷史的企劃，包含四個團體和數(shù)個小團體，個人還有角色歌，很多歌曲都會在游戲中出現(xiàn)，設(shè)計對應(yīng)的樂譜變成了一件極具挑戰(zhàn)的工作。
隨便一搜，就是上千首的歌曲，說不定你聽過的某一首歌，就是用 AI 寫的樂譜。
通過深度學習技術(shù)，AI 算法在圖像分類，語音識別等任務(wù)上有了優(yōu)異的表現(xiàn)，但在理解復(fù)雜、非結(jié)構(gòu)化數(shù)據(jù)方面，機器學習面臨的挑戰(zhàn)更大，比如理解音頻，視頻，文本內(nèi)容，以及它們產(chǎn)生的機制。物理學家費曼曾說過：「凡是我不能親自創(chuàng)造出來的，我就不是真正理解?！?/p>
而隨著技術(shù)的發(fā)展，深度生成模型已在學界和業(yè)界獲得了廣泛應(yīng)用。在如今的游戲開發(fā)過程中，生成模型正在幫助我們構(gòu)建各種內(nèi)容，包括圖形、聲音、角色動作、對話、場景和關(guān)卡設(shè)計。
KLab 等機構(gòu)提交的論文介紹了自己的節(jié)奏動作游戲生成模型。KLab Inc 是一家智能手機游戲開發(fā)商。該公司在線運營的節(jié)奏動作游戲包括《Love Live！學院偶像季：群星閃耀》（簡稱 LLAS）已以 6 種語言在全球發(fā)行，獲得了上千萬用戶。已經(jīng)有一系列具有類似影響的類似游戲，這使得該工作與大量玩家密切相關(guān)。
在 LLAS 中，開發(fā)者面臨的挑戰(zhàn)是為不同歌曲生成樂譜，提示玩家在不同時機點擊或拉拽按鍵，這是節(jié)奏音樂游戲中所定義的挑戰(zhàn)。在一局游戲中，飄過來的按鈕被稱為音符，它們形成類似于樂譜的空間圖案，與后臺播放的歌曲節(jié)奏對應(yīng)。一首歌曲存在不同的難度模式，從初級、中級、高級和專家到挑戰(zhàn)，復(fù)雜度順序遞增。
游戲開發(fā)者表示，他們的做法是通過 AI 輔助的半自動化方式：先由 AI 生成樂譜，再由 KLab 的藝術(shù)家進行微調(diào)，另一種方式是 AI 生成低難度樂譜，游戲設(shè)計師在這個基礎(chǔ)上設(shè)計高難度。
KLab 表示，他們使用的 GenéLive! 模型成功地降低了一半業(yè)務(wù)成本，該模型已部署在公司日常的業(yè)務(wù)運營中，并在可預(yù)見的未來時間里持續(xù)應(yīng)用。
降低樂譜生成的成本對于在線音游開發(fā)者來說是一個重要挑戰(zhàn)，因為它是日常運營的瓶頸。KLab 提出的方法實現(xiàn)了只需要音頻，就可以直接生成樂譜。
在研究過程中，開發(fā)者們首先提出了 Dance Dance Convolution (DDC) ，生成了具有人類高水平的，較高難度游戲模式的樂譜，但低難度反而效果不好。隨后研究者們通過改進數(shù)據(jù)集和多尺度 conv-stack 架構(gòu)，成功捕捉了樂譜中四分音符之間的時間依賴性以及八分音符和提示節(jié)拍的位置，它們是音游中放置按鍵的較好時機。
DDC 由兩個子模型組成：onset（生成音符的時機）和 sym（決定音符類型，如輕按或滑動）
目前正在使用的 AI 模型在所有難度的曲譜上都獲得了很好的效果，研究人員還展望了該技術(shù)擴展到其他領(lǐng)域的可能性。
論文鏈接：
https://arxiv.org/abs/2202.12823
KLab 應(yīng)用深度生成模型來合成樂譜，并改進樂譜的制作流程，將業(yè)務(wù)成本降低了一半。該研究闡明了如何通過專門用于節(jié)奏動作的多尺度新模型 GenéLive!，借助節(jié)拍等來克服挑戰(zhàn)，并使用 KLab 的生產(chǎn)數(shù)據(jù)集和開放數(shù)據(jù)集進行了評估。
方法
此前，KLab 樂譜的生成工作流是在不考慮自動化的情況下形成的，幾乎沒有達成明確的規(guī)則或數(shù)學優(yōu)化目標。因此，該研究選擇使用監(jiān)督機器學習。到 2019 年底，KLab 已經(jīng)發(fā)布了數(shù)百首歌曲的音頻序列和相應(yīng)的人工生成樂譜。
一方面，這個項目被要求快速交付并起到協(xié)助的作用；另一方面，項目的目標具有挑戰(zhàn)性，旨在改進 SOTA 深度生成模型。通常，研究新型神經(jīng)網(wǎng)絡(luò)架構(gòu)需要大量的反復(fù)試驗，這個過程需要六個月或更長時間。
為了解決時間上的問題，該研究組織了一個模型開發(fā)團隊和一個模型服務(wù)團隊，通過與藝術(shù)家團隊保持聯(lián)系獲得反饋，將其反映到模型開發(fā)和服務(wù)中，并在第一時間提供更新的模型，從而使他們保持一致。
GenéLive! 的基礎(chǔ)模型由卷積神經(jīng)網(wǎng)絡(luò) CNN 層和長短期記憶網(wǎng)絡(luò) LSTM 層組成。對于頻域中的信號，作者利用 CNN 層來捕獲頻率特征，對于時域利用 LSTM 層來完成任務(wù)。
在這里，卷積堆棧（conv-stack）的主要任務(wù)是使用 CNN 層從 mel 頻譜圖中提取特征。conv-stack 包括一個具有批量標準化的標準 CNN 層、一個最大池化層和一個 dropout 層，激活函數(shù)是 ReLU。最后為了規(guī)范輸出，這里使用了全連接層。
時域方面采用了 BiLSTM，提供前一個 conv-stack 的輸出作為輸入。為了實現(xiàn)不同的難度模式，作者將難度編碼為一個標量（初級是 10，中級是 20，以此類推）并將這個值作為新特征附加到 convstack 的輸出中。
在訓練數(shù)據(jù)方面，GenéLive! 使用了幾百首早期的 LLAS 歌曲，《歌之王子殿下》的歌曲，以及音樂游戲引擎「Stepmania」中可公開訪問的音樂和樂譜。
模型開發(fā)
該模型是由 KLab 和九州大學合作完成的。兩個團隊之間需要一個基于 Web 的協(xié)作平臺來共享源代碼、數(shù)據(jù)集、模型和實驗等。具體來說，該研究用于模型開發(fā)的系統(tǒng)架構(gòu)如下圖所示。
模型服務(wù)
為了使樂譜生成程序可供藝術(shù)家按需使用，它應(yīng)該方便藝術(shù)家自行使用而無需 AI 工程師的幫助。并且由于該程序需要高端 GPU，將其安裝在藝術(shù)家的本地計算機上并不是一個合適的選擇。該模型服務(wù)系統(tǒng)架構(gòu)如下圖所示。
實驗結(jié)果
為了度量該方法中每個組件的性能，研究者在「Love Live! All Stars」數(shù)據(jù)集上進行了消融實驗。
下表 3 的結(jié)果表明 GenéLive! 模型優(yōu)于此前的 SOTA 模型 DDC。
為了評估節(jié)拍指導(dǎo)的作用，消融實驗的結(jié)果如下圖 9 所示。
使用未修改版 conv-stack 訓練模型和當前 GenéLive! 模型的結(jié)果差異如下圖所示。
GenéLive! 模型一次性訓練全部難度模式，為了查看這種訓練方式的優(yōu)勢。該研究將其與每種難度模式單獨訓練的結(jié)果進行了比較，結(jié)果如下圖所示。
LoveLive! 企劃的活動范圍包括動漫、游戲和真人偶像團體。音樂游戲《Love Live! School Idol Festival》自 2013 年開始運營，截至 2019 年 9 月在日本擁有超過 2500 萬用戶。新一代的游戲《Love Live! School Idol Festival All Stars》目前在全球已有上千萬用戶。
GenéLive! 的研究，說不定也能讓音游在 AI 領(lǐng)域里火起來。
推薦閱讀
?? ?算法工程師在崗3年小結(jié)！?? ?B 站真會玩！????突然決定，創(chuàng)業(yè)了！