科学技術「耳コピAI」

【自動譜面制作AI】

聞いた音を譜面として製作できる
「耳コピAI」が開発されました。

このAIは
デジタル化された
数字で表せる音を譜面にするのでなく
生の音を聞いて譜面にします。

その為
人が演奏する毎回違う音の出し方を
正確に認識させる必要があります。

その音を認識させる為
AIに何度も色々な音を聞かせて
反復練習をさせました。

この練習方法を
機械学習と言います。

AIに生の音を認識させる練習方法は
「多重温検出」「リズム量子化」
この２つの学習方法を使いました。

この２つの学習方法を合わせて
自動譜面書き起こしシステムを
作り上げてしまったのです。

オーディオ・ツー・スコアのピアノ転写のガイドとしての非ローカル音楽統計 - ScienceDirect

〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓
 

【人が出す音】

多重音検出は
以下の事をAIが読み取ります。

「どの音をどの時間に出すか」
「音の強さ」
「音の周波数」
この事を読み取ります。

リズム量子化は
以下事をAIが読み取ります。

「同じ音程でも演奏時間で違う強弱」
「同じ音程でも演奏時間で違う音程」
「その時々の気分で出す音の検知」
この事を読み取ります。

この学習方法を使い
AIに機械学習と言う
反復練習をさせて覚えさせます。

最初の頃は
部分的に「テンポ」「拍子」「譜面」等に
多くの間違いがありました。

この間違いが出てた原因として
人がその時その場所その雰囲気で出す音を
なかなか認識できなかったためです。

〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓
 

【気分とノリ】

この事を改善する為にAIに対して
「この音の後に来る音は
こんな感じの音が来る」
という感覚を覚えさせました。

この感覚を覚えさせる為に
何十万曲もの音楽を聞かせ続け
「リズム」「音程」「音の強弱」の
パターン分析をAIにさせました。

その結果
凄く譜面制作制度が上がり
かなり実用的になったのです。

今までにも
生の音から譜面を書き起こす試みは
かなりたくさん実験されてきました。

しかし
全部うまくいかず
とても実用レベルで
使える物じゃ無かったのです。

でも今回の研究で
長年不可能とされてきた
自動譜面制作技術がほぼ完成しました！

現在は
Youtubeを使ってそこから流れる音を
譜面にする反復練習が行われてます。

〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓
 

【夢の発明】

今ネットでは
膨大な数の音楽ファイルや
膨大な数の音楽動画があふれてます。

そして
この膨大な音楽の中には
自分で演奏したり自分で編曲したり
そんな事がやりたい音楽があると思います。

しかし
気に入った音楽の楽譜が手に入る事は
ほとんどありません。

その訳は
今ある音楽のほとんどが
譜面に書き起こされて無いからなのです。

そんな中生演奏を聴き
自動で譜面に書き起こす事が出来る
「そんなAIがあったら素敵！」と思い
実際に作っちゃいました！

このAIを制作した研究チームは
東京大学の研究チームです。

そして東京大学の研究チームは
譜面に起こされてない物だらけの音楽を
全部自動で譜面に出来る
「耳コピAI」をとうとう完成させました！

〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓＝〓
 

【夢の実現】

この耳コピAIを
きちんと完成した暁には
「音楽研究」「音楽教育」に役立て
一般にも公開するようです。

現在譜面を書く人は
滅多に存在しません。

しかも
世の中に出ている譜面は
天才が耳コピして作った物ばかりなのです。

一般の人は
そう簡単に耳コピなんて出来ず
特殊な絶対音感訓練が必要になります。

ジャズの様な
その場その時その瞬間の
アドリブやノリや雰囲気で演奏した
この時の音の譜面んて存在してません。

しかし
本気で好きな音楽を演奏したい時
譜面が必ず必要です。

しかしこのAIは
「今この瞬間この曲を演奏したい！」
そう思った瞬間スグ譜面にしてくれる
そんな夢のようなAIなのです！