AI-Mashup/AI-マッシュアップ

AI-Mashup プロジェクト

古川研究室は(株)cotonのAI研究チームとAI(人工知能)を使った音楽のマッシュアップ・プロジェクトを行っている。マッシュアップとは複数の音楽素材、例えば音楽素材Aの部分、断片と音楽素材Bの部分、断片を組み合わせ、あらたな表現Cを行うことだが、私たちは複数の素材を直接、混ぜる(マッシュアップ)のではなく、素材の持つ、リズム構造、ピッチ構造、音色構造、和音構造などを分析により取り出し、素材Aと素材Bの構造、素材Aの構造と素材Bを混ぜることをAIを使い行っている。
素材A+素材Bの構造=表現C
素材B+素材Aの構造=表現C
多くの場合、素材はムービー形式(映像表現+音楽表現)なので音だけでなく映像のいっしょにマッシュアップされ、音だけのマッシュアップとなまた異なった、興味深い様相が現れる。

『AI Beethoven』オンライン コンサートは 2020 12/16

Beethoven meets “The Wonderful Wizard of Oz”(↓↓↓テスト映像↓↓↓)
ベートーヴェン ミーツ 「オズの魔法使い」

◆東京藝術大学の演奏藝術センターによる「藝大プロジェクト2020 - GEIDAI BEETHOVEN 250」演奏会シリーズの一環として開催されるベートーヴェン作品を題材とした演奏会『AI Beethoven』にために、古川聖(東京芸大)森本洋太(coton)は“Beethoven meets 「オズの魔法使い」”と題した作品を準備している。

◆ここではベートーヴェンの曲や「オズの魔法使い」の音声(効果音と音楽)をバラバラの断片に分割し、それらの音量変化や音色などの音の特徴を数値化し、それらの断片からベートーヴェンや「オズの魔法使い」のオリジナル曲を教師データとして機械学習にかけ、特徴が似た断片を探し出す。つまりベートーヴェンの曲を短い断片にし、その中から「オズの魔法使い」の音楽に似た断片を探しだし、その断片を並べて合成することで、ベートーヴェン曲に聴こえるように並び替える。同時に映像も並べ替えられることになる。
現在、音の断片の長さ、重ね方、機械学習のための特徴量の選択、抽出方法などを様々に変えて、映像も使用し12月の発表にむけてマッシュアップの実験を繰り返している。

◆マッシュアップと現代の聴取環境
ベートーヴェンの時代は音楽を聴くには生の演奏会で聴くしか方法がなかったので、ベートーヴェン本人ですら数えるほどしか自分の交響曲を聴いたことがないはずである。ところが現代の私たちはベートーヴェンの曲をYoutubeやCDなどで何度も何度も聴いて、しっかりと覚えこみそれらは長期記憶に深く刻み込まれている。そのような音楽だからこそ、マッシュアップ、つまり断片化して並べ直しても、そのテイスト、情感などは記憶の深層から染み出し、切り刻まれた「オズの魔法使い」の音楽の短い断片の連なりの中から、私たちの脳の中にベートーヴェンのメロディーがたちのぼる。そのような新しい音楽体験、音楽の楽しみ方を提案する。 


◆12月の演奏会では、オンラインで、このような実験的試みの裏側、数値解析、AIによる合成、そして実演も含めべートーヴェンの原曲と「オズの魔法使い」の出会いをお見せしたいと思う。

 


テスト映像:https://www.youtube.com/watch?v=7ubNOryjCaQ
(Tom&Jerryを断片化し、エリーゼの為にを合成)

テスト映像(両方提示):https://www.youtube.com/watch?v=YktV9NWP1KU&feature=youtu.be
(Tom&Jerryを断片化してとエリーゼを合成)

テスト映像(両方提示):https://www.youtube.com/watch?v=ShqzEf0sU-4&feature=youtu.be
(エリーゼのためにを断片化してTom&Jerryを合成)
テスト映像:https://youtu.be/MQizcKyMSoE
(「オズの魔法使い」を断片化し、エリーゼの為にを合成)
テスト映像(両方提示):https://youtu.be/24RvaL_pmso
(「オズの魔法使い」を断片化し、エリーゼの為にを合成)
テスト映像(両方提示):https://youtu.be/ynWgv02s604
(エリーゼの為にを断片化し、「オズの魔法使い」を合成)

ピアノ演奏は作曲家の谷原佐智(博士課程)さん