AI-Mashup プロジェクト
概要
AI-Mushup Projectは東京藝術大学の演奏芸術センターとCIO拠点が2020年、作曲家ベートーベン、生誕２５０年を記念して行った一連のイベントのなかのコンサート、AI-Beethovenへむけた作品制作を機会としてスタートした。このプロジェクトには主に古川聖（東京藝術大学、古川研究室）、森本 洋太（coton AI 音楽チーム)が関わり、株式会社cotonのAI 音楽チームの技術的援助を得て進められている。
古川とcotonのAI 音楽チームはすでにsoundtopeシステムという人工知能を使った音楽の自動生成のシステムの開発をおこない、主に自然現象のモデル、人間の認知、環境などの条件の組み合わせからAIを使って音楽を生み出すs作業を行っている。しかし今回、このAI-Mushup Projectではまったく違ったAIの手法を用いて、既存の音楽マテリアルを分解、再構成しあたらしい音楽体験を作り出すことをめざしている。
図１
– AI-Mushup
イタリア、マニエリスムの画家、アルチンボルド（図１）をご存知でしょうか。あの花や果物、植物が組み合わされ描かれた肖像画を目にしたことがあると思います。全体を見ると人の顔に見えるのに、細部を見るとそれが花や果物からできていることがわかるという二重性が楽しいですね。私たちのAI-Mushupプロジェクトの考え方としてちょっとこれに似ているところがあります。まず、例えばベートーベンの「エリーゼのために」の録音データを数千の音の音の断片に分割(mushup)してしまいます。。そしてその断片をAIを使い音データの並べ替えを行い、ビートルズのある曲、例えば 「ヘイジュード」に聴こえるようにします。すると、どこか「エリーゼのために」のテイストが残った、どこかビートルズに成り切らない音楽が生まれるわけですが、、そんな音楽ってどんなものになるだろう。というようなことを考え、そのようなあたらしい音楽体験を本当に作り出して見よう、というのがこのプロジェクトのねらいです。
– プロジェクトの背景
プロジェクトの詳細に入る前に、このようなプロジェクトを可能とする、
私たちの時代、私を取り囲む、今日の音楽聴取の特殊性について説明したいと思います。200年以上も昔、まだレコードもCDもなかった時代、ベートーベン自身は作曲者であるにも関わらず、”英雄”交響曲をおそらくは10回も聴いていないのではないでしょうか。それに比べ複製技術の発達により、現代のベートーベンファンは複製音源を通して同じ曲を何十回、何百回、ビートルズのような商業音楽に至ってはファンでなくとも様々な機会に数百回以上聞いているはずです。そしてそれらは私たちの脳にしっかり刻み込まれ、長期記憶に入ってしまっています。つまりベートーベンの時代と現代とでは音楽の聴取は大きく異なっていて、結果として、現代の私たちはベートーベンを曲に耳にこびりつくほどよく知っており、その断片を聞いただけでもその曲が長期記憶から引っ張り出され、想起されます。つまりこのプロジェクトはこのような長期記憶に入った音楽の記憶を利用します。
– 耳の冒険、あたらしい音楽体験のデザイン
さて、このプロジェクトは、私たちが今日の音楽聴取において持っている堅牢な長期記憶を利用し、作品の二重性を楽しむという、新しい音楽体験、音楽の違った楽しみ方、耳の冒険をAIを使いデザインします。
今回私たちはベートーベンの作品のなかでもポピュラーな「エリーゼのために」とビートルズの「ヘイジュード」を使って実験を始めました。アルチンボルドの絵のように、「ヘイジュード」をバラバラにした断片から、AIが「エリーゼのために」を合成し（第１曲）、また反対に「ヘイジュード」をバラバラにした断片から、AIが「エリーゼのために」を合成します（第２曲）。私たちの脳は長期記憶の中にある「エリーゼのために」を思い出しながら、ヘイジュードの断片の連なりの中に「エリーゼのために」を探し組み立てます。第１曲では「エリーゼのために」のメロディーを追いながらも、意識は同時にその断片から長期記憶のなかに広がるヘイジュードとの間を行き来し、目眩のように脳全体を揺すぶるような、あたらしい聴き方が体験されます。
– 作品生成のプロセス
図２
図３
プロセス１：
ご覧ください。上の図、２、３がコンピューターに 読み込まれた素材としてつかわれる 二つ音楽の 波形のデータです。左側がベートーヴェンの「エリーゼのために」、右側がビートルズの「ヘイジュード」です。まず、私たちは これらの音のデータを短い音の断片に 細かく切り刻んでしまいます。
プロセス２：
そしてそれらの音の 成分を調べるために周波数解析にかけます。以下のグラフ 図４、５が、それらの断片に含まれている 音の成分を示したものです。同じく左側が「ベートーヴェンの「エリーゼのために」、右側がビートルズの「ヘイジュード」です。
図４
図５
プロセス３：
そして、この解析をもとにこれらの音から、いろいろな特徴量をとりだします。
以下のグラフは chroma変換という方法で、音の高さとか音階とか和音とかの 特徴量を取り出しグラフ化したものです。左がベートーヴェン右がビートルズです。（図６、７）
図６
図７
プロセス４：
さらに「エリーゼのために」と「ヘイジュード」の断片を比較のために整理し
相似マトリクスを作成します。（図８）
図８
プロセス５：
そしてさいごに バラバラのビートルズの断片を並び替え、AIを使って「エリーゼのために」に聴こえるようにを合成します。
実験と作品制作
実験より １
「ヘイジュード」を分割し「エリーゼのために」を生成
「ヘイジュード」には著作権があり、それを使った二次創作=作品制作の許可は受けておらず、この音声は実験過程のものとして聴いてください。
実験より ２
「エリーゼのために」を分割し「ヘイジュード」を生成
https://www.youtube.com/watch?v=DKKJZnov09s
「ヘイジュード」には著作権があり、それを使った二次創作=作品制作の許可は受けておらず、この音声は実験過程のものとして聴いてください。
実験より ３ （映像付き）ピアノ 谷原佐智
「トムとジェリー」を分割し「エリーゼのために」を生成 ＞結果のみ提示
https://www.youtube.com/watch?v=7ubNOryjCaQ
「トムとジェリー」を分割し「エリーゼのために」を生成 ＞両方提示
https://www.youtube.com/watch?v=YktV9NWP1KU
「トムとジェリー」には著作権があり、それを使った二次創作=作品制作の許可は受けておらず、この音声は実験過程のものとして聴いてください。
実験より ４（映像付き） ピアノ 谷原佐智
「エリーゼのために」を分割し「トムとジェリー」を生成 ＞結果のみ提示
https://www.youtube.com/watch?v=MUDCDqymyYY
「エリーゼのために」を分割し「トムとジェリー」を生成 ＞両方提示
https://www.youtube.com/watch?v=ShqzEf0sU-4
「トムとジェリー」には著作権があり、それを使った二次創作=作品制作の許可は受けておらず、この音声は実験過程のものとして聴いてください。
コンサートより １（映像付き） ピアノ 谷原佐智
「エリーゼのために」を分割し「オズの魔法使いからのシーン」を生成＞両方提示
弁護士に相談し「オズの魔法使い」（１９３６）の音楽作品が含まれない部分においてはすでに著作権は失効したと判断し、それを使った二次創作を行いコンサートで発表した。
コンサートより ２（映像付き） ピアノ 谷原佐智
「オズの魔法使いからのシーン」を分割し「エリーゼのために」を生成＞結果のみ提示
https://www.youtube.com/watch?v=MQizcKyMSoE
「オズの魔法使いからのシーン」を分割し「エリーゼのために」を生成＞両方提示
弁護士に相談し「オズの魔法使い」（１９３６）の音楽作品が含まれない部分においてはすでに著作権は失効したと判断し、それを使った二次創作を行いコンサートで発表した。
コンサートでは著作権の関係で、ビートルズではなくベートーヴェンの「エリーゼのために」と私の大好きなミュージカル「オズの魔法使い」からのひとつの音楽シーンを使いました。
