Brain-dreams-Musicプロジェクト

Brain dreams Musicプロジェクト(=BdM, 脳が夢見る音楽)は、作曲家古川聖(東京芸術大学)によって構想され、脳波で演奏する仮想楽器を用いる音楽パフォーマンスを中心に、それを可能とする諸々のテクノロジー研究・開発を行うプロジェクトです。 　BMI(=Brain Machine Interface)の研究チームは科学者と音楽家で構成されています。トマシュ・ルトコフスキ(筑波大学)は脳内に想起された音楽表象(具体的な音のイメージ)を実時間での解析によって抽出することに成功しました。また、濱野峻行(JST, ERATO, 岡ノ谷情動情報プロジェクト)は、そのデータを用いることで演奏できる仮想楽器を開発し、データをCGとして視覚化するシステムを構築しました。これらの技術によって初めて可能となった音楽表現をもとに、音楽パフォーマンス “それはほとんど歌のように – it’s almost a song…” が制作されました。このプロジェクトは、東京芸術大学、JST岡ノ谷情動情報プロジェクト、筑波大学との共同研究として行われており、研究チームは理化学研究所(和光)に置かれています。

The “Brain dreams Music” project conducts the development of the new musical instrument which can be played by brain waves, the musical performance using this instrument, and the other related research which bridges music and neuroscience. Our instrument uses the most advanced Brain-Computer Interface (BCI) technology, that directly transforms the imagination of music into the realization of the imagined music. The audiovisual representation of the brain wave classification analysis facilitates the communication among the brain player, musicians, and audiences. This project is a joint research project between JST, ERATO, Okanoya Emotional Information Project, Tokyo University of the Arts, and University of Tsukuba.

About

脳が音楽を想起する瞬間、まるで音と感情が混沌の中で未分化の状態から発音するような、魂の震えをも伝えるような表現力ある繊細な楽器を作り出したい・・・古川は新しい音楽パフォーマンスのために、今までにないタイプの楽器を考案しました。これを実現するにあたって、新しい手法が研究を通して開発されました。EEG(脳波計)のデータから音楽想起時に脳内に生起する音楽表象(具体的な音のイメージ)を、構造化されたデータとして実時間で解析して取り出すというものです。この成果はVBI(Virtual-Brain-Instrument)として結実しました。

普段私たちは、声や楽器を使って音楽表現をします。そこでは脳の中の音楽表象(音楽イメージ)が脳内で運動のイメージへと変形され、楽器や声帯を操作するための運動として楽器へ伝えられます。つまり脳内にあった音楽表象は、運動イメージへの変換と楽器の物理的な制約の、二重の変形を受けることになります。人間は長い歴史の中で楽器や声の表現特性を活かし、音や楽器の改良を重ねてきました。それに加えて演奏法、つまり運動制御の能力を発達させ、すばらしい音楽文化をも発達させてきました。

それに対し、脳波を使った我々のアプローチの特徴は楽器や音など、結果としてのモノや物理現象に注目するものではありません。人間側、つまり音楽を生み出し認知する側から、脳内に音楽表象が発ち現れる瞬間に焦点を当て、音を作り、音の組織化を試みた点にプロジェクトの意義の一つがあります。

そしてさらに、その技術を表現(パフォーマンス)として定着させ、多くの人が体験できる形にし、感性を通して享受できるところまで推し進めた点に、プロジェクトのもう一つの意義があると考えています。