fuZe

●なるほど。では具体的に、”fuZe Vol.2″で行ったパフォーマンスの仕組みどのようになっているんですか？

ヤマダ：あまり裏側の仕組みを説明するのもなんですが、当日のライブパフォーマンスを大まかに説明しますと、沼澤さん、ナカコーさんの演奏(楽器の音や強さなど)に合わせて生成されるビジュアルを、ボクがリアルタイムでコントロールしています。

沼澤さんのドラムセットに、トリガーセンサーというドラムを叩くタイミングと強さを信号化するセンサーを付けまして、そうしてドラムから得られた信号を途中でMIDI信号に変換してコンピューターに入力しています。

また、ナカコーさんが弾いているキーボードや、あらかじめ作ってあるベーストラックのサウンドもコンピューターに入力し、それらの信号をもとに、ビジュアルがリアルタイムで生成されるというわけです。

エレクトリックドラムならばMIDI信号を取り出すのはすごく簡単なのですが、今回はアコースティックドラムの演奏をそのまま使うことがテーマでしたので、沼澤さんの演奏に影響を与えないようにセンサーを付ける必要がありました。



沼澤：そうそう！　トリガーセンサーという、ドラムを演奏するタイミングと強さをはかれるセンサーを付けたんです。

トリガーセンサー自体はボクも以前からレコーディングやライブで使っていたものです。それを映像をコントロールする信号として使用するのは、すごく珍しいことなんですけど、信号をUnityに取り込む仕組みを新しく作ったことで上手くいったと聞いています。

でもシンバルだけは、センサーを取り付けるとシンバルの音がまったく変わってしまって演奏ができないんですよ。

そこで特別に、ものすごく軽いセンサーを作ってもらって試したりもしたんですけど、シンバルにテープを貼り付けるだけで、音が変わってしまう。どうやっても、シンバルの音に影響を与えずにセンサーを取り付けるのは難しかったんです。

●そこはどうやって解消したのですか？

ヤマダ：結局どうしたかと言うと、シンバルだけは事前にモーションキャプチャーしまして、演奏の音の大・中・小に合わせて、シンバルの動きの情報として得られるような仕組みを作りました。

当日、シンバルの上にマイクを仕掛けまして、マイクが拾う音の強弱でトリガーがかかるようにしたんです。

ほかにもさまざまな試行錯誤をしましたよね。沼澤さんがモーションキャプチャースーツを着て演奏をするという案までありました(笑)。

でもそれだと、信号として取り出せるのは音ではなく体の動きだけになり、沼澤さんが生ドラムを瞬発的な判断で叩いている良さを表現できなかったので、残念ながら実現しなかったのですけど……。


●ちなみに、何をするとどのような映像が出るのか、あらかじめ沼澤さんは知っていたんですか？

沼澤：いいえ、さっぱりわからなかったです(笑)。リハーサルの最後の日にようやく、「こう演奏したら、こういう映像が出てくるんだ」というのを知ったくらいですから(笑)。

そこからは、このパートはナカコーだけの方がいいとか、思いっきり演奏すると余韻が残るから盛り上げるところまでは思いっきり演奏するのはやめよう、といったことを思いついて、本番ではそれらを頭に置いて演奏しました。

●ヤマダさんはあえて伝えてなかったということですか？

ヤマダ：そう。ボクが気を使ったことのひとつは、即興の良さをなるべく阻害しないように実現することだったんですよ。
『Entropy Vol.1』の楽曲をライブ演奏しても、CDとはまったく同じものにはなりません。そこには即興の良さがあることをボクも理解しています。

その良さを損なわないよう、リハーサルの時も沼澤さんには、ビジュアルパフォーマンスの仕組みをあまり伝えないようにしていたんです。だからリハーサルの最終日まで、沼澤さんは、どう演奏すればどのような映像が出るかがわからなかったんですよ(笑)。

決してイジワルしていたわけじゃないんですが(笑)、沼澤さんやナカコーさんには自由に演奏してもらって、それに合わせてボクも映像を生み出せるようにしたことで、自由度の高いパフォーマンスになるように調整していったんです。

●一番苦労したというか難しかった部分はどこだったんでしょうか？

ヤマダ：沼澤さんが生ドラムを叩くという身体的リズム感や、ナカコーさんがキーボード弾いているところの生っぽさを活かしたいと思ったので、それがかっこよく一体となって見えるための試行錯誤はいちばん時間が掛かりました。

●なるほど。そういう部分にこだわったんですね。

沼澤：映像って、音楽の何百倍も時間と試行錯誤を重ねないとカタチにならないですよね。映画でも、５秒間のシーケンスを作るために平気で１週間掛けますからね。

音楽は、演奏である程度のカタチは比較的すぐできます。音楽が簡単だとは言わないけれど、映像の方が、ある程度カタチになるまでの時間が多く掛かるよね。


ヤマダ：生みの苦しみは音楽も映像も同じだと思うんですけど、カタチにするのは音楽より時間が掛かるかもしれませんね。

今回はプログラマーと、デザイナーと、シーンを作る人、そしてモーションを作る人と、チームで作っていたんですけど、チームワークに割く時間も掛かりますよね。

fuZeでは、そのあたりの手間を”vjkit”を使って、クリエイターやアーティストがひとりもしくはふたりくらいで作れるところまでもっていくことが目標で、いまUnityさんと開発しながら進めているところです。