<地道な実験の積み重ねが 見たこともない作品を生む>

ライゾマティクスの話をちょっとしたいと思います。ライゾマティクスは2006年に設立した、もともとは会社で、現在はアートユニット名になっています。大学の同級生2人と、あとはIAMAS、さっきの岐阜の学校で一緒に作品を作っていた映像作家の堀井くんと4人でスタートした会社です。現在はグループ会社も含めて50名程度の大きなチームになっています。

もともとはいわゆるソフトウェアのエンジニアと映像作家でつくった会社でしたけれど、今はいろんなことができる人たちがいるので、ウェブもアプリも、店舗もやりますし、ライブもやるという感じで本当に幅広くやっています。

ここからちょっと具体的なプロジェクトの裏側を紹介していきたいと思います。1つ目はフェンシングの選手の太田雄貴さんと取り組んだプロジェクトを紹介します。

フェンシングは歴史が古く、知名度も高いスポーツですけれども、何が起こっているのか理解するのが難しいという課題がありました。そこで、太田さんからより分かりやすく魅力を伝えたいという相談があって、「フェンシングのものすごく速く動く剣先を可視化する」「剣先の軌跡が見えるようにする」というようなアイデアを提案しました。

※映像（開始点39分37秒）とあわせてご覧ください。

これは2019年で完成したものですけれども、リアルな空間にバーチャルな映像･CGを重ねて表示する技術「AR」というものを使って、フェンシングの剣先の軌跡を可視化しています。

いちばんの課題が、剣先にこういったマーカー(上画像)をつけたりするとコンピューターが簡単に剣先を見つけることができるんですけれど、本番の試合では剣先に何も取りつけることはできない。当たり前ですけど、それによって勝負が変わってしまうかもしれないわけです。剣先にマーカーをつけずに、剣先を検出するということをやる必要がありました。

※映像（開始点40分36秒）とあわせてご覧ください。

フェンシングのトラッキングのプロジェクトを手がけたのは2013年なんですけれども、もともとPerfumeのライブのために指先にマーカーをつけて動きをトラッキングする、軌跡を可視化するというようなプロジェクトをやっていたので、いちばん最初の可視化のプロジェクトのときはマーカーを使って行いました。

※映像（開始点40分56秒）とあわせてご覧ください。

最初にやったことというのは「フェンシングの剣先がどれぐらい速いのか」ということを調べることでした。これは1秒間に1000回撮影するカメラで撮影しているんですけど、1秒間に1000回というのは多すぎて、当時のシステムだと300回撮影するとちょうどいいんじゃないかというようなことを、この撮影で実証しました。

※映像（開始点41分20秒）とあわせてご覧ください。

マーカーをつければ、実は撮るのはそんなに難しくないんですね。過去にもやっていますし。フェンシングの実際の試合では使えないですけど、こういったエキシビジョンや映像のプロジェクトでは、剣先にマーカーをつけて、剣先の位置を認識して取得して、そこに軌跡を合成するというようなことをやっていました。もちろんこれは試合では使えないので太田選手とも話して、なんとか剣先にマーカーをつけずにできないかと、もしマーカーをつけずに実現できるのであれば、試合でも使えるんじゃないかというような話を当時からしていました。

※映像（開始点42分11秒）とあわせてご覧ください。

僕は“マーカーあり”のシステムのときは、エンジニアリングも映像もやっていたんですけれども、2016年から本格的に“マーカーなし”で剣先を検出するプロジェクトが始まって、ここからライゾマティクスの花井というエンジニアにバトンタッチしました。エンジニアがマーカーをつけずに剣先の検出を試みているところです。いろんなアルゴリズムを試しているんですけれども、まだ剣先を見つけるための十分な精度は出ていません。

※映像（開始点42分39秒）とあわせてご覧ください。

そして2017年の動画ですけども、アルゴリズムを人間が考える方法ではなくて、「人工知能の機械学習」を用いる方向に転換するということをやりました。機械学習というのは、データからコンピューターが自動で学習して、データの背景にあるルールとかパターンというのを発見する手法です。この段階では軌跡を合成するのに十分な精度は出てないんですけれども、ただ今後の見通しが立ったということで、この方針で進めていきます。

※映像（開始点43分18秒）とあわせてご覧ください。

2018年、剣先を認識するための仕組みを最新のものにアップデートして、カメラ1台の合成で、平面での剣先の検出には成功しました。理想的な環境では、軌跡を生成可能になりました。まだまだ実際の試合に耐えられる精度は出ていないんですけれども、このときは全日本選手権のエキシビジョンマッチででも披露することができました。

※映像（開始点43分49秒）とあわせてご覧ください。

2019年に実際の試合で使うために大規模な機械学習用のデータセットを新規に撮影しました。8台のカメラと12人の選手、複数の背景と照明の条件で撮影しています。撮影したあとは20万枚以上の画像に、人間の手で、剣先の位置がどこかという位置情報を追加する作業を行っています。

これが人間の手で、剣先はどこかということをマークしている作業の様子になります。特殊なソフトを開発して、画像に剣先の位置情報を追加できるようにしました。画像に位置の情報を加えることを「アノテーション」とかと言いますけれども、このアノテーションで作ったデータは「教師データ」というふうに言われます。コンピューターの学習に利用されるんですけれども、人間と同じでAIも学習すればするほど正解率は上がっていきます。AIの精度をより高めるためには、大量の教師データ、剣先がどこにあるかというデータが必要になるので、大量のデータを作る必要があったということですね。もちろんデータ量が多い方が精度が上がるんですけど、人の手でやるのは限界があります。当時はアルバイトがひたすら剣先にマークをするというようなことをやっていました。

※映像（開始点45分28秒）とあわせてご覧ください。

それだけではなくて、CGでフェンシングの試合の様子を作って、アノテーションデータを作ればいいんじゃないかということをやりました。ここでは100万枚以上のCGのデータセットを作っています。床がCGなので分かると思うんですけれど、カメラで撮影したものではなくて、全部コンピューターで作ったCGです。

最近のCGは本当に精度が高いので、実際の試合のように見えるかもしれないですけれど、これもコンピューターで作られた映像になります。CGだと、背景や剣の見た目、照明条件というのは、簡単に変えることができるので、大量にいろんなパターンの画像を作ることができます。大量に作ったデータをコンピューターの学習に使いました。

大量のデータを作って学習を行った結果、コンピューターが剣先を見つけることができるようになったので、実際の試合に近い環境を試すためにミニチュアで検証もしました。

プロジェクトがスタートした2013年から6年目に、フェンシングにより特化した調整を行った結果、高精度なシステムが完成して、実際の試合で使えるようになりました。剣先の位置推定が2Dから3Dに進化したり、人の骨格の情報をコンピューターで検出できるようにしたり、いろいろと機能を追加して映像の表現というのも大幅にアップデートしていきました。本当に長いプロジェクトだったんですけれども、エンジニアの執念ですかね。あと太田雄貴選手の熱い情熱に支えられて、東京オリンピックでも発表することができたプロジェクトになります。

※映像（開始点47分34秒）とあわせてご覧ください。

これは、アメリカのロックバンド「OK Go」のミュージックビデオになります。タイの製紙メーカーが作る紙の品質の良さを伝える広告のキャンペーンがきっかけで、それに関わることになったOK Goから、ぜひ一緒にやろうと声がかかって始まったプロジェクトです。これは全部CGではなくて、実際にプリンターから紙が出てきて、パラパラ漫画のような形で映像になって、それに合わせてOK Goのメンバーが一緒にパフォーマンスをするというものです。

※映像（開始点48分20秒）とあわせてご覧ください。

これは仕組みが分かりやすいので、ちょっと再生しますけれども、本当にこの企画が実際に面白くなるのかどうか、そもそも成立するのかどうかということを、ライゾマティクスのスタジオで検証したときの動画です。

今めちゃめちゃ遅く動いていますけれども、これは実際にこれぐらいのスピードで動いて、それを早送りして普通の速さで動くというようなこと･･･さっきは16分の1のスピードで動いていて、16倍にしたので普通に動いているように見えるというものですけれども、その検証を最初にやったときの動画です。

これは2年か3年ぐらいかかって作った、途中空いている時間もありますけれども、すごい大規模なプロジェクトでしたね。

突然、僕が踊っているところですけど、依頼されて制作するときというのは、先方のこだわりとか、先方がどれぐらいのことをやれるか、自分は音楽の作業は結構やっていたので、ミュージシャンとのコラボレーションはいちばんスムーズに行くんですけれども、ダンスのプロジェクトを2004年からやっていたのに全然自分で踊ったことがなくて、それによって分からない、理解が及んでないところもあるんじゃないかなと思って、2015年ぐらいからダンスの練習をやるようになりました。そのおかげで今までとはちょっと違う解像度で、例えばPerfumeの踊りを見ることができるようになったんじゃないかなと自分では思っています。やっぱり相手のことをすごく学ぶ、相手がどういうことができるかということを知ることは、すごく大切なことなのかなと思います。

※映像（開始点50分35秒）とあわせてご覧ください。

これはダンスの練習を自分でするようになって派生して作ったプロジェクトです。自分が人前でダンスするというのは、そのうちやりたいなとひそかに思っているんですけれど、まだちょっとできなくて･･･ただ、CGのアバターになって踊るということはできるなと思って作った作品です。

これが最後のプロジェクトの紹介になりますけれども、さまざまな作品制作を積み重ねてその集大成になったのが、リオ2016大会の閉会式です。本当に今までやってきたことを集約させたプロジェクトだったんですけれども、このハードルを越えられるのかなというような、すごいハードルが用意されていて、その中でもいちばん大きかったのは「会場で1回もリハーサルすることができない」という制約でした。

※映像（開始点51分47秒）とあわせてご覧ください。

実際にできるかどうかというのは、本当に事前の準備と、これは実際に使用したシミュレーションです。現場で実際どういうふうに見えるか、どういうことが起きるかということを、事前にコンピューター上で想像するというか、予測するためのソフトウェアなんですけれども、とにかく現場でできないので、いろいろなことを事前準備しました。

現実世界とCGの世界、仮想の世界を行ったり来たりするというようなことをやっていますけれども、2014年･2015年くらいから取り組んでいる表現なので、その初期のプロジェクトから少し解説をしていきたいと思います。

※映像（開始点52分38秒）とあわせてご覧ください。

いちばん最初に「Seamless Mixed Reality」という現実と仮想の世界を行ったり来たりするという表現を生放送でやったのは、2014年のNHKのプロフェッショナルでした。

自分が出ているプロフェッショナルだったので、一瞬CGの世界に入ってシームレスにまた現実の世界に戻るという感じですけど･･･とにかく実証実験がしたかったんですね、2014年の時点では。プロフェッショナルの生放送でドローンを飛ばしたり、こういうCGの合成をやったり、そういったことをやりました。そういう背景があって、この生放送をやっています。

※映像（開始点53分26秒）とあわせてご覧ください。

そのあと、先ほど出てきた花井というエンジニアと一緒に、このSeamless Mixed Realityをいろいろな場所、いろいろなプロジェクトで展開するために、プロトタイプを作りました。というのは、プロトタイプと言っても見た目だけでインパクトを与えなきゃいけないので、これはそういった意味ではスタジオでの実験ですけれども、パッと見ただけで面白そうでした。

同じく24台のドローンを飛行させることに成功しました。これはPerfume演出家のMIKIKOさんが「けっこう風がすごそうだね」とか言いながらドローンの下に行ってます。このときにいろんな人に見てもらって、実際にこれが実現できるということを証明しました。

そのときにプロトタイプだけじゃもったいないということで、ELEVENPLAYというダンスカンパニーと一緒にドローンの作品も作っています。

※映像（開始点54分38秒）とあわせてご覧ください。

2014年の紅白でPerfumeの出番のときに、後ろでドローンを飛ばしました。今考えてもすごいチャレンジをしたなというふうに思います。

そして2015年のお正月に、紅白のすぐあとだったんですけれども、NHKスペシャルの「NEXT WORLD」で、ドローンを飛ばす。あとはSeamless Mixed Reality、バーチャルを行ったり来たりするような演出というのを、また生放送でやりました。

※映像（開始点55分34秒）とあわせてご覧ください。

これは2015年3月、アメリカのSXSW(サウス･バイ･サウスウエスト)というイベントです。Perfumeだからこそできる、さらに精度の高い演奏っていうのをやりました。毎回同じように正確に踊れるPerfumeでしかできない演出なんですけれども、CGの世界と現実の世界をより高精度に行ったり来たりすることができる演出になっています。

それ以外にも、いろいろな実証実験をやっています。これは実際のプロジェクトで2014年に国内で行われた花火大会の練習風景ですけれども、スタジアム規模で大量のライトを無線でコントロールするというような実証実験を行いました。

※映像（開始点56分30秒）とあわせてご覧ください。

2015年に実際にリオ五輪大会のセレモニーの話をいただいたあとに、プロトタイプを作っている様子ですね。演出家のMIKIKOさんからも相談を受けて、こういう光るフレームでパフォーマンスをやることができるかということで、重量を見たりサイズを見たり、実際に作ってみないとなかなか分からないようなことを、プロトタイプを作って実験しています。いろんな実験をして使われないものもたくさんあるんですけど、とにかく思いついたことをスタジオでどんどん試していくというようなことをやっていました。

これはアナログな世界ですけれども、さまざまな手法で演出を具現化して、人に伝える必要がありました(上画像)。

※映像（開始点57分23秒）とあわせてご覧ください。

比較的簡易的にできるシミュレーションが終わったあとは、ダンサーの動きやフレームの光り方、位置、そういったものを確認するためのソフトウェアを開発していきました。フレームの光パターンというのは、こういった独自のソフトウェアを使って制作しています。とにかく現地で実験できないので、VR技術･AR技術、さまざまな手法でシミュレーションをして、どういったことができるかということを検証しています。パソコンで作ったこういう映像を世界に配信するというのはかなりリスクが高くて、なかなかゴーサインが出なくて、本番が8月で、7月ぐらいまでゴーサインが出なかったんですよね。ただこれまでにいろんな実証実験をしていて、成功させて証明してきたこともあったので、なんとか表現としても問題ないし、技術的にも問題ないということを証明することができて、最後の最後でいろんなシステムを使ってパフォーマンスすることができるようになりました。

<まだまだ広がる 新たな技術と表現の可能性>

※映像（開始点59分00秒）とあわせてご覧ください。

Perfumeとのプロジェクトになりますけれども、これもPerfumeでしかできないプロジェクトだったかなと思います。Perfumeの3人が、東京･ロンドン･ニューヨークの3都市に分かれて同時にパフォーマンスする様子を、最新の通信技術を使って組み合わせて全世界に生配信するというものでした。この配信では合成が多様なパターンで、単純に並べるだけではなくて、いかに面白く合成できるかということにこだわって作りました。

※映像（開始点59分38秒）とあわせてご覧ください。

これもすごく思い出深いプロジェクトなんですけど、2020年には坂本龍一さんの生配信のオンラインコンサートの演出のお手伝いをしました。このときは指先から光の粒が出ているような映像の合成をしていますけれども、これはもともと岩井俊雄さんというメディアアーティストの方が、90年代の半ばに坂本龍一さんとコラボレーションをしていて、そのときに同じような演出をやっていたので、そのリスペクトを込めてオマージュとしてやったものです。

実はこの坂本さんのオンラインコンサートのあとに、もうひとつプロジェクトがあって･･･撮影がすでに終わっているそのプロジェクトが今年の夏ぐらいについに発表になるかなというところで、今はその準備も進めています。

※映像（開始点1時間00分39秒）とあわせてご覧ください。

これはコロナ禍に作成したデバイスです。音声信号に実は透かしの信号が入っていて、それを使って映像と同期しています。正確には、映像の中でライブをしているPerfumeが持っているサーベルの光のパターンと同期しています。こういったものをコロナ禍で作りました。

これをなぜ作ろうと思ったかというと、やっぱり映像の中だけで配信を見ているというのがすごくもったいないように感じたので、映像の中の世界がどうやったら現実世界に拡張できるか、そういったことを考えながら作ったライゾマティクスのデバイスになります。

最後になりますけれども、これは最近話題になっている対話に特化した「Chat GPT」という人工知能です。自分に関する質問をしたところ、結構、いい線いっている回答が出てきています。

現在テクノロジーは本当に進歩して、「人間がどう使っていくか」ということが大事になってきているなと思います。もしかすると、今、自分たちがコツコツ手作業でやっているような作業というのは、本当にAIがやるようになる可能性もあるかなと思います。なので、今回参加してくれた皆さんも、「自分は何が得意か」「何がしたいか」という“持ち味”を持って、テクノロジー、今後発展していくAIを使っていってほしいなと思います。