IAMASの教育の特色でもある「プロジェクト」は、多分野の教員によるチームティーチング、専門的かつ総合的な知識と技術が習得できる独自のカリキュラムとして位置づけられています。インタビューを通じて、プロジェクトにおけるテーマ設定、その背景にある研究領域および文脈に加え、実際に専門の異なる教員や学生間の協働がどのように行われ、そこからどのような成果を期待しているのかを各教員が語ります。

平林真実教授、小林孝浩教授、前田真二郎教授

MR音楽作品Avator Jockey体験会

－ プロジェクトのテーマと背景について聞かせてください。

平林真実（以下平林）　テクノロジーを使ってそれをいろいろな方向へ拡張していくことで、体験がどう変わっていくかが、研究として目指していくところです。実際には、コーディングをしたり、システムを作ることを通して、表現に繋げていきます。例えば、最近は、ライブ・クリエイティブコーディング系の学生が増えていて、クリエイティブコーディングの一部として、ライブコーディングがあったりします。それから、特に多いのはXR系の関心ですね。ARやMR、VRを使って体験を拡張するというところが、最近の主な領域になります。プロジェクトとしては、テクノロジーを使っていますが、体験を考える上では人間が何であるかを知らなければいけないので、『Mind Hacks ―実験で知る脳と心のシステム』（オライリージャパン、2005年）や『プロジェクション・サイエンス-心と身体を世界につなぐ第三世代の認知科学』（近代科学社、2020年）など、認知科学系の文献の輪読をしたりしながら、最終的に各自の表現に落としていきます。
サブプロジェクトとして、NxPC.Labという音楽イベントを企画、運営する活動もしていて、10年以上前に、音楽会場における体験をテクノロジーによっていかに拡張するかというところから始めました。イベントの回数もすでに50回、60回になりますが、継続的にいろいろな学生が参加しつつ、自分の映像や音楽、会場システムを実験的に作っていきます。なので、体験拡張表現プロジェクトを履修する学生の中には、NxPC.Labに参加している学生も多いですが、発表する内容は、直接研究に関わっている人もいれば、そうでない人もいます。研究内容とNxPC.Labの活動が関わっている人の場合には、プロジェクトでの研究を、NxPC.Labで実践するかたちになるし、プロジェクトを履修していない学生にとっては、自分の研究なり、あるいは趣味なりを展開する場所がNxPC.Labになっています。

小林孝浩（以下小林）　平林先生とは、体験拡張プロジェクト以前から、「情報に形を与えるなどして直感的な操作を実現する」ことを目指したプロジェクト（実世界指向インターフェイスプロジェクト、2007〜2009年度／実世界意味情報指向インターフェイスプロジェクト、2010〜2011年度）を行っていました。そこでは、手触りに温度覚を重畳（温感触図）したり、枕に映像を投影することで表示装置でもあり触れて操作もできる装置（Tangible 3D Graphic Equalizer）にするなど、インターフェイスを通じて経験の拡張を目指していました。体験拡張プロジェクトでは、センサ技術の充実や処理速度の向上などを受け、そこから広く体験を拡張する方向を目指してきました（プロジェクト名称の変遷は、体験拡張: 2012-、体験拡張環境: 2015-、体験拡張表現: 2021-）。私自身は、構想を実現するための技術的側面や、研究の組み立て方についてのアドバイスを行っています。
「体験の拡張」のねらいのひとつに、シンギュラリティーを見据えたテーマということがあります。身体の任意な改変、刺激、機械での実現なども視野に入れて、工学的根拠と予測に基づいたコンセプトを議論しています。こうした視座から、これまでにも、比較的早期にAI技術を扱うなど、注目される前の技術に挑戦しやすい環境ではないかと思います。

前田真二郎（以下前田）　2021年度より平林先生に誘われて参加しています。これまでのプロジェクトは工学的、技術的なところが中心だったそうですが、社会における作品の位置づけといった「表現」の問題についてこれまで以上に取り組んでいきたいと聞きました。研究領域でいうと、平林先生がエンターテイメントコンピューティングという分野をプロジェクトの枠組で進めているのが、体験拡張表現プロジェクトだと思いますが、実際、僕自身の研究や作品の発表は、そこからは少し離れた分野で活動しています。学生から見て、「実はエンターテイメントコンピューティングとかあんまり好きじゃないですよね」って思われているかもしれないですが、僕の中ではそれほど分け隔てはなくて、どの領域でもクリエイティブなものはあるわけですよね。映像表現のどの分野に才能が集まっているかという視点で見ると、エンターテイメントコンピューティングの分野には今そういう才能が集まっていますし、創意工夫が行われている状況があると思います。かつては、学術的な関心や表現としての批評から少し離れていた分野かもしれないですが、僕自身もクリエイティブな側面に関心を持ちながら進めています。

平林　インターフェイス系のプロジェクトの時代から、体験を拡張する活動ではありますが、当時はシステム自体を作るハードルが高かったせいで、中身のコンテンツは実験的なものにとどまっていて、一部の学会で発表するくらいでした。今だとTouchDesignerやUnityなど、いわゆる技術系の専門でない人たちがどんどん作れるようになって、裾野が広がってきました。システム自体もですが、それ以上に映像や表現としての中身が問われるようになって、そこが評価の中心になってきているところがあります。

オープンハウスでのVR空間上での作品展示

－ 学生はどのように関わっているのでしょうか？

平林　基本的には、体験拡張に絡めた各自の関心を中心に据えて、それを毎週ディスカッションしながら、技術的な部分や内容を深めていくというかたちをとっているので、学生によって取り組む内容が違います。例えば、ネット上の音楽コミュニティやネットレーベルの新しい運営の仕方、新しい考え方を研究のテーマにする学生や、パフォーマンスに対してAR表現や参加型のシステムを設計することをテーマとする学生がいたりします。それから、もともと工学系にいて、シェーダー言語をバリバリ書いて、いわゆるリアルタイムのシェーダーで絵を作っていく学生もいます。

前田　僕はタイムベースドメディア・プロジェクト（以下、TBMプロジェクト）も担当しています。映像系の学生のなかで、シングルチャンネルの映像表現を探求したい人や、配信コンテンツを考えたいといった人はTBMプロジェクトに所属します。一方、映像を用いたパフォーマンスでARの技術を使ってみようとか、もう少し現代ならではの技術に興味がある学生が体験拡張表現プロジェクトを選ぶように思います。今いる学生の例では、これまで写真やシングルチャンネル作品を制作してきた流れから、フォトグラメトリという技法の可能性を模索している人がいますね。

－ 学生は、学会発表やライブイベントなど、学外での発表の機会にも恵まれているようですね。

平林　HCI（ヒューマンコンピュータインタラクション）系の領域で、エンターテイメントコンピューティングや、いわゆるインタラクションとか、情報処理学会系の学会でデモ系の発表をしています。NxPC.Labの活動で発表した作品は、学生向けのコンペに出して賞をもらうこともあります。NxPC.Labの機会を定期的に利用してバージョンアップしながら制作できる環境が整っているので、記録映像も撮りやすいし、うまくいってるのかなと思います。

小林　実装だけでなく、「準備された環境（= NxPC.Lab）での検証」ができる点は、学会で「羨ましい」と言われるほどです。分野は少し限られますが、実装と検証の両輪が機能していて、最近工学系の学会でも重視されるようになってきた応用事例（コンテンツ研究）でも、成果を挙げられるようになっています。

平林　これまでの流れの中で「体験拡張表現」を考えると、テクノロジーベースでシステムを作ることが中心でしたが、表現寄りの内容が増えてきて、そこのバランスをうまくとってアウトプットできるようなプロジェクトになればと思っています。私の立場もそうですが、工学系の学部にいてもできないやり方をやりたいですし、卒業生を見ても、そのあたりのバランスがうまく取れている人たちが活躍していると思うんですよ。体験拡張にくる学生は、そういうところを自分の表現として確立しながら、それを研究としてまとめていければと思います。

聞き手：伊村靖子

 
※『IAMAS Interviews 02』のプロジェクトインタビュー2021に掲載された内容を転載しています。