EN体験拡張表現プロジェクト
リアルタイム、インタラクティブな体験には高度なテクノロジーと、テクノロジーを使いこなす表現手法とコンテンツが必要になる。コーディング技術と表現により可能になるクリエイティブコーディングや表現としてのライブコーディングによる音楽や映像を利用した体験やAR・MR・VRと行ったxR技術により実空間とか仮想空間を融合した体験空間の構築、また視覚や聴覚を以外の各種感覚を用いることによる体験の複合化など、高度な技術と表現による体験拡張は急激に進化している。本プロジェクトでは、テクノロジーを使いこなし、テクノロジーに適した高度な表現を研究することで、新たな体験拡張の創造を目指す。音楽イベントNxPC.Labの活動と連携することで、研究を展開する場として効果的に利用し、研究・展開を融合した実践的な研究を進める。
拡張する対象となる体験において、その体験における本質となるものを技術的、認知科学的、表現手法的などの多様な側面から考察し、入力から出力の一連の過程を実現するための必要となる要素を調査し、実現するための技術的な基盤を構築し、高度な表現として応用可能な表現を構築する。
具体的には、映像、音声をはじめ生体情報等を取得する各種センサーによる入力、クラウドや深層学習を含めた入力したデータの処理、AR,MR,VRといったxR技術による視覚・聴覚・触覚等による出力、およびそれらの身体へのフィードバック、これら一連の技術的な利用手法の開発、同時にアート、エンタテイメントの枠を超えた体験の表現としての質を高めるための議論を行って行く。特にNxPC.Labの活動と連携することで様々な段階における実験および実演を介して実践的な研究の展開を行う。
xR技術や各種センサーや表現のためのツールのサーベイを行いつつ、オープンハウスに向けて技術から表現へと繋ぐ習作を製作する。同時にNxPC.Labの活動において実験や表現のプラットフォームの整備・運営を実施する。初年度においては、履修者の各テーマと並行してNxPC.Labの公演での実演を前提に体験拡張をする表現をテーマとしたシステムの開発をめざす。
これらの成果は情報処理学会エンタテインメントコンピューティング、インタラクション、VR学会、映像学会等での発表を随時行う。また、作品としての成果は各種コンペティションへ応募して行く。
2021年 - 現在
