共感覚を応用した
インタラクティブメディア表現の研究
Study for Application of Synesthesia to Interactive Arts
08105 スタジオ１ 桑原翔
Studio_1 Sho KUWABARA
研究の姿勢/概要
共感覚に代表されるような、異種感覚の結合は、特異なものとされがちであ るが、実は人間の感覚に対して普遍的な認知現象であり、かつその感覚は或 程度であれば、主体的に拡張することのできる感覚であるかも知れない。 本研究では、上記の事象を仮定とし、前提に、その様な感覚の結合を喚起す るインタラクティブなメディア作品を提示することを通じて、これらの混ざ り合った認知を、観者各々の日常的な感覚へとインストールし、拡張させて いくことを主たる目的とする。
共感覚（Synesthesia）について
共感覚（Synesthesia）は、「一つの感覚の刺激によって別の知覚が不随意的に引き起こされること」と定義される。耳で聴いた音に対して色を感じる、見た風景に対して味を感じる、など、一定の情報に対し、異なる複数の感覚が同時に働くことである。“特定の文字（数字やアルファベット）に対して、特定の色を感じる”という認知現象が、もっともその割合を占め、かつ日常的である。
異種感覚結合の事例
特定の文字に特定の色を感じる（例えば、Aという字は赤く、数字の３は青く感じるなど）
右図は、文字に色を感じるという共感覚を持つ、キャロル・スティーン氏が感じている心理現象を図にしたもの。
共感覚と近しいもの
共感覚という現象は、特異なものとして概念化されているが、実はこのような、本来知覚しているもの以外に、別の感覚要素やイメージを結びつける働きやは、人間の脳にある程度普遍的なものなのかも知れない。これらの認知現象と、共感覚は根源的同一なものと仮定される。
・ モノに対する擬人化
・「あの人の顔は“平野”っぽい」と思う時の、名前（音）とイメージの連携
・ ２は黄色、３は青と、何となくイメージをする「感じ」
・「黄色い声」というメタファー、「ごわごわ」という擬態語
ブーバ/キキ効果（Bouba/Kiki Effect）
心理学の分野においても、言語音と図形の視覚的印象との連想についての一般性は報告されている。
右の2つの図形を被験者に見せ、どちらの名が「ブーバ」で、どちらが「キキ」であると思うかを聞くところ、98%ほどの人が同一の連結を行っている。それでいて、被験者の母語にはほとんど関係がない。
制作研究の目的
異種感覚結合を喚起するインタラクティブメディアの提示を方法論として、これら、非日常的ととらわれがちな感覚現象をより一般的なフィールドへとインストールし、観者（体験者）の内観での感覚、感受の限界に迫り、拡張することが可能であると仮定し、それを目的とする。
今制作では、文字と色彩とのイメージの結合に着眼点を置くものとする。
制作物について
文字と色彩との結合や、ものに対する擬人化などの結合は、ひとりひとりが全く異なる連関を示すものであり、複数の人間のあいだで共有することができない。真にオープンな表現として存在し得ない。しかしながら、観者各々の内観における感覚を反映し、応答するインタラクティブ性を作品に持たせることで、各人において、主観的に普遍性を保つことができるものとする。
制作物について
『Colored-Web』（仮）
各々の固有の感覚に対し、インタラクティブ性を保つ媒体として、ウェブブラウザを起用した。既存のあらゆるウェブサイトを、色面で埋め尽くされた平面構成へと変換するFirefox Add-onである。ここでは文字から連想される色彩を利用して、文字情報から、色面への変換を行うが、その連結の対（組み合わせ）は、各々が、自分の感じる主観に基づいて、カスタマイズできることが、もっとも重要な点である。
期待される成果と考察
文字で情報を発信するウェブという媒体において、「情報・言語→色彩」「具象→抽象」という変換をプロセスとした再構築をすることによって、ウェブという集合知、固定されてしまっている意味がけのグリッドを、各々が脱構築し、自由な連結を行うことができる。文字と色との強い結びつきを、意識レベルにインストールすることによって、各々の内観での感覚の拡張をはかることが見込まれるだろう。
来年度の制作と、修士制作研究にむけて
今回は、共感覚という概念に集中して、制作の方法論に組み込んだが、以降は共感覚も、広い認知現象の一端にすぎず、本来のフォーカスはもっと広義的な異種感覚結合にあてていく。その一方は色覚でありたい。常に作品と観者との対話性、観者の感覚の拡張を狙いとしていく。
異種感覚結合の応用は、あくまで制作の方法論における論点であり、各々の制作におけるモティーフや主題は別に設けるものとする。