Googleの提供する共感覚体験で絵画から音楽を聴く

共感覚に興味はありますか？もし関心があれば、Googleが提供するArts & Culture のラボがおすすめです。今回の新しいケースでは、ロシアの芸術理論家で、画家のワシリー・カンディンスキー(1866年 ~ 1944年 )にインスパイアされています。彼は共感覚の持ち主であったため、絵画の制作中に、音楽の和音や音色を聞くことができました。彼の感覚がどのようなものだったのか、Googleの取り組みを通じて覗いてみましょう。

Arts & Cultureで共感覚を体験

共感覚とは、関西学院大学 長田典子教授によると、文字や数字に色が付いて見えたり、音を聴くと色が見えたりするなど、通常の感覚に加えて別の感覚が無意識に引き起こされる現象のことを指します。例えばある景色を見ると音となって聴こえたり、匂いが触覚としてざらざらと感じられます。一般に個人差が大きい現象とされています。

Googleの新しい実験ではこの共感覚をテーマにしています。こちらにアクセスすると、テーマのコンセプトが簡単に紹介されており、カンディンスキー氏が体験したものに近い体験をユーザーに提供されています。このサービスは過去Googleが提供してきたコンテンツ同様、誰でも無料でアクセスでき、ちょっとしたオリジナルの作品を手掛けられるようになっています。

テクノロジーが感覚を「開放」する

画面上をクリックして簡単に遊んでみましょう。例えば、上の画像では、赤はバイオリンに関連しています。ちなみに、この実験でぜひ触れていただきたいのが、カンディンスキーの名作「黄-赤-青」です。絵画を音として聴くことができ、まさに共感覚とはどのような感覚か、その一端に触れられるようになっているのです。

GoogleはArts & Culture のサイトにて「カンディンスキーが、作曲家アントワーヌ・ベルタンと音楽グループNSDOSによって解釈されたように、カンディンスキーが聴いたされる、この名作をぜひ耳で確かめてください」と説明しています。Googleが得意とする機械学習によって、視覚情報を音楽に変換され、この象徴的な絵画の7つの動きがユーザーに案内されます。

最後に、ユーザーは「自分で試してみる」オプションをクリックしてみましょう。感情の組み合わせが選べるようになっています。カンディンスキーの作品に基づいてどのようなムードに聴こえるかを体験できるのです。ユーザーは自由に音楽を調整できるようになっており、画面上でさまざまな形を有効にしたり無効にすることができます。完成した作品を誰かに見せたい（聴かせたい）場合にはどうしたらいよいでしょうか。その際はツールの「共有」オプションを使ってシェアしてみてください。