[&] ggg - Sense of Belonging

http://www.dnp.co.jp/gallery/ggg/
ggg「指を置く」展トークショー
「概念に触れるための技法」
渡邊恵太＋齊藤竜也

齊藤：さっそく始めます。
今日は、タイトルは、概念に触れるための技法ということで、
渡邉さんをお呼びして話しをしたいと思います。
仮につけたタイトルで、いろいろ話しをしていたら、
タイトルからずれた内容になるかなと。
展示と関係してきますし、渡邉さんの研究と直結した話題になります。

これは、指を置く展の時に考えたものですが、
点線と実線の間に指を置くと、指先で概念を感じられる。

端っこの数字が含まれるか、含まれないか、
条件式に意識が及ぶ。
概念的なものを指先をとおして感じるもの。
概念や視覚的なものに関して話しをしようと思っていましたが、

そもそも指は何か？
語源は、「およぶ」
ものに触れたりすると、指先に力がおよぶ、
そういう作用を指が持っている。
そこから指ということばがでてきた。
道具だけでなく、概念や実体の無いものを、
指が及ぶということがわかってきました。

今日はお呼びしている渡邉さんは、インタラクション研究がんばっている方で、
今日の話題は、コンピュータのスクリーンの中に指先の感覚がおよぶとか、
メディア上に自己認知が生まれるという基礎研究をされていて、
応用研究をされていて、映像の中に指先の感覚がおよぶということで、
関連した話しをしていければなと。

実験道具を持ってきました。
鏡がありまして、裏側は何もありません。
ここに手をかざすわけです。
鏡を通して、鏡に映っている右手が見えます。
鏡の中の右手が、自分の左手のような感覚がしてきます。
ある種の錯覚ではあるのですが。

右手にペンを持って、左手に何も持っていない。
左手がペンを持っているような感覚が生まれます。
視覚情報にひきづがれて、強い思いとして生まれます。
簡単な実験なので、家でも鏡があれば、できます。

もともとは、幻肢、
事故で無くなった手の感覚が残ってしまう。
事故でねじれた腕をなくしてしまった時は、ねじれた記憶が残ってしまう。

右手の鏡像を見ながらリハビリをすると、脳の中、視覚情報と運動感覚を使って
治療していきます。

身体の境界
物理的な身体とは必ずしも一致していない。
視覚情報と体性感覚の統合で生じる。
道具、図版、映像の中へ入り込む。

紙の表面で起きることを探ってきたのですが、
図版の中の事物に関与していく図版が見つかってきて、
指を置くと、テコの先でヒモを持ち上げているみたいな、
指を置いている箇所でなくて、テコの先に指先の意識がいくものや、
テコの先にもテコがあって、その先の羊羹を切っているような、
テコの支点、力点に力を与えることで作用点に強い関心を生みます。

弓矢に指を置くと、同時に三つの的に関心が向かうなど。
複数の作用点を認識する例。

指を置くと、どの刃先につながっているのか気になる。
刃先で豆をつまんでいるような感覚になるなど。
自由に自分がつながっている先を切り替えることができます。

ハンカチをつまんで持ち上げている。
箸の先でつまんでいるような、自分の指が箸の先のような変な感覚がします。

水槽の中に金魚がいるところに指を置くと、自分が金魚になったような感覚。

弓矢の作品、弓矢の図版に矢を置くと、一瞬遅れて、反対側に手が出てくる。
ちょっとだけ遅れてくるので、事故認識が機能しなくて、
誰かの手かもしれないと、考えてしまう。
自分が離すと弓矢が放たれるのではないかという感覚が生まれる。
奇妙な三すくみ状態になる。

図像の中に身体感覚が入り込んでいくとか、
画面の中に自己認識が働くとか働かないとか、
そういった話しをして頂ければと。

■自己知覚とインタフェース
渡邉さん

SFCでした。佐藤雅彦さんの授業も受けていました。
五十嵐デザインインタフェースプロジェクトに所属していました。
現在は明治大学、総合数理学部　先端メディアサイエンス学科

まあ、考えていることをざらっと並べます。
これは10年近く考えていることですが、
ギブソンの心理学にはまり込んで、
そういう関係もあって、身体や知覚に興味をもって、
インターネットのブーム、情報が増えてきて、
いろいろ考える機会があって、
自己をメディア設計に生かせないかと、14年間ぐらい考えています。

最終的に何をしたいかというと、知識の外在化を
自分が覚えていることの代わりに保存していると思います。
いくらパソコンに情報を入れても自分が成長している感じはしません。
いくら Evernote に保存しても、
覚えることと保存するのはどう違うのか？
成長すると筋力になるように、
情報を肉体化できないかと考えています。

クラウドの情報が沢山ありますが、
無限に広がるストレージのポテンシャルを自分のものにできるのではないか？
インターネットのポテンシャルを自分の身体として活用できて、
今しゃべってることも、Google で検索しながらしゃべるようなことができるのではないかと。

VisualHaptics 2002
http://www.persistent.org/visualhaptics.html

フラッシュで作られていて、Webでも公開しています。
どういうシステムかというと、カーソルがあります。
普通のマウスがあります。テクスチャがあるのですが、
カーソルの方がプルプル震えます。
あたかもざらざらしているような感覚が得られます。
トタンをなでるとか、くっつくとか、
球体をなでるとか、カーソルが写真の中に入っていけるとか、
天井にくっついたりとか、

普通 3Dというと、画面側をダイナミックに変えて
リアルにして凄いですが、
これはカーソルしか変わっていませんが、
むしろこの方が体験的にはよっぽどこのほうが 3Dではないかと。

見ても雰囲気が解ると思いますが、
実際にやってみると思った以上にわかります。
デモでは面白い発見がいろいろありました。

水の中で慣性があり、はちみつの中。
2002年の段階でした。
これをやっていくと面白いのは、
出っ張っているような感じがしますが、
途中で止めて静止画で見ると、そう見えません。
動きの中で知覚するのです。ギブソンもそう言っています。

対象や対象の状況をカーソルからも表現する
途中で止めてしまうと意味がない
動きであらわにする。

ペンタブレットでできませんかね？
ペンだとスタイラスを使います。
フィードバックを与えるとペンを改造しないといけません。
実物のペンの先にビジュアルのペン。

http://visualhaptics.com/ajipen/index.html

書いている位置と、書かれる位置が微妙にずれます。
なので、長さを変えると、長い筆の感じになり、
厳密には違うのですが、書き味に注目したシステムです。
筆のは描画点と作用点が違うのに着目しました。

なんでそういう発想になったかというと、
「ボールをつかむ」時、ボールをつかむといいますが、
ボールをつかむとき、視野に手が入ってくるのが重要だとギブソンは言ってます。
ドアをつかむときも。
ボールが手を特定する。
手の変形がボールを特定する。
鍵と鍵穴のような関係で、
手があらゆるリファレンスになっていて、物がつかめるかつかめないかの
リファレンスになっている。
手が環境を特定する。

コンピュータに置けるては何だろうと考えました。
そこでカーソルというもの注目しました。
ミッキーマウスの手のような形になったりしますよね。
コンポーネントによってマウスカーソルの形が代わりますよね。
Window のはじに持っていくと、変わったり。
手の形が変わるという状況になっています。
何がおこるのかをカーソルで表現しています。
解りやすく使えます。



カーソルヒンティング
行為の可能性、
手（身体）＋対象 = 可能の知覚
「可能のデザイン」

コンピュータでないと、なかなか出来なくて、
初めて身体がバーチャルになったからこそ、身体側のデザインができる。
実世界では身体側のデザインができなので、
ボタンを出っ張らせるといった手法が使われます。

身体行為と環境の相補足の設計。
これって、なにかに似ていると思いませんか？
ある時ふと築いたのですが、これは「パントアイム」だ
行為だけで環境を創り出す、
パントマイムを逆の意味で考えると、
このおじさんがカーソルです。
環境にある行為から環境を記述していると。

まあ、リアルに対処もあれば、
そこで可能が起きていることがわかります。
それを行為だけでやるので芸術として扱われると。
非常に自由度が高い変形するカーソルというパターンです。
壁のパントマイム。
ある種のカーソルです。

環境を身体から記述する方法としてのパントマイム。
パントマイムのすべて：クロードキプニス
パントマイムという手法が参考になると考えています。




連続的にダイナミックにしたものがビジュアルハプティックスです。
リアリティ高い体験を作るには 3Dではなく、
カーソルを変えるだけで体験が変わります。

二つのインタラクション
コンピュータを私たちというようなのを考えますが、
カーソルと物体の方が重要で、
そちらを変える方がインタラクションデザインとして重要だと考えました。

なぜ感触が発生するのだろう？

カーソルは手の店長ですよ。光学的身体と使っていました。
でも証明できませんでした。
シャラポアのテニスラケット。
道具は手の延長。物理的なものであれば、手の延長という比喩がわかりますいですが、
カーソルというと、手があって、マウスがあって、非物理的なものになり、
手の延長といっても説明できない。

Visual Haptics から 10年後
どうにかして評価ができないかと考えて、ある実験をすることになりました。
人はどのようにカーソルとして認識しているのか？

色や形の記憶？色や形
対応関係、対応性が自明だから、
動き、マウスの動き方と一致しているものが自分のカーソルであるとわかる。

動きが一番重要だという感じがして、
実験のために、GUIの中に複数のカーソルを表示し、
全てを同じ見た目にし、様々な動きのカーソルを作りました。
この環境からカーソルを見つけることができれば、
動きが重要な要素であることがわかりました。



こんな感じです。
一個だけ本物があるのですが、
特長があって、ハジッコに寄せて探す人もいますが、
画面でループしています。止まると全部止まります。

解るのか？と思いますが、実はわかるんです。



●カーソルカモフラージュ

http://www.persistent.org/cursorcamouflage.html

ああ、もう解りました。といっても。
認知的非対称性を発見して、
操作している人はわかりますが、周りの人は全然わかりません。
答え合わせします。あってますね！

そんな感じで、たいていはずれます。
この仕組みを応用して、
カーソルは身体の延長であるという実験だったのですが、
セキュリティの覗き見対策になるのではないかと、
こういうテンキーを作って、後ろから見られてもわからない。

という感じで、ほぼ一瞬といっていいくらい、すぐわかるんですよ。
だいたい、2-3秒、だいたいの人がすぐわかるんです。
ダミーカーソル数の数で解りにくくもなりますが。

重要な発見。
同じ画面を見ていても、操作者は発見できるが、観察者は発見できない。
「やってみる」とはどういうことか。
私があなたでは無い理由がわかります。

ログを取ってみると、いろいろな探し方をします。
非対称性の検証も、覗き見して検証してもわかりませんでした。
このくらいの数だと数十%の人はわかります。

アンケートとってみる。
マウスの動きとカーソルの動きを観察した。
クリックした時にキーの中心にあるものを押しているだろうとか、
方向を推測、クリックの時間差からその距離を推測し、入力したキーを推定する。とか。

GUIにおいて自己のカーソルは動きから識別できる
非対称性がある。
実験がシンプル、
いろいろやっていくと、
コンピュータで自分が操作している感覚はあたりまえのようになっていますが、
自分で操作している感じ、カーソルを発見した瞬間に自分が操作している感覚が生まれる。
なんとなく動かしていると体験が豊かなのかとおもいきや、
動かしているのが連動してないと、「自分が」感がうまれない。

脳科学の分野では、自己帰属感、運動主体感、
これらが人間には発生している。

自己帰属感が需要で、
ヒューマンインタフェースは需要で、
作用と効果が離れていっています。
ユーザーはどういうことが可能なのか解るのが難しくなっている。

使っている時は道具を意識しておらず、
情報機器でもそういうことがしたい。
自己帰属感を設計することが重要なのではないかと。

iPhone かなりスムーズに動くではないですが、
iPhone は画面そのものがカーソルだと思ってください。
非常にサクサク動く理由がわかります。
フレームレートが高い理由がそこにあります。

サクサクとか、ヌルヌルとか、重いとか。
感触を感じてしまうのは、
自己帰属感が減っている状態。
これがあまりに無くなっていくと、自分の体験で無くなります。
動きが無関係になってしまうと、何が起きているのか解らなくなる。
iPhone はそこの設計が良くできていて、非常に道具として良くできていると考察しています。

美観と、UIを混同しない。
自己帰属制をつけましょう。
美観が良くとも、身体の一部にはならない。
感性ともまた違う（道具になるか否か）
「体験」は身体で起きている。
「自分が」感をもたらす自己帰属感。
それらが体験の質を左右します。

iPhoneはなぜ気持ちがよいのか？
http://www.tel.co.jp/museum/magazine/human/120709_topics_02/

連動という話しをしましたが、実世界では連動が乱れようが無い。
コンピュータでそれを再現することができるようになった。
ハンマーを持っているということではなく、
持っていることではなく、連動して動くことが重要な要素だということがわかる。

Gibson の知覚論

見ていることの中に自己は含まれている。
地平線は目の高さ
常い自分の鼻が見えている
鼻の遮蔽がアイデンティティ
視野における手の参加
環境をもっとも隠しているのは自分である。

地平線、地平線の中に自己の情報が隠されている。
地平線と、ビルが交わっている部分は、ここの階に住んでいる人は、
同じ目線になっている、同じ位置高さなのです。
ある種、自分の目の高さが環境を見ることで解ってしまう。





あとは、エルンスト・マッハのセルフポートレート
自分の視野内からみた自分。
ギブソンはこういうものを視野とよんでいる。これが自己。

自我シールというのを作りました。
これを鼻に貼ると、自分の鼻を意識することができます。

カメラの自我
目としてのカメラがあります。
カメラの前に赤い玉を付ける。
亀rあに固定すると、カメラの一部になるというか、
見ている私たちが介入しているように感じないかと、最近思ったのです。
なので、指を置くではないですが、
手を置いたら、意外と、テレビの中に手を突っ込んでいる感があるんですよ。
テレビの前に棒が着いているだけで、凄い！
これ、メディアアートじゃね？とテンションがあがりました！
これは、単純にカメラに棒を付けただけですよ！
これはちょっと特殊だなと思って、
こういうテレビを開発しようかなーと思いました。

これこそ「指を置く」ですね。

メディア設計において、自己を巻き込んだ設計が弱い
インタラクティブメディアになったことでより自己を巻き込めるようになった。
体験が重視されている一方で知覚の仕組みから設計するメディアデザイン論があまりない
リアリティ = 五感だと思ってしまう。

情報を肉体化したい。
情報を持っている感覚を高められるのではないかと考えています。

----- ご講演は以上です。

齊藤：ファーストパーソンゲームで銃の先が見えるのと同じですね。
手を使わなくてもその場に介入できて面白い。
僕も映像を作っていたんですが、
iの位置に指を置くと、自分の指で四角形を塗っているように思える。
自分の指紋がスキャンされてみたいない。
指の間をワープしているみたいな。
インタラクティブと言うと、コンピュータやセンサーがあって初めて成立するように思えますが、
テレビだけでも操作しているという感覚を作れるんだなと思いました。

Q. 素人考えなのですが、4次元とか、クラインの壷とかを体験できませんかね？物理学者なら考えているようなことを。
A. 渡邉：そういう理論みたいのを体験に落とし込むのは面白いですね。
今回の指を置くのも、教科書になっていて、指を置くことで理解がすすむようなことがあると良いなと。
事前に打ち合わせで話していた段階のものでは、自分で作った料理はどこまでか？
カップラーメンは？どこから自分が作った料理と言えるのか？
ある人に話したら、キャンプで、水からカップラーメンを作ると料理したいもの。
ハッとする次元があるのでは無いかなと。少なからず解釈を変えるということ、
数学の問題でも、指を置くことで「わかった！」となれば面白いかなと思いました。

齊藤：そういうこと頭の中でやっているのだと思うんです。
滑車の中で滑車がつながっているような問題とか。体をとおして解釈する。体を通すことで理解が加速することは
自然とやっているのかなと。トークセッションの2回目、
人間の思考能力の重要なところ、身体感覚と、図式化する仕組みをうまくつなげるところ。
思考実験をする。図の中に手を置いてみる。想像するところから、相対性理論の着想につながったように、
単純に解りやすくするだけでなく、高度なところでも体や行為になぞらえて理解するのは本質的なことだと思います。

渡邉：カップラーメン、自分がどこまで関与できるかというところにあるんだと思います。
なんか自分が関与できる、趣味趣向、選択の余地があると変わってきます。
人間は知らず知らずのうちにやっていて、
宝くじは関与できないじゃないですか。どのお店で買うのかは関与できるじゃないですか。
そういう欲求はあるのかなと。

渡邉：カップラーメンの上に鶴を折って作業するとか、単純なんだけど、ものすごく関与したというものが
あり得れば、一瞬で関与できると考えてます。

齊藤：メイドカフェに行くと、オムライスにおまじないかけてくれたりするじゃないですか。
そのおまじないをかけることで、帰属するものになる。

渡邉：神社とかも、何も儀式がないと、関与がないとありがたみも無い。

それをしっくりこさせるための、原理、念じるとか、なんか関与できないものに関与する
そういう技を生み出してきたんだと思います。

Q. 自己帰属感のところで、視覚と聴覚から触覚を味わっている感じをうけたのですが、
五感の中で、味覚、嗅覚に影響するインタフェースはありますか？

A. 渡邉：ヘッドマウントディスプレイで大きなクッキーを見て、小さなクッキーを食べるという研究はあります。
普通は一致しているものをずらす、錯覚が起きることは研究としてあります。
嗅覚もあったと思います。

Q. 鼻の話しが興味深かったのですが、脳が鼻を消しています。
多義図形が立体に見える。直接指で触らなくても、脳で形作れるものは？

A.　齊藤：Before/After も、目線の動き。漫画の表現でもいろいろ言われていることで、
目が見ているだけで、何も行為をしていないかというと、そうでもなくて、
視線の動きが動きを創り出しているのかなと思います。

渡邉：多義図形じゃなかったとしても、通常ものを見るときにも、あらゆる角度がありますよね。
多義図形の時は、錯覚を生み出していて、錯覚を意図的に創り出しているのは好きじゃない、不自然、
それを入れると概念が難しくなるので、考えないようにしている。
まとまらないです。

Q. 素朴な疑問。自己帰属感は人間はどう知覚しているのでしょうか？

A. 渡邉：よくわからないというのが正直なところですが、
視覚情報でやっているのですが、音であれば、音が自己帰属するしないというのがあって、
楽器で自分で鳴らした、コンサートホールで鳴らした時に反響していると
暗闇だと、歩いた音がしたら、その反響から自分が居るということを確認するという
自己帰属感があります。あるいた足音で、ホールみたいな場所だと、その自己帰属感、
ダミーカーソルのようにダミー足音があっても、解ると思います。
うそかほんとかわからないですが、しゃべりながら操作していると、解りやすい。
声と操作の帰属関係から解りやすい。わかんないですけど。実験してみたいです。

Q. iPhone が気持ちいいのは自己帰属感という話しがありましたが、パララックス効果、
自己帰属感、どういう意味があって、どういう時に使うべきか？

A. 渡邉：WebDB という雑誌に書いていて、iPhone にもパララックス効果が使われていて、
画面の向こうにも画面があるという感覚を想起させます。
後ろが隠れたり、表れたりすることで、よりエッジが目立つようになります。
パララックスが重要という意味。
例：動いていると見えますが、止まると見えません。
パララックスという使いどころという意味では、わかりにくい情報が
重なっているので説明する、きらびやかなエフェクトではなくて、空間を広くみせたり、
際を際立たせる意味で使うのが良いのではないか。
より手で持っている感触はパララックスで生まれるかな。
実際つかってみると、気持ち悪くなる、自己帰属感を変にいじると、気持ち悪くなる。
気持ち悪さの研究は　VR学会でもやられているのですが、
自分で自分でなくなる時に気持ち悪くなる。パララックスは自己帰属感と関係すると思います。

Q. 自己帰属感という話しを聞いていて、他者に感じてしまう感覚はありますか？
自分の行為が自分のものでないと思える。

A. 渡邉：統合失調症、脳の一部が損傷があったりすると、自分でやったことが自分がやったように思えないことはありえません。
自己帰属感を、ダミーカーソルをどう他の人がわかるように考えれば共感。
ビデオゲームも、見ているだけでもある程度解るように何らかの方法で出来れば、
見ている人も共感がえら得るゲームができる、共感を設計する意味でも、今回の研究は重要だと思ってます。

Q. 藤井先生のSRは、どういう風に解釈しますか？
SR System http://www.riken.jp/pr/press/2012/20120621_2/

A. 渡邉：自己帰属感をうまく使われている研究だなと。僕がそれを説明するのはおこがましい。
ヘットマウントディスプレイをすると、自分の鼻が見えなくなる。鼻を表現してあげる。
SRを見破るのは自分の手を見るという方法。非常に面白いですよね〜

渡邉：カーソルから自己帰属感に至ったので、答えられないこともあります。

齊藤：体が自分と連動するものが自分として認識されるとか、
動きの中で自分を認識するのを原理的なところ、応用研究までされていて、
感銘を受けた。
その一方、指を置くのは、何もしていなくて、
頭の中で動きが作られる。自分が何かに関与している。
自分がやっている感じがする。違う手法なんだけれども、
結果的に、自分の関与の仕方が考えら得る。
今回のトークはそのへんがオーバーラップしていく。

渡邉：静止画に指を置いてというのは自分には出来ない。
僕の場合は、新しいテクノロジーとして研究としてやろうと、
テクノロジーの流れを考えながら研究するので、
なかなか紙だけという発想にはならないのですが、
静かなインタラクションだと思っていて、
僕の場合は情報機器との絡み合いで、
お風呂の中に入った時に自分の輪郭が解るような静かさですね。