[&] Augmented Human @ AXIS

暦本純一先生の特集が、雑誌AXISで組まれたのを受けて、
講演会が開かれました。60分という限られた時間の中、
十何年もの間、最先端の研究を率いてきた暦本さんならではの
示唆に富んだお話でした。
西海岸系スタートアップにもつながる「問題こそが重要」
という言葉が、強く印象に残った！

---------------------------------------------------------------------------------
よい問題に着眼することがまず大事
解決できない問題を扱っても仕方ない。
すでに解決された問題を再度解いても仕方が無い。
しかし、アイデア（解決策）が先に来て、そこから問題を逆算することもある。
最初の思惑と違う問題にしてストーリーがつながることがある。
何を問題とするかで、欠点と利点は紙一重。
---------------------------------------------------------------------------------　

インタラクションからインテグレーションへ：人間・テクノロジーの未来

私は 2007年に東京大学に移りました。
SONY とクウジットと三つ掛け持ちでやっています。
最近やっている Augmented Human を中心に、私なりの視点ではなしていきます。

Augmented Human とはなにか？
工学的なバックグランドを持っていますが、
テクノロジーが進んでいくと、人間そのものの能力が
テクノロジーによって強化されるのが長いスパンでの方向性だと思っている。
それには身体の拡張とかも含んでいます。

我々の事例から、皆さんと一緒に考えていきます。
かならず、古典的な GoUI (good old fashioned UI) が紹介されます。
人間とコンピュータの境界線は消えて行くものだと思っています。
コンピュータを使うと私自身も変化するし、
独立して進化しているものではなく、お互いに影響しあって変化しているものだと
考えています。

人工物／コンピュータ、人間／社会
AR Augmented Reality 拡張現実会
この言葉は最近流行って来たと感じている人も多いですが、
歴史は古く 1965, Ivan Sutherland が作ったものが最初です。




これは当然液晶が無いので、小さなブラウン管とミラーを使っていました。
そのミラーをハーフミラーにしていたので、現実の中にコンピュータの映像が
出てくるようになった。ARの事始め。
私自身が知ったのは高校生時代で、大変感化されました。



NaviCam :1994
携帯電話にはまだカメラが搭載される前の時代。
携帯電話が大きなディスプレイがあって、カメラが搭載されていて、
現実世界をナビゲーションしてもらえるものだと思っていた。
ジャイロセンサーを組み合わせると、空中に情報を出すことができる。
ARの原型のようなものを作っていた。
そういうものとコラボレーションで使ったらどうなるか？
その装置と装置の間を Shared Virtual Space として CG が浮いている感じ。
今の現実的な ARに近づいてきている。
SONY CSLで研究としてやってきたが、それが商品として近づいてきた。



1996 CyberCode
マーカーを使って CG を合成される。
最近になると、ゲームデバイス。PlayStation、PSPで遊べるようになってきた。

2009 Markerless AR
渋谷の街に、マーカーが無い景色を認識して、情報を付加する。
現実世界と情報空間を一緒に見られるのがシンボリック。

Augmented Human と考え、もっと広げられる。

AR: 二つの考え方。
現実に情報を付加する。
人間の近く能力を増強する。

必ずしも情報を合成するだけでなく、様々な可能性がある。
ドラゴンボールのスカウター
Google の Project Glass。Google の情報検索で知力が増強される。
そんなに新しい話ではない。




1962 Duglas Engelbart
HCIの神様。60年代に GUI の基本的なほとんどのものを作った人。
我々が使っているマウスを発明した人。
Duglas Engelbartがマウスのことを聞かれた時に、
「マウスは人間の知力を拡張しようとする壮大なプロジェクトの一部分にすぎなかった」
と答えた。



1945 Vannevar Bush "As We May Think"
ライフログのデバイス。
カメラでどこで見ているのかを記録し、マイクロフィルムで記録しつづける。
目のところに切り込みがあり、目とデバイスをとても意識していた。

Hardware: Aided Eyes from rkmtlab on Vimeo.

Aided Eyes
目の視線情報をとらえて、コンピュータを作ろうというプロジェクト。
普通の ARは目の前に映像が出てくる。
情報がいっぱい出てくるが、情報爆発してしまう。
現実の映像も複雑なのに、欲しい情報だけが欲しい。
視線情報の先に、必要な情報のみを載せていく。
目の情報はいろんなことを物語っていて、
ものを着目してみる時の目の動き、
ぼーっとしているとき。
本を読んでいる時、
視線だけでも、その人のある程度の感情を推測できる。

注目している部分の画像検索、それに関する情報を、見ていたものを
覚えていてくれるコンピュータ。
OCRで翻訳して返してくれるとか。
街を歩いているハングル文字の看板を見ると、翻訳を返してくれたり、
一週間前に会ったその人の情報を引き出してくれたり。
個人と情報が結びつくと、新しい検索エンジンができる。
Google は何でも検索できるけど、自分の身の回りのことが検索できない。
「昨日食べた夕食」とか、
「三週間前にあった人」とかが検索できない。
普通に生活している人にも便利だし、アルツハイマーの人にも役立つ。

Image Recognition based on Gaze information
一つの人間の拡張になるとかんがえている。

Aided Eyes の最近の成果。
世界最小のアイトラッカー。
ほとんど普通のカメラと変わらないくらい。
サッカーしながら、なんでパスが通らなかったかがわかったりする。
ライフログが生活に組み込める時代がやってくるのではないかと期待している。

Augmented Eyes
視覚／知覚／記憶とコンピュータの結合
ネットワークで共有させる体験

「視点」の拡張
1st Person Vision
視線の拡張はこれだけでは無いと思っている。
一流のアスリートは自分がどういうフォームでやっているのか、
どういう姿勢なのか客観的にみることができる能力をもっている。
自分の目を強めるというだけでなく、対外的な視点を持てる。
Out-of BOdy Vision
他のものに乗り移ったり、他の人の視点に乗り移ったり。
それもある意味拡張。

Out-Of-BOdy Experience
ゆうたい離脱体験



Flying Eyes :
一昔のコンピュータが空を飛んでいるようなもの。
カメラ付き。
自分の視点を外に出すプロジェクトをやっている。

■自由視点による新しいコンテンツ撮像方式
■体外離脱視点を利用したスポーツ支援
■飛翔体へのテレプレゼンス

映画の世界では、クレーンを使った撮影がよく使われている。
機材があれば、空中からの視点で撮ることができる。
未来のワールドカップはラジコンヘリが飛翔してくれる？
運動会で、子供を追いかけて撮影してくれる？

FlyingEye : camerawork
ずっと追いかけていってくれる。
映画演出的に、人に回り込むようなカメラワークを作っている。
ドラマの片鱗みたく感じることができる。犯人が捕まる瞬間のような感じ。
サッカーのシュートの瞬間を撮影すると、かなり安定して、迫力のある映像が撮影できる。
新しい撮像、新しいスポーツ中継、新しいコンテンツの撮影に使える。

FlyingEyes: Sports Assistant
自分自身を外から見ている、客観的な映像を作る。
トップアスリートは出来ているかもしれないが、普通の人でも出来るように。
自分がどういうフォームで走っているのか、目の端で見ながら走ることができる。
素振りをしている時に、自分を後ろから見たりすることができる。
スポーツアシスタントにはとても向いている。新しいコーチング技術に応用できる。
水中ロボットも作っていて、泳いでいるフォームを撮影することもできる。

Flying Telepresence
飛翔体にジャックインする。
自分自身がどのくらいすり抜けられるか？などの感覚が共有できる。
原発事故現場を調査したり、
ヘリコプターで新しいゲームができるかもしれない。
タケコプターの現実的なソリューション。



Cat@log
自分がもしネコになれたら。。。というコンセプト。
猫に小さいカメラ、振動センサーをつけて、
猫が「いまご飯たべてます」とツイートするような仕組み。
猫が顔を足でなでているような動きを認識したり、
階段を降りていく様子がわかったり、窓から外を見ている様子がわかったり。
首の動きがご飯を食べている動きになったり。
猫もソーシャルネットに入れる！
外から見てはわからない、猫同士の視線が垣間みれる。

自分の目が拡張される。
自分の目の視点が外からのものに。
他のモノの視点に自分の視点がなる。



HappinessCounter
健康支援プロジェクト
私たちの幸せをデジタル技術でどうエンハンスできるのか？
30%位の人は独り住まい。
一人で暮らしていると寂しい。どうやってデジタル技術で救えるか？
「楽しいから笑うのではなく、笑うから楽しいのだ」
我々は脳が楽しいから笑うのだけではなく、
笑う顔をすると、自分の脳もポジティブになる。
身体心理学。



Stack F Martin L Stepper S 1998
鉛筆のくわえ方が縦か横か？口角があがるだけでポジティブになる。
身体というのは、脳の周辺機器ではなく、
脳も体の一つでしかない。

日常生活で笑顔を認識します。
化粧鏡で、にっこりすると「チャリン」と鳴る。
鏡の前でにっこりすると、FBに投稿される。
もう一つがチャレンジングで、冷蔵庫に電磁ロックがかかっていて、
笑わないと冷蔵庫が開かないようになる。
毎日、ちょっとニッコリして、自覚的に笑うエクササイズをするようになる。
実際にフィールドテストしています。
笑顔の度合いを数値で表し、
10日間くらい、ご老人の家に導入して試したことがある。
最初は笑っているのだが、ぎこちない。
10日後は、幸せそうな自然な笑いになってきた。
エクササイズすると、自然になってくる。
自然に笑えるということは、笑う時にぎこちない人よりも、
幸せに近いんじゃないかと思っている。
メンタルなヘルスケア

Ubicomp 2011 でデモしてきた様子。
普通のデモは辛辣なデモを受けるが、
このシステムの場合は「いいね」というポジティブな評価ばかりであった

スマイルハピネスミーティングルーム。
部屋にハピネスカウンターをつけて、笑わないと会議に参加できないようにした。
ボスも満足（笑

身分証明書の写真がムスッとしている。
笑いは活性化したりする。
テレビ会議システムも、参加した人がどういう笑顔を作っているか、
エンハンスしても良い。

The Science Behind the Smile :世界的にも研究されている。
笑顔で開かない冷蔵庫は、本当に悲しい時に開かなくなって、もっと悲しくなる。
UI は便利だったら良い、便利至上主義といったところがある。
ヘルスケアに関するものを作るとすると、
毎日腹筋するような、ユーザーが積極的にやるような
インタラクションデザインが重要になってくる。

ライフフログを続けるモチベーション
バッジもらえたり、
小さな充足感が組み合わさって、大きな充足になる。
デザインされたチャレンジ、不便さ。
どうやって不便を設計するか。
利便性をデザインする。何もしないのが究極のインタフェースだが、
ウェルネスは何かさせないといけない。
究極的には何もしないもの、何かさせるものとの対比。

ゲーミフィケーション：ゲームに利便性を求めるとスタートしたとたんに終わる。
そうじゃない。不便さを考える。

不便な電子レンジ：使う前に少し運動しないとレンジが使えない。
生活の中にあえて不便なものを取り込んで、
エクササイズを促進するようなシステムが作れる。
うまい不便、面白い不便の作り方にはいろんな可能性が秘められている。



モダンタイムズ（チャップリン）
当時の便利な機械はそんなに便利ではない。
コンビニエンス、便利なことは良いことなのか？考えていくひつようがある。


http://lab.rekimoto.org/projects/squama/

Squama:
建物の拡張。
プログラムできる建物というコンセプト。
従来、空間デザインは、固定的な外部との隔壁であった。
石のような堅いものであった。
未来の建物は状態が変化したり、住んでいる人によって
変化する空間を変えていくような、
ハードウェア的なものから、ソフトウェア的なものになっていく。



カメレオンは色が変わる皮膚。
NIKE SPHERE macroreact 汗によって通気性が高まるウェア。
空間の中に展開していきたい。

液晶の板があって、透明度が変わる素材がある。
壁全体を構成すると、壁であったり、窓であったり、自由に構成できる。
Boeing 787 の窓の透明度がコントロールできる。
10cm 角ぐらいの平面に割り当てていて、
全部が不透明だと壁っぽい。
部分的に隠したり、部分的い見せたりすることもできる。
アンビエントディスプレイとしても使える。
空間にはいっている素材として使える。

実世界マスキング
Realworld Pixelization (masking)
隣の家の人と目線があってしまうと気まずくなってしまう。
開放的にしたいという要求と、閉鎖的にしたいとう要求がある。
オープンとプライバシーと矛盾した欲求。
人の動きに応じて、絶妙なモザイクをかけることができる（笑

プログラマブルな建築があると、両立することができる。
窓から見えるイヤな看板だけマスキングするようなプログラミングできる窓が作れる。

Programmable Shadows
窓から太陽が見えるのはいいんだけれど、自分が居るところは日陰になって欲しい。
太陽の日照性がプログラマブルな建築材料として使えるようになる。

最近、透明液晶が注目されている。
細かい精度で濃淡を作ることができる。
テレビの値段がとても安くなっていて。
ガラス板がテレビより高くなる。
40インチの高級ガラスの方が、40インチのテレビよりも高価になっている。
近い将来そうなっていくかも。

Surface Computing
壁面前面を使うコンピューティング
身体感覚を使ってはいるが、以前コンピュータへのインタフェース
実空間を快適にするのが目的。コンピュータは手段。



PossessedHand
これが一番未来的。
去年の TIME Magazine の世界の50の発明に選ばれた。
マイノリティーレポートはジェスチャでコンピュータを操作するもの。
逆にコンピュータがジェスチャーをコントロールできれば、
リハビリや、踊りの動きを伝授するようなことができる。
筋電の刺激を与えて、指をコントロールできるようにする。
うまく学習していくと、腕にアタッチメントをつけて指をコントロールできる。
USBの信号で、指が動くようになる。
身体技能。ピアノの練習。動く練習ができる。指ごとに独立してコントロールできる。
薬指と小指は一緒に動くが、かなり細かいコントロールができることがわかった。

自分の指が方向を指差す、未来のナビゲーションシステムができる（笑
いろんな応用を考えている。
楽器練習、琴。指でどの弦をひくか？
全く弾けない人が引けるようになるものではない。
技能を習得する時に、指に刺激があると、より効果的に使える。

今までとは違った価値を持てるようになる。
ハンマー投げの室伏選手の論文。
Development of a System to Measure Radious of Curvature and Speed of Hammer Head
during Turns in Hammer Throw.
https://www.jstage.jst.go.jp/article/ijshs/3/0/3_0_116/_pdf


http://kojimurofushi.net/blog/2011/01/post-ff94.html
ハンマーの軌道を音に変換して、その音を聞きながら練習する。



Oscar Pistorius ; 南アフリカの義足の中距離選手。
オリンピック初の、義足の選手。400m。画期的なこと。
テクノロジーが進むと何がパラリンピックか？
身体を拡張するということは、境界を超えるようなことがいろいろ発生する。

人間が年齢とともに減衰していくと考えると。
人間の老いに従って、どう補助してしていくか？どう追求していくか？
次世代のインタフェース研究につながっていく。

人馬一体：
どこまでが人間でどこからが技術か、の境界が消失している。
いい車だと、運転するという境界が消失する。
インタラクションデザインの一つの目標。
HCIはインタフェース的なところを意識してします。

Human Computer Integration と考えている。
究極のテクノロジーは人間自身を進化／強化／拡張させる。あるいは再デザインさせる。

農耕時代＞工業時代＞情報時代
ユビキタスコンピューティングの世界。
今は逆に、スマートグリッドなどエネルギーの話になってきている。
工業をコンピュータでどう効率化するか、一段戻っている。
情報は産業が進んでいくのを戻りながら、さらに影響を与えていっている。

情報産業論（梅沢忠夫）

東京大学歴本研究室
ソニーコンピュータサイエンス研究所
Koozyt

奥さんにアイデアを言って、ダメだしされて、発表内容を考えています（笑



Q：
Apple やサムスンの訴訟の件で、暦本さんの過去の特許がリファレンスされていますが？

A:
One More Thing
Apple の主張するマルチタッチ特許は Jun Rekimoto の Smart Skin (2000) が根拠となって自明の事実となった。
複数の指でコントロールできるのは SONY の中でも疑問視されていた。
発想法的には、紆余曲折があって、
最初は WearableKey 人体通信をやっていた。
Apple がそれを独占することは良く無い。人類の資産である。
なんで SONYが iPhone を作れなかったか？
説得できなかった自分の反省材料でもある。

Q: 研究で人をクスっとさせるのはポリシーでしょうか？
A: 会場の方が笑ってくれるのが一番うれしい。すごく面白いものだと笑ってしまう。
笑ってしまうくらい便利。笑ってしまうくらい不便。笑いを誘うのは良いのではないか？
そこそこでもいいから、クスっとするものを考えている。

Q: デバイスから社会になってきている。社会制度の関係について。
A: 正直ちゃんと考えていない。単体ではない、社会そのものの仕組みと人間がどう結びつくか？
単体のガジェットではすまない。

Q: どうやってアイデアを出しますか？　ディスカッションか、一人で考えるか？
A: 途中で何かを捨てて、途中で組み替えるのが大事。

-----------------------------------------------------------------------　
よい問題に着眼することがまず大事
解決できない問題を扱っても仕方ない。
すでに解決された問題を再度解いても仕方が無い。
しかし、アイデア（解決策）が先に来て、そこから問題を逆算することもある。
最初の思惑と違う問題にしてストーリーがつながることがある。
何を問題とするかで、欠点と利点は紙一重。
-----------------------------------------------------------------------　

アイデアだけでは重要ではない。アイデアに価値を与える。

マウスのコントローラは、紙送りのセンサーが元であった。
問題とソリューションは固定的ではなく、ソリューションが問題解決を生み出すこともある。
欠点を生かすような問題が生まれたりもする。

Q: 電気を使ってむりやり指を動かす。学習効果は？機器を外した時にどうなるか？
A: 効果はあります。
自分の指の中にメトロノームに入っているようなもの。
長期的にやらないとわからない。研究の余地がある。
リハビリテーション。動かそうと思っている指をサポートして動かしてやると効果がある。
回復が早くなる。最初はコンピュータがサポートしてあげるなど。

Q: 最近の SONY CSL のご活動を紹介してください。
A: いくつかコラボレーションしています。ハピネスカウンターは SONYの技術を使っています。
こういう話を次世代の商品にしたりというのは考えています。

Q: 現実世界からはなれて、VRに没入していくような世界があると思います。
A:　自分の住んでいる現実を拡張したい。リアルが無いのは自分の興味とは違う。
ユーザインタフェースとしては近いは、どこか現実に着地していたい。

Q: ARは1960年代から。。今日の研究が現実に浸透していくのは？
A: NaviCam は 15年くらい。研究してから10年くらいかかる。
だれかが商品にしないといけない。研究者だけでなく、人間の力で実現しないといけない。
研究したら10年後に必ず実現するわけではない。
誰かがすごく頑張れば、Appleの前にiPhoneが作れたかもしれない。