前回は、ユニバーサルデザインを取り上げ、多様なユーザーを受け入れるという考え方が、ユーザインタフェースにも浸透してきたことを解説しました。今回は、最終回です。ヒューマンインタフェースの新しい動きについて紹介します。
第6回「新しいインタフェースの展開」を解説していきます。
1. VR、AR、そしてメタバース
VRやAR、メタバースは、インターネット上の仮想世界において、現実に存在しないことを体験できる技術として利用されています。特にメタバースについては、仮想世界でユーザー同士がコミュニケーションできるツールとして注目されています。
・VR、AR
VR（Virtual Reality：バーチャルリアリティ、仮想現実）の概念が人工現実感という名称で登場したのは1970年代半ばで、その後は各種シミュレータやエンターテインメント、観光業を中心に、少しずつ実場面で使われるようになりました。VRは、仮想世界を閉じた世界として見せる技術であるのに対し、AR（Augmented Reality：オーグメンテッドリアリティ、拡張現実）は、実世界の延長上で見せようとする技術です。ARは、仮想世界を実世界に重ねてユーザーに見せる技術です。CGの先駆者であったアメリカのサザーランドは、1965年にはヘッドマウントディスプレイを開発し、CG映像と実世界を重ねて見せる試みを既に行っていました。これが、ARのはじまりとされています。このAR技術は、仮想世界と実世界を組み合わせたMR（Mixed Reality：ミクストリアリティ、複合現実感）の一分野に属するものと位置付けられています。
AR実現のための要素技術（製品を構成する要素に関する技術）のうち特徴的なものは、仮想世界と実世界の両方を重ねて見られるデバイスです。その実現方法には、以下の3つの方式があります（図1）。
1：片方の目で見るタイプの単眼ヘッドマウントディスプレイに仮想世界を映し、他方の目で実世界を見せる方式
2：ハーフミラーにより、光学的に透過された実世界と仮想世界を重ねて見せる方式
3：仮想世界とカメラから入力される実世界の映像を、コンピュータ上で同期をとって合成し、ディスプレイを通して見せる方式
現在は、これらのうち3つ目の映像合成方式が主流です。もちろん、デバイスだけでなく、仮想世界と実世界の位置関係を合わせたり（位置の整合）、物体に陰影をつけたり質感や明るさを一致させたり（光学の整合）、仮想世界と実世界の動きを同期させたり（時間の整合）する必要があることはいうまでもありません。ARは、スマートフォンのアプリにも多く見られます。例えば、本体のカメラを通して街の風景を見ると、ビルの名前や説明、店の広告などの属性情報が現実の映像に重ねて表示されるものや、カメラで実風景を見ながら、位置情報をもとに出現するキャラクターを捕獲するという人気を博した配信ゲームなどが知られています。
・メタバース
メタバースは、2021年以降、Facebookを運営するMetaが普及を目指しており、注目を浴びています。これは、ネットワーク活用を前提として上述のVR、ARを包含する概念で、仮想空間の中でユーザーがコミュニケーションをはじめ、さまざまな活動を行うというプラットフォームです。現時点では、ユーザーがHMD（Head Mount Display：ヘッドマウントディスプレイ）などを装着し、ネット上の仮想空間に存在するアバター（自分の分身）を操作することが想定されています。
メタバースは、例えば、教育場面への応用が期待されます。筆者も、現在のオンライン講義にはちょっと尻込みしてしまいます。というのも、学生はカメラをONにしたがらず、画面上に名前がずらりと並ぶだけです。従って、こちらから一方通行で話すだけのパターンになっているのです。これが教室の座席のように、あるいは円卓会議状にアバターの学生が座ってくれるだけで、臨場感が増して講義しやすくなるのではないかと想像します（図2）。もちろん、教育だけではなく、会社のリモート会議、オンラインショッピング、オンラインショールームなど、さまざまな場面で効果を発揮するのではないでしょうか。
一方、メタバースの問題点も捉えておく必要があります。まず、デバイスに関する問題があります。そもそも、利用のたびにHMDを装着する煩わしさ、視野の限定、空間座標のひずみなどによる生理的影響に加え、歩行または運転しながら、ディスプレイの注意、注視は、事故などにつながりかねません。また、没入した場合、仮想世界と実世界の境界を認識できなくなるのではないかというリスクの可能性も、依然否定されていません。
ここまではVRにおけるリスクとほぼ同じですが、メタバース特有の倫理的リスクとして、手足を含めた体ごと操作できるアバター同士のため、気に入ったアバターを執ように追い回したり、覆いかぶさってセクハラ行為をしたり、暴力をふるうなどの問題も懸念されています。こういった行為は、仮想世界のキャラクター同士なのだから痛くもかゆくもないと思われる人がいるかもしれません。しかし、自分の分身が羽交い締めにされたり殴られたりするのは精神的に非常に苦痛なものだという実験報告もあります。また、フレンドリーな表情をもったキャラクターに個人情報を漏らしてしまったり、金銭をだまし取られてしまうようなリスクも考えられます。
さらには、アバター操作は本当に人間のコミュニケーションなのかという疑問や、自室にいるだけでさまざまな活動や体験ができてしまうという、実行動を伴わない生活が習慣化すると、行動の省略が多くなります。また、快楽だけを求めたり、このような空間に逃避したりするなど、人間行動の本質が問われる状況になる可能性もあります。
2. AIインタフェース
いまや産業界の進展に欠かせないAI（Artificial Intelligence：人工知能）が、ユーザインタフェースにも変革をもたらしつつあります。今日、装置やシステムは多機能化・複雑化し、簡単操作を目指すユーザインタフェースとの間にギャップが生じてきています。そこで、できるだけユーザーに複雑な操作をさせないよう、ユーザーと装置の橋渡し役にAIを活用する動きが出てきています。例えば、ユーザーの日頃の操作パターンを学習させ、ユーザー、床、壁、天井の温度を勘案し室温が適温になるよう自動調整する、部屋を出ればOFFになる、また、部屋に入ると急速に冷やすという、AI搭載のエアコンもその一つです。
家電に限らず、図3のように、患者の症状と罹病（りびょう）に関する大量事例や、がん細胞写真の大量データなどから自動学習したAIは、医師をアシストできる可能性があります。また、経営戦略と事業状況の大量データから自動学習したAIは、経営者をアシストできる可能性があります。言い換えれば、患者と医師、経営者とコンサルタントの間のインタフェースに、AIを活用するという考え方です。昨今のAIで使われるディープラーニング（深層学習）では、直接的に特徴を入力しなくても、パターンを入力するだけで自動的に特徴が幾重にもなる中間層で抽出され、学習されます。
このユーザーアシストAIの実現形態として、ヒューマンエージェントインタラクションとスマートスピーカが登場しました。
・ヒューマンエージェントインタラクション
従来から、システムをよりユーザーに近づける働きをするものとして、エージェント（アシスタントとも呼ばれる）がありました。これは、ユーザーとシステムの間に介在する仲介的ソフトウェアで、主にシステムからのメッセージや結果をユーザーに伝えたり、説明したりするという役割を果たします。2000年以降は、エージェントの範ちゅうとして対話ロボットなども登場し、ヒューマンエージェントインタラクションと呼ばれる分野として定着しつつあります。これらのエージェントの多くは、大量の対話パターンデータから自動学習した対話AIを搭載しています。なお、エージェントは一般に自立性をもち、ユーザーの分身としてユーザーにコントロールされるアバターとは区別されます。
・スマートスピーカ
2010年代後半になると、音声認識性能やAI技術の向上を背景に、スマートスピーカと呼ばれるAIアシスタントが各社から発売され、実際に家庭で利用されはじめています。これは対話形式AIエージェントであり、自然言語でのユーザーの問いかけに応じて、音楽やニュース、天気予報を流したりするものです。ユーザーが、近くに置いたマイクやスピーカを内蔵した本体に「ハロー、〇〇」、「OK、△△」などのウェイクワードを発話してから、質問や要求を続けることによって、タスクを実行します（図4）。
本体がウェイクワードの認識を行うことで、音声区間の検出を容易にしています。その後の音声認識はサーバで行われ、意図を抽出した後、検索要求（クエリ）がクラウドに送られます。検索は、クラウド側で実行され、その検索結果の情報は、応答文として組み立てられます。
続いて、応答文は音声合成処理により音声に変換された後、スピーカから出力されます。この種のシステムでは、入力されたユーザーの音声を新たに学習用データに加え、より性能を上げていくことが可能です。
AIインタフェースの問題点には、前章で述べた行動省略の他、さまざまなセンサ類を用いて人間のようにふるまうために警戒感を持たれず、意識されないうちにユーザーの個人情報を含むさまざまな情報を収集できてしまうことなどがあり、注意が必要です。
3. BMI（ブレインマシンインタフェース）
全6回で下記の内容を解説しています。
- 第1回 人間中心設計とユーザインタフェース
- 第2回 ヒューマンエラー
- 第3回 GUI設計
- 第4回 ユーザビリティ評価
- 第5回 ユニバーサルデザイン
- 第6回 新しいインタフェースの展開
