実用空間共有技術
私たちは，グローバルに仕事を進める中でテレビ会議システムを使うことがよくあります．このシステムによって空間的に離れたオフィスを接続させ，会議やプレゼンテーション，簡単な指導や作業など，オフィスで行っている様々な日常業務を遠隔で行うことができるようになり，意思決定の迅速化や移動時間の節約，出張費用の削減につながっています．
しかし，現在のテレビ会議システムは1964年にAT&Tが提案したビデオ電話システムの延長に存在しています．映像や音声の質は当時に比べて飛躍的に進歩しました[1]が，本質的なところはあまり変わっていません．つまり，映像に関しては2次元の映像のままであり，音声に関してはその聞こえる方向について映像と連携がとれているとは言えません．
そのため，隣に座っているかのようなコミュニケーションは，現在のテレビ会議システムでは実現できません．実際の業務では、隣に座った同僚とコミュニケーションを取りながら仕事をするシーンが多くあり，遠隔地で「実際に隣に座っているかのようなコミュニケーション」を実現することで，さらなる作業効率の向上が見込めます．
そこで，私たちは遠隔に居ても隣にいるような感覚で作業を行うためには，映像を3次元空間的に扱い，音声の方向感を合わせることが重要と考え，そのための技術を実用空間共有技術と名づけて開発を行っています．
映像を3次元空間的に扱うための技術
従来2次元の映像として扱っていたものを3次元空間にマッピングすることは容易ではありません．3次元空間へのマッピングには，映像とともに被写体までの奥行き情報（デプスマップ）が必要となります．ところが，リアルタイムに奥行きを取得できるデバイスを用いたとしても，単独ではその撮影範囲が狭く，テレビ会議に必要とする領域をカバーすることができません．そのため，複数のデバイスを組み合せて利用することになりますが，ここで問題になるのは複数の異なる視点で撮影された映像とデプスマップをリアルタイムに結合する方法です．私たちは、複数のデプスマップを3次元空間に逆投影して空間形状を再構成させる「デプス統合ステップ」と，統合された空間形状に映像を投影する「テクスチャ生成ステップ」からなるGPUを用いた高速な映像モデリングエンジンを試作しました（図１）．
図1 3次元空間構築処理のイメージ
2次元の映像とともに奥行きの情報を扱うことができるようになると， 従来は独立して扱っていた3次元オブジェクトをこの空間に重畳することも容易にできるようになります（図2）．
図2 オブジェクトを映像空間に重畳
音声の方向感を合わせるための技術
前節までに述べたような映像技術と連携する音声として，ディスプレイに表示された人物の位置から音声を再生する，音声再生システムの構築が必要となります．また，再生する音声は，エコーの少ないクリアな音声である必要があります．これは，相手側のマイクロホンで再び拾われると，それはエコーとなり，自分側のスピーカからも遅れて再生されてしまいます．エコーは，会話の邪魔になる他，ハウリングの原因となります．そこで，以下の3つの技術を開発しました（図３）．
① 音声方向推定技術： 複数のマイクロホンを使い、話している人物の方向を推定します。
② 音声再生技術： ディスプレイに沿って並べた複数のスピーカを使い，①で推定した人物の方向に合わせて音声を再生します．
③ エコー抑圧技術： スピーカから出た音声から，マイクロホンが拾ってしまう音を予測することで，エコーを抑圧しています．お互いが同時に話してしまった場合にも，エコーだけを消すことで，クリアな音質で音声を送ることができます．
図3 音声に関する技術のイメージ
[1] Telepresence: High-Performance Video Conferencing, ITU-T Technology Watch Briefing Report Series, No. 2 (November 2007)
