リアル空間の扉をくぐることでバーチャル空間へ自然に移動できるMR技術を開発
株式会社NTTドコモ
～観光や不動産などバーチャル空間を活用するさまざまな分野でユーザー体験を向上～
株式会社NTTドコモ（以下、ドコモ）、国立大学法人奈良先端科学技術大学院大学（以下、NAIST）は、複合現実（MR: Mixed Reality）において、リアル空間の扉を用いてリアル空間とバーチャル空間を自然につなぐ技術（以下、本技術）を開発しました。バーチャル空間を３次元表示できるヘッドマウントディスプレイ型の空間コンピュータである Apple Vision Pro※1を装着した利用者が、リアル空間の任意の扉を開き、くぐることでその先に展開するバーチャル空間に入り込める世界初※2のMR技術です。
[画像1:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-db6f8a1976bf6d1108339fb53cd22814-1095x581.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
【MR技術を使った扉の利用イメージ】
本技術は、Apple Vision Proで見えるリアル空間の任意の扉の隅を指先で2箇所選択して扉の存在を認識させ、その扉を開閉する手の動きだけを検知する※3ことでリアル空間の扉の開閉状態を把握します。そして、扉が開いている角度と利用者のリアル空間側からの視野に合わせて扉の先にバーチャル空間を描画します。同様に、扉が開いている角度と利用者のバーチャル空間側からの視野に合わせて扉の先にリアル空間を描画します。
本技術は、日常生活にある扉を用いてリアル空間とバーチャル空間をつなげることで、利用者が自然にバーチャル空間に移動できるため、「バーチャル空間に行きたくなる」、「自分自身がバーチャル空間に確かに存在する」といった高いユーザー体験をもたらします。本技術を活用することで、観光業におけるバーチャルツアーや、不動産業におけるバーチャル内見、エンターテインメントなどバーチャル空間を用いたさまざまなMRアプリケーションで、その価値をユーザー体験の観点で向上することが期待されます。
今後ドコモとNAISTは、本技術を活用し、各分野のビジネスパートナーと高度なユーザー体験を得られるサービス開発に取り組むとともに、先進技術とイノベーションを通じて、一人ひとりに寄り添ったリアリティである「パーソナライズドリアリティ」を提供し、個人が主役となり幸福と感動体験を得られる社会の実現をめざしてまいります。
なお、本技術はEXPO 2025大阪・関西万博会場内の「けいはんな万博 in 夢洲※4」に出展いたします。
出展場所︓ 夢洲本会場 大阪ヘルスケアパビリオン リボーンステージ(広場) 出展名︓ MR技術を使った扉をくぐってバーチャル旅行しよう！
出展者︓ 国立大学法人奈良先端科学技術大学院大学 （共催）株式会社NTTドコモ
出展日︓ 2025年4月23日（水）
2025年9月19日（金）
※1 Apple Vision Pro は、Apple Inc.の商標です。
※2 Apple Vision Proを用いて、手の動きだけを検知することで扉の開閉を認識し、開閉の角度と視野に合わせて扉の先にバーチャル空間を描画する技術が世界初です（2025年3月6日現在。ドコモ調べ）。詳細は以下をご参照ください。
https://youtu.be/rG1BsPhjSXg
※3本技術は、自然な動作での扉の開閉を実現するため、扉の取っ手を注視することなく手の動きを検知できるように、検知範囲が広いヘッドマウントディスプレイ型の空間コンピュータであるApple Vision Proを使用しています。また、検知範囲が広いヘッドマウントディスプレイ型の空間コンピュータであればApple Vision Pro以外でも動作可能です。
※4 けいはんな万博は、けいはんな学研都市を中心に開催される万博であり、EXPO 2025大阪・関西万博の会場内でも実施されます。
＜別紙＞
本技術の概要
1. 背景
「自分自身がバーチャル空間に確かに存在する」と利用者が感じるような高いユーザー体験が得られるバーチャルリアリティ体験を実現するには、リアル空間からバーチャル空間を自然につなぐことが重要であると科学的に証明されています※5。これまで、リアル空間とバーチャル空間の境目として扉を始めとした出入口を空間コンピュータ上で実現した事例はありましたが、出入口自体を利用者が操作し、その操作に伴う触覚情報を利用者が得られる事例はありませんでした。NAISTはこの利用者の操作に触覚情報の伝達を伴う出入口がユーザー体験を向上させることに着目し、これを科学的に検証しました※6。ドコモはNAISTが発見した科学的な知見をもとに、手と扉の動きを動的に認識する技術を新たに開発することで、簡単にユーザー体験向上の恩恵が得られるシステムを実現しました。
2. 開発した技術
本技術はヘッドマウントディスプレイ型の空間コンピュータであるApple Vision Proで効率的に動作する「手と扉の動きを動的に認識する技術」を中核として、以下の6つの要素技術で構成されています。
＜要素技術＞
１. 手の認識
空間コンピュータは手の存在とその動きを広範囲で検知できます。
[画像2:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-c50e761d33076e4b822e6183c4db57bc-296x166.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
２. 扉の認識
空間コンピュータ上でリアル空間の扉の隅を指先で2箇所選択することで、その扉の存在を認識します。扉の厚みなど扉の三次元情報を把握しているほど正確な描画が可能ですが、最低限2箇所を設定する操作のみで扉の存在を認識できます。
[画像3:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-d46a40cb86644e0bd9b7040f4440be8d-296x166.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
３. 手と扉の接触認識
扉の付近で取っ手を握る動作を空間コンピュータが検知すると手が扉に触れたことを認識します。
[画像4:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-4bcf9ee90c575eb62f9d0e462a3632ac-296x166.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
４. 扉の開閉認識
取っ手を握る動作が検知されなくなるまで扉が開閉動作をしていると認識します。
[画像5:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-510f4410d6460e124d07ed988b6fa552-295x166.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
５. 扉開閉時のバーチャル空間描画
扉が開いている角度と利用者のリアル空間側からの視野に応じてバーチャル空間を空間コンピュータ上で描画します。
[画像6:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-4e3b1a6cc95972ac92cb0b2a499bcc6f-1061x572.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
６. 扉開閉時のリアル空間描画
扉が開いている角度と利用者のバーチャル空間側からの視野に応じてリアル空間を空間コンピュータ上で描画します。
[画像7:
https://prcdn.freetls.fastly.net/release_image/118641/413/118641-413-4cd7263be0ab3aee601209260e468be2-295x166.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
3. 各者の役割
株式会社NTTドコモ：本技術のアルゴリズムの発案と実装
国立大学法人奈良先端科学技術大学院大学：本技術のアルゴリズムの学術的観点に基づく改善
※5 Jonas Auda, Uwe Gruenefeld, Sarah Faltaous, Sven Mayer, and Stefan Schneegass. A Scoping Survey on Cross-reality Systems. ACM Computing Surveys. Vol. 56, No. 4, pp. 1-38, 2023.
※6 藤澤岳瞭, 中野萌士, ペルスキアエルナンデスモニカ, 磯山直也, 内山英昭, 清川清. ”VR体験向上のためのビデオシースルーARと物理ドアを用いた実環境とVR環境間の遷移手法の評価”. 電子情報通信学会技術研究報告, 信学技報, 122(367), MVE2022-47, 2023.
プレスリリース提供：PR TIMES
記事提供：PRTimes
