スマートフォン1台の動画で、動く人物を360度から見られる4DGSレンダラーを開発！
IZUTSUYA Inc.
単眼撮影による制作負担の軽減を検証。手軽さと描画品質の両立へ
実物に基づくデジタルアセットの制作・流通を手がける株式会社IZUTSUYA（本社：東京都中央区、以下「当社」）は、固定したスマートフォン1台で撮影した人物の動画から、動く人物を3D空間上に再構成し、周囲360度から表示できる4D Gaussian Splatting（以下「4DGS」）レンダラーを開発しました。
今回の検証では、単眼カメラによる固定撮影のみで取得した動画全体の情報から、撮影方向では直接映っていない人物の背面などを推測・補完。同一モデル・同一時刻・同一画角・同一縮尺の条件で、正面0度と背面180度から描画できることを確認しました。
開発版レンダラーでは、人物の動きを再生しながら視点を360度回転できるほか、再生、一時停止、コマ送り、任意時刻への移動、背景変更、演出用照明などの操作に対応しています。
[動画:
https://www.youtube.com/watch?v=vG4IctsBLrw ]
従来の動画は、撮影時に決めたカメラの位置と画角からしか見ることができません。人物の反対側を確認したい場合でも、映像の中へ回り込んで見ることはできませんでした。
人物を立体的に記録するボリュメトリック撮影では、多数のカメラ、同期機器、専用スタジオなどを用いる方法が一般的です。高精度な記録ができる一方、機材、撮影準備、運用費用が必要となり、小規模な制作や検証に導入するには負担が大きくなります。
当社はこれまで、スマートフォン1台の動画からモーションデータを生成するツールや、3DGS／4DGSデータを表示するビューワーの開発を通じて、「まず誰でも撮れること」を立体表現の入口にする取り組みを進めてきました。
今回の開発は、カメラを動かして被写体の周囲を撮影するのではなく、スマートフォン1台を固定して撮影した動画から、動く人物を自由な視点で表示することを目指したものです。
固定した単眼カメラで撮影した人物動画から、時間軸を持つ4DGSデータを構築し、開発中のレンダラー上で再生しました。
通しの動画全体に含まれる人物の向きや動きの情報を利用して、各時刻の外観を推測・補完することで、撮影方向から直接見えていない人物の背面側も描画します。これにより、人物が動いている途中でも、見る側が正面、側面、背面へ視点を移動できます。
本成果は、単眼カメラがすべての方向を直接撮影したことを意味するものではありません。撮影されていない領域には、動画全体からの推測・補完および局所補正が含まれます。
1．スマートフォン1台の固定撮影のみ
今回の検証で使用した撮影機材はスマートフォン1台です。カメラを固定した状態で人物を動画撮影するため、カメラアレイや複数台カメラの同期を必要としません。
2．動画全体から、直接映っていない背面を推測・補完
1フレームだけで判断するのではなく、動画全体に含まれる人物の外観、向き、動きの変化を利用します。単眼映像では直接映っていない背面側を推測・補完し、一つの4DGSデータとして描画します。
3．動きと視点を、それぞれ操作
人物の動作を時間軸に沿って再生しながら、見る側が任意の方向へ視点を移動できます。従来の動画のように、撮影者が決めた一つのアングルへ視点が固定されません。
4．実際の描画結果を同一条件で比較
実際の1.55秒時点の同一モデルを、正面0度と背面180度から描画しました。両画像は同一時刻・同一画角・同一縮尺であり、人物の描画に対する追加の生成加工や美化処理は行っていません。
[画像:
https://prcdn.freetls.fastly.net/release_image/138121/44/138121-44-9e64e62419a93f1d22d09e9b625fb956-1440x1540.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
固定した単眼カメラの動画から構築した4DGSの描画結果。1.55秒時点の同一モデルを、正面0度（左）と背面180度（右）から、同一画角・同一縮尺で表示。撮影方向から直接見えていない領域には推測・補完および局所補正を含む。
4DGSは、3D Gaussian Splatting（3DGS）による立体表現に時間軸を加え、動きのある人物や空間を自由な視点から表示する技術です。
通常の動画が「カメラから見た二次元映像」を記録するのに対し、4DGSでは、見る側が視点を動かしながら時間を再生できます。ダンス、舞台芸術、スポーツ、文化・芸能の所作など、動きを含む立体的な記録への活用が期待されています。
■ 開発版レンダラーで確認した機能
- 360度の視点操作：人物の正面、側面、背面へ視点を移動
- 時間操作：再生、一時停止、コマ送り、任意時刻への移動
- 表示調整：描画の精細さや背景を変更
- 演出用照明：追加照明の位置、色、強さを操作
■ 現在の到達点と課題
本成果は研究開発・検証段階です。人物の輪郭、髪や衣服の細部、撮影方向から見えない領域の再現品質には改善の余地があります。また、入力する動画の撮影条件や人物の動きによって、推測・補完の品質が変化します。
現時点で提供形態および提供時期は決定していませんが、2026年内の一般公開を目指しています。今後も、撮影条件の違いに対する再現性、視点変更時の描画品質、操作性を検証します。
■ 想定する活用シーン
- ダンス、演劇、パフォーマンスの立体的な記録
- 文化・芸能、所作、技術継承のデジタルアーカイブ
- 展示、イベントにおける自由視点コンテンツ
- XR空間やインタラクティブメディアでの人物表現
■ 今後の展開
当社は、今回確認した「スマートフォン1台の固定撮影のみで、動く人物を自由な視点から表示する」という手軽さを、4D表現の入口としてさらに検証してまいります。
そのうえで、今回の1台固定撮影とは別の次段階として、カメラ4台による同時撮影も検証します。単眼撮影で得た制作工程の知見を生かしながら、人物の輪郭、外観、動きの再現性がどの程度向上するかを比較し、目的や品質に応じて撮影方法を選べる環境の構築を目指します。
プレスリリース提供：PR TIMES
記事提供：PRTimes
