こんにちは！VR事業部の長谷川(id:waffle_maker)です。
本記事はForgeVision Advent Calendar 24日目の記事です。
※本記事は2020年12月24日に公開したForgeVision Advent Calendarの記事を2023年9月15日に加筆修正したものです。
今回は弊社の特許技術である『歩ける全天球動画』について、改めてまとめたいと思います。
おさらい
歩けるとは？
VRヘッドマウントディスプレイ（以下、VRHMD）の機能として、6DoF*1に対応していることを『歩ける』と表現します。
Oculus Questの出現により、2020年以降のVRHMDでは歩けることが当たり前になりました。*2
ただし、歩けるハードウェアに対して、歩けるソフトウェア（アプリケーション、ゲームなど）がなければ、VRHMDの機能を活用しきることはできません。
全天球動画（360度動画）とは？
全天球カメラ（360度カメラ）で撮影した動画のことを『全天球動画』*3と呼びます。
データとしては正距円筒図法（Equirectangular）形式*4の動画ファイルであり、映像を球体の内側に投影するように表示します。
※全天球カメラの画像は、RICOH THETA Vです。
全天球動画の視聴方法としてVRHMDが最適ではあるのですが、それだけでは映像内を移動することが出来ない『歩けない』ソフトウェアになります。
近い技術として、ステレオパノラマ*5、VR180*6などがあります。
歩ける全天球動画とは？
『ステレオパノラマ、フォトグラメトリとは異なる方法で、全天球動画を立体化する技術』と説明しています。
具体的には、予め作成した立体形状に、全天球動画を投影しています。
現状、立体形状は職人の手作りですが、LiDARなどの計測結果を利用することで簡略化できる余地があります。
全天球動画と比べると…
全天球動画を球の内側に投影しただけでは歩けませんが、歩ける全天球動画では歩けます。
また、通常の全天球カメラで撮影した映像を、後から歩ける全天球動画にすることが出来ます。
フォトグラメトリと比べると…
フォトグラメトリは静止して動きませんが、歩ける全天球動画は動画を投影するため動きます。
掛かる手間は同じくらいないかと思います。
フルCGと比べると…
フルCGは実写に近付けるほどコストが高くなりますが、歩ける全天球動画は一定のコストで実現できます。
また、歩ける全天球動画は実写映像を利用するため、実写に近い見た目になります。
対応ゲームエンジン、プラットフォーム
| 歩ける全天球動画 | 歩ける全天球静止画 | |
|---|---|---|
| アプリで動作 | ◯ | ◯ |
| ウェブブラウザで動作 | △ | ◯ |
Unity、Unreal Engineなどのゲームエンジンで作成するアプリケーションは、歩ける全天球動画/静止画の両方に対応しています。
ウェブブラウザで動作する場合は、プラットフォームによっては歩ける全天球静止画のみの対応になります。
また、WebXRにも対応しています。
対応VRHMD
6DoF対応VRHMDにはほぼ対応しています。
Windows PCベースでは、Meta Quest2/Pro(Quest Link使用)、HTC VIVE Pro/Pro 2/Cosmos、PICO Neo3 LINK、Valve Indexなど。
Androidベースでは、Meta Quest2/Pro、HTC VIVE Flow/Focus 3/XR Elite、PICO Neo3/4など。
作例
体験可能デモ
Meta Quest版デモ
トンネル水槽、滝、新築住宅を体験できます。アプリインストールが必要です。 www.oculus.com
WebXR版デモ
トンネル水槽を体験できます。ウェブブラウザで動作します。 w360v.forgevision.com
トンネル水槽デモ
技術の検証を兼ねて最初に作成したデモです。
動画素材は、HOME360様に提供頂きました。*7
以下の理由から、技術との親和性は最も高いデモだと思います。
※これを超える面白いアイデアをお待ちしています！！
透明なオブジェクトの表現
アクリルガラスを表現できており、アクリルガラスの向こうは立体感が無くても違和感が少ない。
動画全体に変化がある
水面の泡、魚、コースティクス*8など動画全体に変化があるため、動画と静止画の差別化が出来ている。
光量が少ない
視点を動かした際の反射による違和感が少なく、また立体形状が荒くても違和感が少ない。
滝デモ
本技術の弱点と対策を例示するために作成したデモです。
動画素材は、Visualize Vision様に提供頂きました。*9
本技術の弱点とは…
遮蔽に弱い
本技術では、定点撮影した動画を全方位に投影する都合上、カメラから見て遮蔽された部分の映像を表現することが出来ません。
ここでは、手すりが二重に見える問題に対して、手すりの奥を黒くフェードアウトさせることで違和感の低減を行っています。
なお、近景用と遠景用の動画を別視点から撮影することで、解決することが出来そうです。
複雑な形状に弱い
本技術では、事前に形状を作成する都合上、複雑な形状を苦手としています。
ここでは、カメラから見て近くにあるオブジェクトのみ形状を作成し、遠くにあるものは通常の全天球動画と同様に球の内側に投影しました。
- 近景：足場と一番近くの木の幹のみ形状を作成し、水しぶきのパーティクルを追加
- 遠景：滝や樹木の手前までの大きさの球
新築住宅デモ
複数視点の全天球静止画とCGを組み合わせて作成したデモです。
部屋、廊下、屋外の3か所を撮影*10して、つなぎ合わせています。
静止画を使用することで、動画再生に向かない環境でも高解像度の素材を使用できる利点があります。
※プライバシー保護のため、窓の外は別の場所に差し替えています
タイムラプスデモ
実写系VRコンテンツは現実を超えられないという課題があり、現実を超える表現のために作成したデモです。
インターバル撮影した複数の静止画から、時間の流れが速いタイムラプス動画を作成*11して、その中を歩けるようにしました。
※プライバシー保護のため、屋内が見える部分などをマスクしています。
事例紹介
エンタメ系事例
文化財事例 第1弾
バーチャルブース事例
知見と工夫
- 違和感が少ない反面、何が凄いのか伝わらない問題がありました。
デモをを行う際には歩けない状態を見せてから、歩ける状態に切り替えることで解決しました。 - 副産物として、球の内側に投影する通常の全天球動画も綺麗になりました。
頂点では無くピクセル単位で処理しているため、歪みが無く綺麗になったようです。 - 地面に三脚の影が張り付いていて面白い。
CGの家具で隠したり、全天球動画を編集することで解決しました。
床に投影された三脚、面白い
最後に
気軽に出かけられないご時世ですが、VRHMDと歩ける全天球動画を活用して、お出かけ気分を味わってみては如何でしょうか！？
25日目は、CI事業部の大ボスにして『2020 APN AWS Top Engineers』に選ばれた山口さんです！！
※本記事は2020年12月24日に公開したForgeVision Advent Calendarの記事を2023年9月15日に加筆修正したものです。
*1:3軸回転と3軸移動
*2:スマートフォンを装着する安価なVRHMDや、一部動画視聴用の端末は6DoFに対応していないことがあります
*3:個人的には360度では従来のパノラマと区別が付かないため、全天球という呼称を推します。
*4:世界地図のように展開した横2:縦1の解像度
*5:右目用と左目用の全天球動画を用意して視差を付けたもの
*6:ステレオパノラマから後方の映像を削って前方の解像度を高めたもの
*7:4K動画/GoPro Hero3×6台で撮影
*8:ここでは光が水で屈折して床に投影される模様のこと
*9:4K動画/Insta360 Proで撮影
*10:屋内は12K静止画/Insta360 Proで撮影、屋外は7K静止画/Insta360 Oneで撮影
*11:4K動画/Insta360 Proで撮影
