nabeです。
iPhone LiDARの3Dスキャンでできた3Dデータを用いてメタバース空間を設計する”半リアル建築”（Unreal Engineにちょっとかけてる）という試みをしています。個人的にとても面白い取り組みだと思うので、ぜひ作り方や考え方を共有してより発展した現実・バーチャル空間のとらえ方や創造性が生まれたらいいなと思います！
半リアル建築の定義
まずこの考え方はnabeのオリジナルのメタバース空間の設計手法の1つです。
考え方をざっくり定義するとこのような言い方になります
現実の空間から取得した3Dデータをもとに作為・無作為問わず加工したメタバース（デジタル）空間
より具体的に言うと、実際にある空間を3Dスキャンやフォトグラメトリなどの技術を用いて3Dデータを取得し、その3Dデータを作為的な加工（3Dモデリングツールで拡大縮小や反転や回転、部分的にデータを削除するなど）、無作為的な加工（3Dスキャンやフォトグラメトリの処理が起こすズレやバグのようなもの）問わず加工した3D空間のことを指します。
簡単な言葉でいうと、
『実際の空間から取得した3Dデータをいじって作る空間』という感じですかね。
現実の空間（建築）をもとにしているため寸法や空間構成などはそれなりに現実に即しており、明らかに変な空間では無いです。しかし、デジタルデータならではのあり得ないことが起きているため半分現実（リアル）な空間（建築）ということで、”半リアル建築”と呼んでいます。
具体的な手法については後述します。
半リアル建築が生まれた理由と可能性
この半リアル建築が生まれたきっかけのデータがこちらです↓
こちらのリンクから3Dデータも見れます。自分でグリグリ動かせます↓
https://poly.cam/capture/BC29A30D-0500-4FCE-AC3C-904ADC9B4193
パッと見てどう感じたでしょうか？
ぐちゃっとしたデータですが、看板や改札、自販機など個別の要素がなんとなく分かるかと思います。通常はフォトグラメトリや3Dスキャンは正確に空間をとったりデジタルツインという言葉にあるように現実空間をそのまま3Dデータにするのが目的なため、ぐちゃっとしたデータに価値はおかれないです。しかし、初めてこのモデルを見た時に、このなんとなく現実の空間が見えつつも、実際にとは違う不思議な空間構成が生まれているのが面白いなーと思ったのが始まりでした。
メタバースをはじめ、VRchatなどバーチャル空間の価値や創造性というのは今後さらに高まっていくのは間違いありません。そうなった時に、現実空間をベースにしつつも実在しない3Dデータというのは1つのバーチャル空間を構築していく手法の1つになるのではないかと考えています。
半リアル建築の作り方
半リアル建築の作り方は至って簡単です。というかそもそも明確なルールは無いんですが…笑
ここではnabeが行っている半リアル建築の作り方を紹介します。
ざっくりいうと、ある空間を適当にフォトグラメトリし、できたデータを好きに加工するだけです。
もう少し具体的に言うとこのような流れです。
①普通に写真を撮るようにカメラを構え、歩きながら空間をパシャパシャ撮影していく。この時、カメラの向きは正面でもいいですし、上下左右好きに撮影してもOKです。nabeは基本的に正面メインで時折左右を撮影しています。シャッターを切るタイミングは自由ですが、自分は2~3秒に1回くらいは撮影しています。リンゴLiDARの会という会で発表した際のスライドをそのまま使って説明します。
②使っているPolycamというアプリだとフォトグラメトリに必要な写真の最低枚数が20枚なのでそれ以上は撮影します。ある程度撮影できたら終了です。
③撮影した写真をアップロードし、3Dデータを作成します。Polycamだとアップロードしたらクラウドで処理されるので少し時間を置けば完成です。
④Polycamの場合、有料版（年額5000円くらい）にしないと3Dデータが書き出せないのですが（データの処理まではできる）、nabeは有料版に入っているのでobjなどの汎用性のある3Dデータでいつも書き出します。ちなみにWiDARという国産アプリでは制限はあるものの数回までは書き出しできるので、そちらがおすすめです。
⑤objデータを3Dソフトで開きます。nabeはRhinocerosやSketchup、Blenderで開くことが多いです。
⑥3Dデータを自由に加工します。テクスチャーを変えたり、穴をあけたりしてみました。
⑦そのまま3Dソフトに入っているレンダラーでレンダリングしてもOKですし、LumionやTwinmotionやV-rayなどの外部レンダラーでテクスチャーを入れたり添景を入れてもOKです。個人的には、現実ベースのバグった空間なので近未来とか廃墟のような人間の営みの延長線上にある架空の空間を作るのに適しているかなーと感じています。
⑧完成です！
まとめ
今回はiPhone LiDARやiPhoneの3Dスキャンアプリを使った、現実をベースにしたメタバース空間”半リアル建築”について書きました。現実空間の切り取り方や加工の仕方で無限の可能性があるこの半リアル建築、個人的に超面白い試みだと思うのでもし興味ある方はぜひやってみてください！