家特徴 Unity、AR、VR、AIで未来を築く方法

Unity、AR、VR、AIで未来を築く方法

2024

Unityは、世界で最も広く使用されている3D開発プラットフォームです。アプリ分析会社Apptopiaによると、上位1, 000のモバイルゲームの40％と、すべての新しいモバイルゲームの半分以上で使用されています。 Unreal Engineとともに、2つの人気のあるゲームエンジンは、Web上のゲーム体験のほとんどを支えています。

ただし、3D開発スペースは、特に拡張現実および仮想現実の開発に関しては、以前よりもはるかに混雑しています。

Unityはビルディングブロックとして機能するか、AppleのARKitやGoogleのARCoreを含む、ほとんどの新しいAR / VRプラットフォームと統合しますが、Amazon Sumerianやその他のドラッグアンドドロップインターフェイスとの競合も処理し、あまり技術的なクリエイター。

競争に勝ち、新しいデバイスと3Dエクスペリエンスの成長するエコシステムのプラットフォームを進化させるために、UnityはAR / VRおよびAI部門を中心とする2つの戦略を推進しています。 UnityのVR / ARブランドソリューションのグローバルヘッドであるTony Parisiと、UnityのAIおよび機械学習のVPであるDanny LangeにPCMagに話を聞いて、Unityの未来と、プラットフォームとそれが作成するゲームがどのようにスマートになるあなたもそれを実現しています。

UnityのAR / VR風景の見方

IDCは、AR / VR製品およびサービスへの支出が今年270億ドルに達すると予測しており、そこから市場は成長しているだけです。パリシ氏によると、Unityはスペース内のすべてのプラットフォームをサポートすることを目指しています。

「3〜4年前、私が入社する前に、Unityは開発者向けのフル機能のシステムを作成することを目的として、新興のVR市場（Oculus Rift、HTC Vive、Samsung Gear VRなど）に多額の投資を始めました。したがって、これらのプラットフォームをサポートする方法の低レベルの詳細をいじる必要はありません」とParisi氏は述べています。「ほとんどのアプリケーションを一度書くだけで、これらのデバイスに移植できるようになりました。」

モバイルビューアーヘッドセット用に作成するアプリは、PCベースのエクスペリエンス用に最適化されたアプリとは少し異なるように設計されるため、これは普遍的ではありません。しかし、Unityの内部メトリックによると、プラットフォームは現在、Oculus Riftエクスペリエンスの69％、HTC Viveの74％、Gear VRの87％、Microsoft HoloLensの複合現実（MR）エクスペリエンスの91％を強化しています。

成長するエコシステムでの作業

Parisiは、90年代半ばから3D視覚化の作業を行っているAR / VRで働いています。彼は、WebGLの基礎となるVRMLファイル形式およびその他の仕様を共同で作成し、他のいくつかのVR企業で設立および活動しました。 2016年後半にUnityに入社し、AR、VR、MR、およびより広範な拡張現実（XR）の傘下で広告、マーケティング、および戦略を率いました。

「ポケモンゴーブームの直後、場所に関するより単純なARのようなもので、どこかに行ってポケモンを見つけ、さらにカメラを少し追加しました。これが、私たちが増強し続ける要因です。パリシは言った。

ARの面では、ParisiがFacebookとSnapがCamera EffectsおよびLens Studio開発者プラットフォームを使用して、スマートフォンカメラでできることを進化させて周囲の環境をマッピングする方法について話しました。ブリッジスマートフォンとヘッドセットベースのARは、スターウォーズ：ジェダイチャレンジゲームのような体験であり、これもUnityで作成され、LenovoのMirage ARヘッドセットと組み合わせたスマートフォンで動作します。

次の波は、AppleのARKitとGoogleのARCoreを介してARオペレーティングシステムをサポートする携帯電話です、とParisi氏は言いました。 Amazon Sumerianと同様に、UnityはAppleおよびGoogleと提携して、3Dツールを使用してARコンテンツを作成します。 Unityは、Tilt BrushやBlocksなどのオープンソースのGoogleツールの基盤としても機能します。 Parisiは、モバイルオペレーティングシステムにまたがる共有された拡張世界を想定しています。

「AppleとGoogleはともに素晴らしいパートナーです。Unityの3Dツールを通じてこれらのエクスペリエンスとXRコンテンツを開発およびサポートするために、私たちはそれらと深い関係を持っています」とParisi氏は言います。「コーダーや開発者、プロのデザイナー向けではない民主化された作成ツールの多くは、当社のエンジンに組み込まれています。さらに優れているのは、他のソフトウェアと同じようにブロックモデルまたはTilt Brushアートを使用して、他のUnityアプリに取り込むことができることですそれがUnityになります。」

MRとVR側では、大きなデバイスとソフトウェアプレーヤーはOculus、HTC、そしてもちろんMicrosoftとそのWindows Mixed Realityエコシステムです。 Unityはそれらすべての3Dアプリを構築していますが、Microsoftは混合現実と仮想現実の境界線を少し曖昧にしているとParisi氏は言います。 HoloLensは複合現実デバイスですが、Windows Mixed RealityヘッドセットはVRです。

「この業界は、私たちがこのすべてを呼ぶべきものをまだ把握している」とパリシは言った。「デジタルと現実の世界をミックスするコンテンツを設計するか、完全に没入型の世界に入るかによって、異なる課題があります。VRでは、パフォーマンスの課題がより高くなります。完全に合成された世界を作成する必要があります。ベースのVRヘッドセットは毎秒90フレームでレンダリングされ、パフォーマンスを爆発させます。複合現実はそれほど集中的ではありませんが、処理する環境全体にリアルタイムで調整する必要があります。
3Dコンテンツ作成の進化

Unityは、没入型コンテンツを開発するための民主化された3D作成ツールです。毎月のサブスクリプション料金で購入できる無料版、プラス版、およびプロ版があり、ロイヤリティは無料です。したがって、Unityで構築するのはあなたのものです。 Unityは現在、スマートフォンやPCオペレーティングシステムからホストのゲームシステム、スマートテレビ、VRヘッドセットまで、約30種類のプラットフォームの構築をサポートしています。

最近、Unityを使用して、没入型のコンテンツやエクスペリエンスを幅広く作成しています。これらは、視聴者がVRの2つのブラックホールの宇宙衝突を探索できるSpheresと呼ばれるサンダンス映画祭シリーズから、ピクサー映画の死の地にプレイヤーを運ぶ360度の投影を使用するディズニーのCocoVRゲームまであります。

Parisiは、Unityを使用して、ビートセイバーなどの楽しいVRゲームや、野球観戦者がスマートフォンをゲームに向け、プレーヤーの上の画面で統計を確認できるMLB At Bat ARアプリなどの拡張エクスペリエンスを構築することについても話しました。

Unityはこれらすべてのタイプのアプリを構築できますが、デザインで考慮すべき微妙な違いがたくさんあります。 PCベースのエクスペリエンスはより強力で、より豊かな環境でより大きな3Dモデルを可能にします。また、Oculus RiftやHTC Viveなどのヘッドセットは、入力およびコントローラーを考慮した位置および部屋スケールのトラッキングも提供します。 Parisiは、Google Daydream Viewのようなヘッドセットで3自由度の視聴体験をする場合とは異なる方法で、この種のアプリを設計する必要があると言いました。ボタンを押すほど簡単ではありませんが、Unityは、作成した3Dコンテンツが過度の再コーディングなしでデバイス間を移動できるように機能します。

Unityが最近取り組んでいるAR / VR体験用のゲームおよびエンターテイメントアプリケーション以外の質問の1つは、3D作成環境を改善して、さまざまな業界、スキルレベル、およびユースケースに対応する方法です。真剣なコーダーと非技術ユーザーの両方を満足させることを目的としたローコード開発ツールと同様に、Unityは、インターフェース、資産ストア、およびプラットフォームの残りの部分をさまざまなタイプの企業やユーザー向けに機能させ、顧客を拡大する方法を考え出していますベース。

「ARとVRが生まれるこれらのさまざまな業界を見ました。自動車、映画、建築、医療、または数十万の席にソフトウェアを配布している他の組織である可能性があります」とParisi氏は言います。「まったく異なる世界、異なる企業、異なる背景、制作ツールです。当初はモバイルとゲーム業界に注力していました。成長があった場所でしたが、今ではホイールが回転し、タイミングがそのプレイブックを取り、それをもたらす権利があります世界がB2Bに移行しているため、これらの他の産業のいくつかに今すぐ。」

現在のAR / VRの制限

現時点では、MRとVRの普及の最大の障害はコンテンツの不足ではなく、快適さと移植性とコンピューティングパワーの点でハードウェアの制限があることです。まもなく登場するMagic Leapヘッドセットの複雑な旅は、強力で十分なプロセッサを大量消費向けの小さな十分なフォームファクターに縮小しようとする教科書のケーススタディとして機能します。

「オープンストリートをナビゲートするのではなく、リビングルームを歩き回る複合現実体験を作成することは困難です」とParisi氏は言います。「私たちはまだ計算能力と携帯性の間のスイートスポットを見つけるためにハードウェアの反復を行っている場所にいます。VRヘッドセットを使用すると、ワイヤのひっかかりを感じるまで動き回ることができます。そのデータを送信する方法です。そのワイヤは苦痛です。それは没入感を壊します。私は1分間他の場所にいましたが、その後、足に何かが絡まりました。」

AR側では、制限が異なります。リアルタイム3Dグラフィックスのコンピュータービジョンと処理能力に関するものです。コンピュータービジョンとさまざまな種類の機械学習（ML）を使用してギャップを埋め、AR / VRエクスペリエンスをよりスマートでシームレスにする場合、それがUnityの成長するAI部門の出番です。

UnityのAI戦略

Unityは、ゲームプレイとエンジン設計の改善からユーザーの行動の追跡、ゲーム開発者がアプリを収益化する方法の変更まで、さまざまな方法でAIを使用しています。世界中に100人以上の従業員を擁するAIチームは、UnityのAIおよび機械学習のVPであるDanny Langeによって運営されています。

Langeは、Uberの機械学習の責任者およびAmazon Machine Learningのゼネラルマネージャーとして約18か月前にUnityに参加しました。彼はIBMとMicrosoftでも働いています。彼はMLについての異なる視点でゲームの世界にやって来て、Unityの従来のMLの取り組みをより野心的なプロジェクトに変えるのを助けてきました。

「AmazonやUberなどのビジネスは機械学習が非常に重視されています。自動運転車の世界からこの3Dゲーム環境に参入するために、人工知能の限界を押し広げるのに最適な場所を探したいのです」

「私がやってきたとき、強化学習と動的システムの経験をもたらし、基本的に行動を改善する機械学習の取り組みが進行中でした」とランゲは続けました。「これはAmazonとUberの両方で私たちがたくさんやったことです。本を送る場合でも、Uberの摩擦のないピックアップ用に最適化する場合でも、そのすべては実際に座って設計する人ではありません。 Uberドライバーと出会える場所です。Unityに来たとき、それらのアイデアをゲームの世界に持ち込む大きな機会を見ました。」

ランゲが説明したように、UnityのMLプロジェクトは、ゲームプレイから収益化まで、あらゆるものに及びます。一例として、チームは、Unity開発者が広告またはアプリ内購入を通じて収益化したい特定の支出パターンを持つユーザーのクラスターを探します。 Unityは、これらの結果を開発者に提示して、より効果的な長期エンゲージメントを実現します。

同社はまた、ゲームプレイ、エンジン設計を改善し、コンテンツのオーサリングプロセスを支援するためにMLを適用しています。 Unityの包括的な戦略は、基本的に、サービスレベルのMLの開発側と、学術側のより高度な深層学習研究とに分けられます。 Lange氏は、これは、Parisiの部門がXR開発で行っていることと交差し、Unityが新しいMLアルゴリズムをテストするための3Dグラフィック環境を研究者に提供すると述べました。

「ARとVRは、実際には機械学習とAIの素晴らしい領域です。AIは現実を改善したものと考えることが多く、現実は対処が困難です」とLange氏は述べています。「部屋のすべてを理解し、その部屋をオーバーレイできる固定アルゴリズムを考え出すのは困難です。実際にコーディングすることはできません。機械学習とAIを使用して、部屋がテーブルであることを認識する仮想オブジェクトを配置する必要がありますこれらは、この動的な実世界の振る舞いのために、機械学習が非常に重要な役割を果たす領域であり、仮想空間の深さと次元を理解します。ディープラーニングの最先端を引き出して、これらのゲームの作成と動作の方法に革命をもたらすことを目指しています。」

舞台裏の機械学習

ゲーム開発およびゲームプレイの面では、ランゲは、UnityがどのようにMLアルゴリズムをエクスペリエンスに織り込み、作成および反復プロセスを自動化するかというカーテンを引き戻しました。

「多くの行動データをキャプチャします。ゲームの開始時-プレイ時間、そのゲームのどのシーンを通過するか」とランゲは語っています。「その意味では、機械学習とデータ分析をAmazonやGoogleと同じようなコンテキストで使用しています。行動データを収集してゲーム開発者にフィードバックします。Web分析に相当し、実用的なデータを提供しますすぐに使用して、プレイヤーが行き詰まっているレベル、機能しないシーンなどを確認します。」

このデータは、アプリ内購入や広告などの要素を最適化するために使用できますが、ランゲ氏は、アルゴリズムは、ユーザーが興味を持っているコンテンツを表示することとゲームを極端に収益化することのバランスを見つけるのに役立つと言いました。マクロレベルで、彼は行動データの自己永続ループを作成して、ゲームを有機的に進化させ、手動の開発者の作業を式から外すのを助けることであると説明しました。

「機械学習は、データを取得して接続を開始できる場所です」とランゲ氏は述べています。「これをループに入れると、ゲームでよく見るように、データはゲームとプレイヤーによる予測につながります。それにより、より多くの行動データが作成され、実際に対話して学習できるシステムができました。私たちの最大の努力の1つは、AIテクノロジーを使用して、使用に応じて進化するよりオーガニックなゲームを作成することです。」

機械学習エージェント

Unityがこれを行う最も重要な方法は、MLエージェントを使用することです。MLエージェントは、ゲームや3Dシミュレーションを自律インテリジェントエージェントのトレーニングの場に変えるオープンソースのベータイニシアチブです。基本的に、Unityを使用すると、開発者はこれらの柔軟なMLエージェントを任意のシナリオで展開でき、スポンジのように機能します。ドロップした仮想環境に基づいてカスタム方法で学習および進化します。

「機械学習とAIの私の定義は、機械学習を使用してデータを収集し、システムをトレーニングすることです。」とランゲは説明しました。「AIは、システムが絶えず再訓練され、どんどん良くなるときです。ゲームを進化させることを望んでいます。それを促進するための公的なイニシアチブの1つは機械学習エージェントです。」

Unityには、MLエージェントのターゲットオーディエンスがいくつかあります。 1つのシナリオは開発者向けで、これらの自動化されたキャラクターが動き回ってプレイヤーとやり取りできるようにします。 MLエージェントは、アクションをコーディングする代わりに、強化を通じてさまざまなレベルをシミュレートし、開発者が数千のゲームレベルを並行してテストする仮想プレーヤーとして動作するゲームを迅速にテストするのを支援します。

MLエージェントの別のユースケースは、物語を中心にしています。 Lange氏によると、Unityは、プレーヤーが次に何をするかを把握し、移動ごとに追跡することでエージェントをテストしています。アイデアは、人間のプレイヤーが何をしているのか、そしてゲームが物語の大きなスキームでこれらの決定をどのように相殺するのかを理解することです。何百万人ものプレイヤーが活動しているゲームでは、MLエージェントはゲームのレベルやストーリーを大規模に学習し、微調整することができます。

上記の「Goodboy」シミュレーションでは、ランゲのチームは、UnityのML-Agentsツールキットの機械学習モデルを使用して簡単なモバイルゲームを構築しました。ゲームでは、小さなコーギーはかわいい動きでスティックを取得しますが、ハードコーディングされることはありません。代わりに、彼の行動と行動はMLエージェントによって制御されます。 Unityはプラットフォームパートナーと協力して、MLエージェントをUnityのすべてのサポート対象プラットフォームに拡張する予定です。

「ゲーム内のこの種の機能を物語レベルと呼ぶ場合、ゲーム内で動き回るキャラクターではなく、ゲームの物語そのものです。したがって、基本的には、ゲームをプレイして、非常にエキサイティングな道です。したがって、パスを左または右に選択することができ、ゲームは基本的に、あなたがやろうとしていることを予測していることに基づいて、5、10、15の動きに基づいて多くのイベントを調整します」ランゲは言った。

「マルチプレイヤーゲームでそれがどのように機能するか想像できます」と彼は続けました。「古典的な例の1つ：ゲームの早い段階で、2人の個人が出会う。1人は他のプレイヤーからすべての金を奪い、その後、彼らの間で悪い血を流して分離する。したがって、ゲームは各プレイヤーが終わる物語を確実にする彼らは橋を渡る必要があり、そうでなければ彼らは一緒にそれを行うことができます、さもなければ彼らはゲームの外にいます。シミュレーションですが、MLエージェントを使用すると、この種のシミュレーションを動的に作成できます。」
AI支援仮想世界の構築

上記の「ピラミッド」デモは、Curiosityと呼ばれる強化学習プロジェクトの結果を示した環境です。MLAgentsは、マップ上の隠れた報酬を発見するために世界をすばやく探索します。

UnityのAI操作のもう1つの側面は、MLを使用して、3Dコンテンツを生成する際により没入感のあるシーンとテクスチャを作成することです。ランゲは、これはゲーム内の自律システムがモーション制御コンテンツを生成し、自然な動きを埋め、キャラクター、人間、または動物がどのように動くかを学習し、ゲーム内のアニメーションを模倣できる、新しいが非常に有望な分野であると述べました。

「これをテストしている何千人もの開発者がいます」とランゲは言いました。「学術的な面では、MITのNASAの学生と博士号とシアトルのPaul Allen InstituteがUnityの資料をリリースするのを目にし始めました。ロンドンの開発者と会って、NPCの開発を実際に推進しています。 iPhoneおよびAndroidデバイスでのグラフィックパフォーマンスの制限。」

Unityには、Amazon SumerianがAIを注入した「ホスト」を構築する方法と同様に、パーソナリティをキャラクターにマッピングするためのExtreme AIと呼ばれるエンジンもあります。ゲーム内のプレイできないキャラクターについては、Unityは過去1〜2年でより自然なシミュレーションを行うための実験を開始しました、とLangeは言いました。

「ロボットや自動運転車を構築したり、家を設計したい場合は、Unityでそれを行い、その家にNPCを追加できます」とランゲ氏は言います。「あなたはその家に住んでいる1, 000家族をシミュレートし、キャラクターがどのように動き回るかについての情報を集めることができます。ドアは正しい方法で開きますか？ 1, 000の異なるファミリーがあります。これは、ゲーム自体の外に出るように思えるかもしれませんが、これらすべてはゲームテクノロジーに基づいています。」
没入型アプリの未来

同社のAR / VRと人工知能の野望が拡大するにつれて、Unityはゲームを超えて新世代の3Dアプリを探しています。その一例が自動車業界です。最近、UnityがAudi、Toyota、Lexus、Volkswagenなどの顧客向けのAR / VRコンテンツの作成を支援する専任チームを編成しました。パリシ氏によると、Unityはクロスプラットフォームの開発者エコシステムの力を活用して、AR / VRアプリの作成を新しい業界にもたらすことを目指しているという。

「私たちは、車のデザイン、映画の作り方を変えています。ゲーム開発者に販売する方法を知っている会社として、これらすべてのことをどうやってやるのか」とパリシは語った。「例として、Fordがイノベーションラボでアプリを作成したいとします。彼らはハイエンドのハードウェアとソフトウェアを持っているので、Riftが出てきてゲームPCでそれを行うことにしました。彼らは広告を出しました。デトロイト地域の誰かがUnityプログラマーです。その1人がプロトタイピングを開始し、3人のイノベーションチームになり、その後、物理的なプロトタイプに代わる自動車設計の新しい方法の開発を開始します。」

パリシはまた、ARとeコマースに関しては摩擦を減らす可能性が高いと考えています。今後の大きな転換点は、World Wide Web Consortium（W3C）がWebXRを批准することです。WebXRは、ARおよびVRエクスペリエンスをデスクトップおよびモバイルブラウザーで直接Webアプリとして実行できるようにする新しい標準です。

ソーシャルフィードに新しいキッチン家電の広告が表示され、その3Dモデルをカメラにリンクされた複合現実環境にドラッグして、キッチンでどのように見えるかを想像してみてください。そのような3D広告技術を大規模に機能させるために、ParisiはWebエクスペリエンスをシームレスにする必要があると述べました。仮想情報でタグ付けされたすべての3Dオブジェクトをカメラに接続するためだけに表示するアプリをインストールする必要がある場合、モデルは機能しませんが、Unityは、それらの互換性のギャップを埋めることができるWebXRのような標準を備えたツールと見なされます。

Parisiは、AR / VRエクスペリエンスのフォームファクターが、ホームエクスペリエンス、ロケーションベースのアプリ、またはトレーニング用のエンタープライズシミュレーションなど、自己完結型のエンターテインメントデバイスになることを想定しています。彼はまた、ユーザーインターフェイスを完全に没入させる必要があると述べました。技術はまだありませんが、彼はそれが一部の人が考えるほど遠くないと信じていません。

「一部の人々は、十分なコンピューティング能力を備えた非常に優れた没入型ヘッドセットまたはメガネを手に入れることができるようになるまでに数十年かかると考えています」とパリシ氏は言います。「CPU、GPU、5Gネットワーキングなど、これらすべてのコンピューティングの側面の小型化における奇跡的なブレークスルーを数年で検討すると、その処理の一部をエッジまたはクラウドまで移動できる可能性があります。フォームファクター何でもありますが、共通の要素は間違いなくボタンを押すだけで、完全に実現されたデジタルキャラクターや、デジタルと現実の世界を融合した階層化された環境を体験できる没入型ユーザーインターフェイスです。」