計算写真はクローズアップの準備ができています

2017年には、8700万人以上のアメリカ人が国際旅行をしました。これは、米国旅行局によると記録的な数です。 あなたがその中にいたなら、おそらくストーンヘンジ、タージマハル、ハロン湾、万里の長城などの目的地を訪れたでしょう。 また、携帯電話を使用してパノラマを撮影したり、携帯電話で自分自身を回転させて、360度の広大な景色を撮影したりすることもできます。

あなたが成功した場合-セクションのずれ、ケラレ、またはカラーシフトがないことを意味する-その後、計算写真のシンプルで効果的な例を経験しました。 しかし、過去数年間で、コンピュータ写真はそのような狭い用途を超えて拡大しました。 それは私たちに写真に対する異なる視点を与えるだけでなく、私たちの世界の見方を変えることもできます。

計算写真とは

スタンフォード大学のコンピューターサイエンス（名誉）教授であり、Googleのプリンシパルエンジニアであり、この新興分野の先駆者の1人であるMarc Levoyは、計算写真をさまざまな「デジタル写真の機能を強化または拡張する計算イメージング技術」と定義しています出力は普通の写真ですが、従来のカメラでは撮影できなかったものです。」

アドビのプリンシパルプロダクトマネージャーであるJosh Haftel氏によると、従来の写真に計算要素を追加することで、特にイメージングやソフトウェア企業にとって新たな機会が生まれます。「計算写真の見方は、2つのことをする機会を与えることです彼らは、モバイルカメラ内に存在する多くの物理的制限を試して、補強することです。」

浅い被写界深度（DOF）をシミュレートするスマートフォンを取得することは、被写体を背景から視覚的に分離するため、プロ並みの画像の特徴です。 電話のような非常に薄いデバイス上のカメラが浅いDOFで画像をキャプチャできないようにするのは、物理学の法則です。

「持てない 浅い しかし、大きなセンサーには大きなレンズが必要です。また、ほとんどの人が携帯電話を極薄にしたいので、大きなセンサーと大きなかさばったレンズの組み合わせは選択肢ではありません。 、携帯電話は小さなプライムレンズと小さなセンサーを使用して構築されており、すべての被写体を近くと遠くに焦点を合わせる大きな被写界深度を生成します。

Haftelによれば、スマートフォンやシンプルなカメラのメーカーは、計算写真を使用して「目を欺く方法で効果をシミュレートすることでチート」することで、これを補うことができます。 その結果、アルゴリズムを使用して、何が背景と見なされ、何が前景の主題と見なされるかが決定されます。 次に、カメラは背景をぼかすことで浅い自由度をシミュレートします。

ハフテルが計算写真を使用できると言う2番目の方法は、新しいプロセスと技術を採用して、写真家が従来のツールでは不可能なことを行えるようにすることです。 Haftelは、例としてHDR（高ダイナミックレンジ）を指しています。

「HDRとは、複数のショットを同時に、または連続して撮影し、それらを結合してセンサーの自然な能力の限界を克服する機能です。」 実際、HDRは、特にモバイルデバイスで、イメージセンサーが自然にキャプチャできる範囲を超えて音の範囲を拡大し、最も明るいハイライトと最も暗いシャドウでより多くの詳細をキャプチャできるようにします。

計算写真が不足する場合

計算写真のすべての実装が成功したわけではありません。 2つの大胆な試みはLytroとLight L16カメラでした。従来の写真機能とコンピューターの写真機能（iPhone、Androidスマートフォン、一部のスタンドアロンカメラのような）をブレンドする代わりに、LytroとLight L16はコンピューター写真のみに焦点を当てようとしました。

最初に市場に出回ったのは、2012年のLytroライトフィールドカメラで、ショットをキャプチャした後に写真のフォーカスを調整できました。 これは、カメラに入る光の方向を記録することでこれを行いましたが、従来のカメラではできません。 この技術は興味深いものでしたが、カメラには低解像度や使いにくいインターフェイスなどの問題がありました。

また、かなり狭いユースケースがありました。 イメージングリソースの創設者、出版者、編集長であるデイブ・エシェルズは次のように指摘しています。「事実はクールな機能だったのに焦点を合わせることができたが、カメラの口径はとても小さかったので、距離を本当に区別できなかったカメラに本当に近いものがない限り。」

たとえば、地元の野球ダイアモンドで野球選手を撃っているとします。 フェンスの近くで写真を撮り、プレーヤーが遠くにいる場合でも、フェンスを通してプレーヤーを捕まえることができます。 次に、フェンスからプレーヤーにフォーカスを簡単に変更します。 しかし、エシェルズが指摘するように、「実際にそのような写真を撮影する頻度はどれくらいですか？」

スタンドアロンの計算カメラを目指した最新のデバイスは、ハイエンドD-SLRまたはミラーレスカメラと同等の画質と性能を備えた薄型のポータブルカメラを製造する試みであるLight L16でした。 L16は、単一のカメラ本体に16種類のレンズとセンサーモジュールを搭載して設計されました。 パワフル オンボードソフトウェアは、さまざまなモジュールから1つのイメージを構築します。

Etchellsは当初、Light L16のコンセプトに感銘を受けました。 しかし、実際の製品として、彼は「さまざまな問題があった」と述べた。

たとえば、Light、カメラ そして Light L16を製造している写真会社は、これらすべての小さなセンサーからのデータは、1つの大きなセンサーを持つことに相当すると主張しました。 「彼らはまた、それがD-SLR品質になるだろうと主張した」とエシェルズは言う。 しかし、彼らのフィールドテストで、イメージングリソースはこれが事実ではないことを発見しました。

写真の特定の領域に過度のノイズが含まれていたことなど、他の問題もありました。「画像の明るい領域でも…そして、ダイナミックレンジは実質的にありませんでした。シャドウはすぐに詰まりました」と、Etchellsは言います。写真の一部（会社がカメラの宣伝に使用していたサンプル写真を含む）は、影にはほとんど細部がありませんでした。

「それはまた暗闇での単なる災害でした」とエシェルズは言います。 「それはあまり良いカメラではありませんでした。」

次は何ですか？

これらの不足にもかかわらず、多くの企業が計算写真の新しい実装を推し進めています。 場合によっては、写真と見なされるものと、ビデオやVR（仮想現実）などの他の種類のメディアとの境界線があいまいになります。

たとえば、GoogleはAI（人工知能）を使用して、白黒写真の色付けなどの新機能にGoogleフォトアプリを拡張します。 MicrosoftはiOS用PixアプリでAIを使用しているため、ユーザーはLinkedInに名刺をシームレスに追加できます。 Facebookは間もなく3Dフォト機能を公開します。これは、「スマートフォンを使用してFacebookで共有することで3Dの瞬間をキャプチャできる新しいメディアタイプです」。 また、AdobeのLightroomアプリでは、モバイル機器の写真家はHDR機能を利用して、RAWファイル形式で画像をキャプチャできます。

VRおよび計算写真

モバイルデバイスやスタンドアロンカメラでさえも興味深い方法で計算写真を使用していますが、 もっと VRやAR（拡張現実）などの拡張現実プラットフォームの世界から、強力なユースケースが生まれています。 ニューヨークの没入型メディアスタジオであるScatterのCEO兼共同設立者であるジェームズジョージのコンピューター写真 は アーティストが自分のビジョンを表現する新しい方法を開きます。

「スキャターでは、コンピューター写真を開拓しようとしている新しい創造的な分野のコアとなるテクノロジーと考えています…計算を追加すると、私たちの目で見たものと同じものの合成とシミュレーションを開始できます私たちの脳を見てください」とジョージは言います。

基本的に、それは知性に帰着します。 私たちは自分の脳を使って、私たちが知覚するイメージについて考え、理解します。

「コンピューターは世界を見渡して物事を見て、自分たちが何であるかを私たちと同じように理解できるようになり始めています」とジョージは言います。 したがって、コンピューター写真は、「写真を純粋にキャプチャするだけでなく、実際に何かを知覚する人間の体験をシミュレートし始める合成およびインテリジェンスの追加レイヤー」です。

Scatterが計算写真を使用する方法は、 体積 写真と呼ばれます 。 これは、さまざまな視点から被写体を記録し、ソフトウェアを使用してこれらすべての視点を3次元表現で分析および再作成する方法です。 （写真とビデオはどちらも体積が多く、VRまたはAR体験内で動き回れる3Dのようなホログラムとして表示されます。）「私は特に、2次元の方法以上のものを再構築する機能に興味があります。ジョージは言います。 「私たちの記憶の中に、私たちが通り抜けたら スペース 、物事が互いに関係していた場所を空間的に思い出すことができます。」

ジョージは、スキャターは「ビデオゲームやホログラムのように空間を自由に移動できる方法で、完全かつ自由にナビゲートできる空間の表現を抽出および作成できると言います。それは、ビデオゲームと映画制作の交差点であり、計算写真と立体映画制作が可能にします。」

他の人がボリュームVR保護を作成できるように、ScatterはDepthKitを開発しました。これは、映画制作者がMicrosoft Kinectなどのカメラの深度センサーをHDビデオカメラのアクセサリとして利用できるソフトウェアアプリケーションです。 そうすることで、CGIとビデオソフトウェアのハイブリッドであるDepthKitは、「仮想世界でのリアルタイム再生に適した」リアルな3Dフォームを生成します。

ScatterはDepthKitを使用して、コンピューターによる写真撮影と立体映像制作技術を使用した強力なVR体験をいくつか生み出しています。 2014年、ジョージはジョナサンミナードと共同で「クラウド」を作成しました。これは、インタラクティブなコンポーネントを含むコードの芸術を探るドキュメンタリーです。 2017年、Scatterは映画 Zero Daysに 基づいてVRを制作し、VRを使用して、目に見えないサイバー戦争の世界の中でユニークな視点を提供し、Stuxnetウイルスの視点から物事を確認しました。

DepthKitに関連する最も強力なプロジェクトの1つは、「ターミナル3」です。これは、パキスタンのアーティスト、Asad J. Malikによる拡張現実体験で、今年初めにTriBeCa映画祭で初演されました。 この経験により、Microsoft HoloLensを介して事実上米国国境警備員の靴に足を踏み入れ、イスラム教徒のように見える人物の幽霊のような3D体積ホログラムを調べることができます（インタビューできるのは合計6つのキャラクターです）。

「アサドは大学に通うために米国に移住したパキスタン出身で、彼の経歴と彼がそこにいた理由についてかなり否定的な経験をしました。その経験にショックを受けて、彼は「ターミナル3」を作成しました」

エクスペリエンスを非常に魅力的なものにする鍵の1つは、拡張現実スタジオである1RICのMalikのチームがDepthKitを使用してビデオをボリュームホログラムに変換し、それをUnityや3DなどのリアルタイムビデオゲームエンジンにインポートできることですMayaやCinema 4Dなどのグラフィックツール。 深さセンサーデータをKinectからD-SLRビデオに追加して、AR仮想空間内にホログラムを正しく配置することにより、DepthKitソフトウェアはビデオを 計算的 ビデオ。 白黒のチェッカーボードを使用してD-SLRとKinectを一緒にキャリブレーションし、両方のカメラを同時に使用して体積の写真とビデオをキャプチャできます。

• 悪い写真を修正する10のヒント悪い写真を修正する10のヒント
• 10を超える基本的なデジタル写真のヒント10を超える基本的なデジタル写真のヒント
• より良いスマートフォンの写真のための10の簡単なヒントとコツより良いスマートフォンの写真のための10の簡単なヒントとコツ

DepthKitで作成されたこれらのARエクスペリエンスはビデオゲームの動作に似ているため、「Terminal 3」のようなエクスペリエンスは強力なインタラクティブエフェクトを生成できます。 たとえば、ジョージは、マリクがあなたがそれらに尋問するとき、ホログラムが形を変えることを許すと言います：尋問の間、あなたの質問が非難されるならば、ホログラムは非実体化して、より少ない人間に見えます。 「しかし、あなたはその人の伝記、彼ら自身の経験、そして彼らの価値観を呼び始めると、ホログラムは実際に埋められ、写真のようにリアルになり始めます。」

彼は、この微妙な効果を作成する際に、尋問者の認識と、「真のアイデンティティとユニークさを備えた実際の人ではなく単なるエンブレム」としての人の見方について考えることができると言います。 ある意味では、ユーザーにより深いレベルの理解を与えることができます。 「一連のプロンプトを通じて、ある質問や別の質問をすることができます」とジョージは言います。「あなたはあなた自身の偏見に直面していると同時に、この個々の物語に直面しています。」

ほとんどの新しいテクノロジーと同様に、計算写真は成功と失敗の両方を共有しています。 これは、いくつかの重要な機能またはテクノロジー全体の有効期間が短いことを意味します。 Lytroの活用：2017年、Googleが会社を買収する直前に、Lytroはpictures.lytro.comを閉鎖したため、Webサイトやソーシャルメディアに画像を投稿できなくなりました。 見逃した方のために、パナソニックには、ポストフォーカスと呼ばれるLytroのようなフォーカス機能があります。これは、さまざまなハイエンドミラーレスカメラとポイントアンドシュートに含まれています。

これまで見てきた計算写真ツールと機能は、 開始 。 新しい、より汎用性の高いカメラとレンズ、より強力なオンボードプロセッサ、より広範なセルラーネットワーク機能を備えたモバイルデバイスが設計されるにつれて、これらのツールははるかに強力、動的、直感的になると思います。 近い将来、コンピュータ写真の本当の色が見え始めるかもしれません。