Google が昨年 Pixel 2 を発売したとき、ポートレート モードを提供するのにダブルの背面カメラは必要なく、 デュアル ピクセル システムにより単一のカメラでボケ効果を適用できることが示されました。
このモードは新しい Pixel 3 の発売により改良されており、Google はいくつかの最高のモバイル カメラの背後にあるソフトウェアの詳細を提供しています。
ディープラーニング
デュアル ピクセル システムは、位相検出オートフォーカス (PDAF) を使用して 1 つのレンズを 2 つに分割し、右半分と左半分が 1 ミリメートル未満の距離で離れているステレオ写真を実現しましたが、奥行きを計算するには十分な距離でした。
この奥行きを検出するシステムは、背景に平行線がある場合に多くの問題を引き起こし、ステレオでこれら 2 枚の写真間の違いを検出できず、ぼかしが適切に適用されず、奇妙なアーティファクトが発生する可能性があります。ぼやけているはずの領域が鮮明になります。
Pixel 3 のポートレート モードを改善するために、Google は機械学習を通じてニューラル ネットワークをトレーニングし、写真を見たときにそれが背景をぼかしていることを認識できるようにしました。
このために、Google は「Frankenphone」と名付けたパーソナライズされたサポートを作成しました。このスタンドには5 つの Pixel 3 が含まれており、5 つの異なるビューを提供します。彼らは大量の PDAF 画像を撮影し、Google の機械学習は複数の視点を持つことで、ポートレート モードを適用するために前景と背景にあるものをより正確に学習することができました。
ステレオ vs 学習
この学習により、Google のニューラル ネットワークは PDAF 画像の深度をより正確に検出し、ぼかしを適用できるようになりました。 Google は、次のギャラリーで、Pixel 3 のポートレート モードの改善を実証し、ステレオ写真と学習写真を比較しています。
詳細情報 | グーグル