9 月に、Google Meet はリアルタイムで背景をぼかす機能を追加しました。これはプライバシーへの影響を除けば、非常に印象的な機能です。 Google は、 Google Pixelで見たものと非常によく似た方法で、機械学習を使用して画像をセグメント化するこのぼかしがどのように機能するかを説明したいと考えていました。
ここでは、リアルタイムで画像の背景をぼかす方法と、代替手段で非常に人気になった通話の背景を変更する機能を、あまり専門的なことはせずに、簡単な方法で説明します。 Zoomなどの Google Meet に接続します。
Google Meet では、このようにして背景と主題を分離することができます。
画像処理に関連する事実上あらゆるものと同様に、 Google は機械学習を使用しています。使用されるさまざまなモデルの処理の複雑さについては触れませんが、ここで重要なのは、そのプロセスが Google 電話で実行されるプロセスと非常に似ているということです。
Google Meet はウェブ上で MediaPipe テクノロジーを使用するため、ぼかし効果を機能させるためにアプリケーションをインストールする必要はありません。 Google は、マスクを作成するために提供されるデータを使用して、動画の各フレームをリアルタイムで処理します。マスクは、背景をぼかしたり置き換えたりしたビデオ出力をレンダリングします。つまり、画像をぼかしたり背景を変更したりするメカニズムは同じです。
大きな課題の 1 つは、画像セグメンテーション モデルのリソース レベルでの要求を緩和することです。これを実現するために、Google は取得した画像の解像度を下げてからモデルに送信し、低解像度の画像から作成されたセグメンテーション マスクを提供します。
このセグメンテーションが完了すると (背景と図を分離するためのマスクの作成)、OpenGL を通じてさまざまなプロセスが使用され、ビデオが処理され、エフェクトがレンダリングされます。
段階的なボケ効果はセグメンテーション マスクに基づいて作成されます。つまり、被写体の背後の背景は「カット アンド ペースト」ではなく、人物の位置に応じてボケが調整され、シェーディングなどのさまざまな効果が適用されます。 、できるだけ自然にするために。
低解像度画像から先ほど説明したように作成されたブラーは、内部カメラからの元の入力と組み合わされるため、これらのエフェクトを使用しても品質が低下することはありません。背景を追加するために分離する場合も同じことが起こります。
この機能を実行するアプリケーションは Meet だけではありませんが、Google が機械学習機能を通じてこの方法をどのように適用するかに興味があります。これは同様の提案ですが、Google カメラ アプリの機能と比較するとはるかに基本的です。
詳細情報 |グーグル