ファーウェイ、顔の表情を音に変換する視覚障害者向けアプリを開発

ファーウェイは、視覚障害者が顔の表情をさまざまな音に変えることで対人関係を円滑にするアプリを開発した。これはFacing Emotionで、7 つの感情を 7 つの異なる音に変換できる人工知能に基づくアプリケーションです。

したがって、そのおかげで、目の見えない人は、対話者の怒り、恐怖、嫌悪、幸福、悲しみ、驚き、軽蔑を解釈できるようになります。

感情に直面することはどのように機能しますか?

Facing Emotion アプリは、現時点では、人工知能用に設計されたプロセッサーを特徴とする携帯電話Huawei Mate 20 Proで動作します。使用を開始するには、背面カメラを押して話している人の顔をスキャンし、目、眉、鼻、口などのさまざまな特徴とそれらの間の位置を識別します。

これが完了したら、機械学習を適用する人工知能の出番となり、部分的または完全な障害を持つ人々が話している相手の表情を識別できるようになります。

これを行うために、アルゴリズムは感情 (さまざまな表情の顔が写ったさまざまな画像を見て識別することを以前に学習しました) を解釈し、アプリケーションがリアルタイムおよびオフラインでモバイル スピーカーで再生する音に変換します。

ファーウェイは、視覚障害者のニーズの調査に専念するポーランド視覚障害者協会組織と協力してこのアプリを開発しました。サウンドクリップは作曲家トマシュ・ビレッキ氏の作品で、ファーウェイによれば「短く、簡潔、シンプルで、ユーザーとその環境にとって非侵襲的」だという。

感情と向き合う Huawei 2 アプリ

ファーウェイは、アプリに加えて、杖が必要な視覚障害者がハンズフリーでアプリを使用できるように設計された 3D プリント サポートも開発しました。ファイルはShapewaysから無料でダウンロードできます。

ファーウェイが何らかの障害を持つ人々向けのアプリケーションを開発するのはこれが初めてではない。実際、この中国企業はすでに、聴覚障害のある子供が両親と一緒に手話で児童書を読めるようにするStorySign を開発している。

経由 | Android コミュニティ

ファーウェイ、顔の表情を音に変換する視覚障害者向けアプリを開発・関連動画