iPhone ARセルフィーレボリューション

それはあなたの顔全体にARKitですか?

Appleは9月12日に、まったく新しいiPhoneを発表するために、まったく新しい宇宙船キャンパスの敷地内にあるまったく新しいSteve Jobs Theaterでイベントを開催します。ブルームバーグのマークガーマンは、予想されることを詳述した記事を多数書いています(そして最新の記事はかなり注目されるようです)。

  • 現在のiPhone 7およびiPhone 7 Plusとほぼ同じ外観のプロセッサを強化した2つの新しいiPhone。 7sおよび7s Plus、または8および8 Plusと呼ばれることもあります。知るか。
  • 端から端まで、より高いOLEDスクリーン、ホームボタンなし、新しい前面センサーを備えた再設計されたハイエンドiPhone。プレミアム、エディション、プロ、Xなどと呼ばれることもあります。

iOS 11の大規模なアップデート(iPadの場合は巨大、iPhoneの場合はそれほど大きくありません)については多くのことが言われていますが、本人確認を行い、ロックを解除できることは明らかですが、顔のロック解除の意味を掘り下げた記事はほとんどありませんあなたの顔の電話。

これは新しいiPhoneの主力機能であり、Appleが将来の拡張現実に大きな影響を与える未来の顔スキャンセンサーで競合他社を飛躍させると思います。

フェイスアンロックテクノロジー、アップルスタイル

2011年以降、一部のAndroidスマートフォンでは顔のロック解除が行われています。基本的に、スマートフォンは正面カメラを使用して顔の2D写真を撮影し、ソフトウェアを使用してユーザーが自分と思われる以前に撮影した写真と数学的に比較します。 Androidのフェイスロック解除は、開始以来遅くて安全ではなく、Samsungの主力製品であるS8スマートフォンでさえ、写真を持ってロックを解除することができるため、明らかにあまり良い技術ではありません。

そして、本物の代わりにあなたの顔の写真で打ち負かされる可能性がある場合、Appleが新しいトップエンドのiPhoneにフェイスアンロックを含める方法は絶対にありません。

過去数か月間、この技術について多くのおしゃべりがありましたが、通常、iPhoneのその他のうわさの新機能に関する大きな記事に埋もれています。

7月に書かれたブルームバーグの記事から:

Appleは、ユーザーがログインして支払いを認証し、顔をスキャンして安全なアプリを起動できるようにする改良されたセキュリティシステムをテストしています。これには新しい3Dセンサーが搭載されており、まだ開発中の技術について議論することはできません。同社はまた、システムを強化するためにアイスキャンをテストしていると、ある人は言いました。

目の動きも追跡できる真新しい3D深度センサー。

速度はどうですか?

センサーの速度と精度は、機能の焦点です。ユーザーの顔をスキャンして、数百ミリ秒以内にiPhoneのロックを解除できると同氏は述べています。デバイスを顔に近づけるのではなく、テーブルの上に平らに置いても機能するように設計されています。

超早い。 Touch IDと同じかそれより高速。繰り返しますが、速度が遅い場合、Appleは青信号になりません。

そして、8月からのこの新しいセンサーに関するWSJの記事から:

一般に「構造化された光」と呼ばれる深度検知テクノロジーは、人の顔やその他のターゲットに数千の小さな赤外線ドットを吹き付けます。
このドットのフィールドの歪みを読み取ることで、カメラは超正確な深度情報を収集します。携帯電話のカメラは赤外線を見ることができますが、人間は見ることができないので、そのようなシステムは完全な暗闇の中で電話のロックを解除することができます。

ユーザーの顔をスキャンして、非常に正確な3D深度マップを生成する、暗い場所(または暗い場所)で機能する赤外線ドット。

上記の視線追跡について詳しく見てみましょう。 Appleが本当に大きなことをしていることを示すものはありますか?うん、アップルは今年初めにSensoMotoric Instrumentsを買収しました。SensoMotoricInstrumentsは20年以上にわたって深刻な視線追跡技術を構築してきました。

1991年に設立されたSensoMotoric Instrumentsは、仮想現実および拡張現実、車内システム、臨床研究、認知訓練、言語学、神経科学、身体訓練、生体力学など、いくつかの使用分野向けにさまざまな視線追跡ハードウェアおよびソフトウェアを開発しました。心理学。

アイトラッキングテクノロジーの詳細:

たとえば、同社のアイトラッキングメガネは、最大120Hzのサンプリングレートで、リアルタイムおよび実世界の状況で人の自然な視線の動きを記録できます。 […] SensoMotoricは、Oculus Riftなどの仮想現実ヘッドセット用の視線追跡技術も開発しました。これにより、着用者の視線を分析し、VRの一般的な副作用である乗り物酔いを軽減できます。このソリューションでは、人の視線でメニューを制御したり、視線でゲームを狙ったりすることもできます。

ユーザーが視覚目標を一byするだけでソフトウェアインターフェイスを制御できるような詳細なレベルでの目の動きのリアルタイム120Hzトラッキング。

ちょっと待って!今年の夏、WWDCでAppleは、開発者により高度な顔認識機能を提供する多くのAPIを導入しました。

Vision Frameworkを使用すると、顔の四角形と顔のランドマーク(顔の輪郭、正中線、目、眉、鼻、唇、瞳孔の位置)を検出できます

この発表されたAPIを超えて、新しいiPhoneがあなたがそれを見ているかどうかを認識し、通知音を抑制することも明らかになりました。

これらすべての情報をつなぎ合わせることで、ハイエンドiPhoneの新しい顔識別機能の背後にある技術の出現が始まります。

  • 赤外線を使用して、ユーザーの顔とその周辺の非常に詳細な3Dスキャンを生成する専用センサー
  • 改善された前面カメラ(または複数のカメラ)は、より忠実な写真を撮影し、より高いフレームレートでビデオを記録します。
  • 非常に暗い場所でも、Touch IDよりも高速で安全なロック解除と支払い承認
  • 目の動きを追跡および解読し、注意力、注意力などを判断できる高度な新しい画像処理機能

これらは、携帯電話のロックを解除する新しい方法の単なる原料ではありません。これらは、他の誰も構築していない真に未来的なテクノロジーの基本的な要素です。

ロック解除を超える方法

ユーザーは、顔だけでiPhoneのロックを解除できます。彼らは、自分の顔を認証として使用して購入することができます。

これらの2つの機能は、新しいトップエンドのiPhoneが新しいカメラとセンサーでできることの最もエキサイティングな側面になると思います。

過去2年間、消費者の技術の世界は、写真にオブジェクトや効果を重ねたり、ファンハウスミラーのように直接歪ませたりするセルフィーレンズに夢中になりました。 Snapchatは早くからこの分野のパイオニアでしたが、2015年9月にLookeryを1億5,000万ドルで買収したことで、セルフィーレンズの技術スタックを強化しました。

疑わしいイベントの変わり目に、Snapchatがレンズをローンチしたように、SelfieアニメーションアプリのLookeryが今朝App Storeから消えました。ミームアーティストのRonen Vは、LensesがLookeryのテクノロジーと同じように見えることを教えてくれました。私が問い合わせた後、Snapchatは実際にLookseryを買収したことを確認し、LookseryチームはSnapchatに加わりました。

数か月後、ベラルーシの小さなチームからMSQRD(マスカレード)と呼ばれる自撮りフィルターアプリが出てきて、App Storeを引き継ぎました。非常にシンプルなデザインでしたが、当時のSnapchatの機能の忠実さと豊富さをはるかに超えるフィルターとエフェクトを備えていました。ローンチからわずか数か月でFacebookに買収される前、彼らは口コミで2500万回以上のダウンロードを達成しました。

それで、これはすべて新しいiPhoneと関係があるのでしょうか?

まず、セルフィーレンズのすべての革新は、より高度な画像処理技術を使用するソフトウェアに純粋に基づいており、顔の2D写真をリアルタイムで処理および変更できる3Dメッシュに変換します。 iPhoneの前面カメラの解像度は背面カメラほど高くないため、1080Pで記録できても、少なくとも背面カメラと比較して、高フレームレート、高解像度のサンプリングには対応していません。 4Kで録画でき、ARKitに電力を供給する対面カメラ。

新しいトップエンドのiPhoneが登場すると、フロントカメラとリアカメラの両方が60FPSで4K解像度のビデオの録画をサポートすると噂されています。 。 9to5Macの発言は次のとおりです。

特にリアカメラでは、60 FPSへのジャンプは、いくつかのフロントで理にかなっています。 1つには、Appleはほとんどの場合、ハードウェアの反復ごとにiPhoneカメラを改善し、60 FPSのサポートが次のステップアップです。 iPhone 8は、AppleのARKitフレームワークの一部として拡張現実機能のホストを提供することも期待されており、60 FPSサポートにより、追跡の改善などのARの改善が可能になります。

Appleが携帯電話の前面に3D深度センサーを搭載することを計画していなかったとしても、前面カメラの解像度とフレームレートのこれらのうわさの改善は、セルフィーレンズの忠実度とリアリズムに大きな影響を与えます。使用するデータが増えると、メッシュを開発するための顔とエッジの検出が改善され、処理と追跡が改善されます。

しかし!この新しい高解像度カメラは信じられないほどの赤外線顔スキャンセンサーのすぐ隣にあるため、開発者は山のような画像データをふるいにかけて誰かの顔がどこにあるかを把握する必要がなく、3Dからのデータを使用するだけですセンサーは、誰かの最も微細な顔の細部が3D空間のどこにあるかを明確に認識し、今日の拡張現実で可能なことから扉を吹き飛ばします。

私の頭のすぐ上に、可能性があるだけでなく、新しいトップエンドのiPhoneで簡単になる可能性がある、おかしなものをいくつか紹介します。

  • ユーザーがアプリを使用しているときにどこを見ているかを知る。インターフェイスのファセットを完全に注視によって誘導するため、触れる必要はありません。
  • ユーザーの顔からの信じられないほどの生体情報と健康情報。 2013年、科学者は人の脈拍をビデオで分析することで判断できました。確かに、Appleはこれに関するあらゆる可能性を検討しました。
  • モーションキャプチャーによって現在実現されている映画のCGIエフェクトに似た忠実度とグラフィックの詳細を備えた完全没入型のセルフィーARエフェクト。ゼロラグ、高解像度の自撮りレンズは、今日の可能性をはるかに超えています。
  • 現在使用しているソフトウェアを変更する顔の動きと感情認識。悲しそうに見える場合、アプリはそれを認識し、機能を変更または適応させることができます。友人に送ったばかりのGIFが実際に彼らを笑わせたり笑ったりさせたかどうかを想像してみてください。なぜなら、彼らのiPhoneは彼らが経験した反応を正確に知っているからです。
  • アプリや広告主が実際にバナーを見たかどうかを知るモバイル広告の革命。このデータは、現在広告主が受け取っているどの指標よりも価値がありますが、かなり悪影響を及ぼす可能性があります。

これらは思いついたいくつかのことですが、これらの新しいテクノロジーが導入され、Appleが提供するAPIが開発者に提供され、それらにアクセスできるようになり、数え切れないほどの魅力的な体験(これまでにない!)がまもなく届きます。 Appleは、数人のサードパーティ開発者と協力して、今後のAppleイベントのキラーデモを構築し、世界に何ができるかを味わっているかもしれません。

新しいiPhoneは9月12日に発表される予定ですので、将来を見るのにそれほど長く待つ必要はないでしょう。