これらのジェスチャーは Apple Vision Pro を制御する方法です

May 28, 2023

Apple の新しい「空間コンピューティング」デバイスである Apple Vision Pro には、ハードウェアベースの制御メカニズムがありません。 これは視線追跡と手のジェスチャーを利用して、ユーザーが目の前の仮想空間内のオブジェクトを操作できるようにします。 最近の開発者セッションで、Apple のデザイナーは、Vision Pro で使用できる具体的なジェスチャーと、一部のインタラクションがどのように機能するかを概説しました。

ジェスチャーは目の動きと連動し、Vision Pro の多数のカメラがユーザーが見ている場所を非常に正確に追跡します。 目の位置は、手のジェスチャーを使用して操作したい対象をターゲットにする際の重要な要素になります。 たとえば、アプリのアイコンや画面上の要素を見ると、それがターゲットとなって強調表示され、ジェスチャでフォローアップできます。

手のジェスチャーは大げさである必要はなく、手を膝の上に置いても問題ありません。 実際、Apple はこれを奨励しています。なぜなら、空中に保持されても手や腕が疲れないからです。 カメラは正確な動きを追跡できるため、タップに相当する小さなピンチ ジェスチャのみが必要です。

ヘッドセットはジェスチャーに加えて、エアタイピングなどの手の動きもサポートしますが、デモを受け取った人はまだこの機能を試すことができていないようです。 もちろん、ジェスチャは連携して機能します。描画の作成などを行うには、キャンバス上の点を見て、手でブラシを選択し、空中でジェスチャを使用して描画します。 他の場所を見ている場合は、見ている場所にカーソルをすぐに移動できます。

これらは Apple が説明した 6 つの主要なシステム ジェスチャですが、開発者は他のアクションを実行するアプリ用のカスタム ジェスチャを作成できます。 開発者は、カスタム ジェスチャがシステム ジェスチャや人々が使用する一般的な手の動きとは異なること、および手の負担なくジェスチャを頻繁に繰り返すことができることを確認する必要があります。

手と目のジェスチャを補うために、Bluetooth キーボード、トラックパッド、マウス、ゲーム コントローラーをヘッドセットに接続できます。また、音声ベースの検索ツールやディクテーション ツールもあります。

Vision Pro を試すことができた複数の人々は、その制御システムを「直感的」という同じ言葉で表現しました。 Apple のデザイナーは、「iPhone」や iPad のマルチタッチ ジェスチャと同様に機能するようにこの機能を作成したようで、これまでのところ、反応は良好です。

MacRumors のビデオグラファー、ダン バーベラ氏はヘッドセットを試すことができ、そのコントロールに感銘を受けました。 彼の経験の完全な概要は、YouTube チャンネルでご覧いただけます。