XRkaigiでアイトラッキングについて色々情報集めてきたブログ
ご無沙汰しております。そして今年もよろしくお願いいたします。
未だにFocus３で瞳孔径取れずVIVE ProEyeを使っているアンバサダーです（）
そして未だに卒業も進路も決まっていない博士課程でもあります。ｵｲｵｲｼﾝﾀﾞﾜｱｲﾂ
ついにProEyeが終売になってしまいましたね…
ヘッドマウントディスプレイの中ではかなり寿命長かった方ではないでしょうか
僕の修士・博士課程の研究活動でお世話になりました（o_ _)ｏ））
そしていましばらくお世話になります。
今回はVRでの視線計測は今後どうすればいいんだという話も含め、
XRkaigiに行ってきたレポ(主にHTC NIPPON / Tobii)を書き留めていきます。
XRkaigiきたでー pic.twitter.com/Q7QZTD5CYw
— うめ研究生 (@ume_study) 2024年12月13日
HTC NIPPON
毎年出展されている我らがHTC NIPPONに、今年もご挨拶してきました。
アンバサダー企画を担当されていた政田さんも，若手スタッフの監督のような立ち位置で現場におられたので、色々お話してきました。
ちょうどMillaさんのライブパフォーマンスと被ってしまい、申し訳なく…（笑）
HTC NIPPON @HTCJapan のブースではアバターを使ったパフォーマンスが披露されています🎤
— XR Kaigi 2024 @ 12/11-13 東京ポートシティ竹芝 (@XRKaigi) 2024年12月12日
リアルとメタバースの融合ですね🌟 pic.twitter.com/sb9cjVhLpS
VIVEのヘッドマウントディスプレイとしてProEyeは終売しましたが，
次世代機としてFocus Visionが登場しています。
以下少し愚痴なので読み飛ばし推奨
一世代前のFocus 3は、アイトラッカーが外付けタイプで本体usbに繋ぐ仕様だったことで、スタンドアロンとPCホストの両方に対応（アイトラッカー使用時はＵＳＢポート埋まってるので有線接続不可、Wifi経由で専用アプリ通じて通信してね）という、アイトラッキング機能は使う人多くないし、オマケ要素だぞといった設計思想が想像できる構成でした。買ったけど瞳孔径取れない問題は全然改善されないし有線の代わりにルータ持ち歩くのも億劫だしでProEyeがずっと現役でした。
さらにスタンドアロン型に片足を突っ込んだことでか、OpenXRの波に押されてかは分かりませんが、ProEyeでのアイトラッキングSDK(SRanipal)との互換性を中途半端に実装した後、SDKそのものの公開を停止...(´・ω・｀)
過去の記事で書いたこともある気がしますが、最初互換性保つようランタイムとSDKを更新してくれていたんですが、瞳孔径など一部機能が使えず（なんなら更新したバージョンだとProEye使っても動かない致命的な不具合があったり）
そして公式から「OpenXR使え」となりましたが、ProEyeユーザも強制移行させたいのかSRanipalをダウンロードできないようにしてくれちゃったりしたり。その影響で私のもとにSRanipalランタイムとSDKの共有を依頼するDMがちょくちょく来てたり。もし必要な人いればＤＭ下さい。フツーは製品終売しても一定期間はSDKとかダウンロードできるようにしておくものだと思うんですけど。
研究に使用する場合、被検者に映像提示するなど、検査者がVR環境を制御できる構成が望ましい場合が多くホストＰＣは手元に欲しかったりします。
こんなFocus3への文句の一部を、一意見として希釈して政田さんが本社サイドに挙げてくださっていたことも影響したかも？とのことで，Focus Visionではアイトラッカーは内蔵、Displayport接続も出来る仕様に。
ということでPro Eye終売で後継機探している人はFocus Vision！買おう！(手のひらクルー)
（なんか開発者フォーラムでは、OpenXRが瞳孔径未対応でまだ取れねぇとか投稿あったけど）
ここからは推測。ProEyeは視線計測装置最大手のTobiiのSDKにも対応していたのですが、Focus Visionではそれはなし。後述するTobiiは、ProEye含め色んなHMDに、サッカードやFixationまで分析できるソフトウェアを提供していたのですが…契約更改ならずだったんでしょうかね？ここらへんはもう少し内部の人間じゃないと知りえない話なんでしょうが。
個人的にAzure Kinect(現Femto Bolt)の使い手としては、VIVEトラッカーを使った非装着タイプの骨格推定も期待しているところ。新情報はなかったようですがVRChatユーザを中心に期待する声は大きい様子。KinectはVRを用途の一つとしているだけで設定の簡便さを考えるとVR機器メーカーが出してくれるものの方が使い勝手よさそうですもんね。
研究での計測を想定しても周辺機器との同期収録をクリアするという点でKinectの代替になってほしいところ。
トビー・テクノロジー
今回、年末忙しい中XRkaigiに行く理由となったのがこの会社の出展を見つけたからなんですねー。
Tobiiはスウェーデンに本社を置く、アイトラッキング機器の世界最大手の会社で、
その日本法人が今回ブースを出していました。
これまでもリハビリ系の学会に出展しているところを何度か挨拶していたのですが…今回はコンテンツが聞いたことないものも含んでいて面白そうだったので、見に行ってきました。1ブースのスペースに2人だったのですが、もっと大きなブースでも人くるだろうにと思ったり。
●META Quest2に取り付けられたプロトタイピングツール Tobii Crystal
●既存のヘッドセットを医療アセスメント機器に Tobii Ocumen
●一般的なウェブカメラでアイトラッキング可能な Tobii ネクサス
まず、Tobii Crystalから。これはHMDのレンズ周辺にシールのように貼って使うアイトラッカーモジュール。開発(プロトタイピング)用ですね。一般に提供するようなものでもないようで、本社に連絡して契約する必要があるそうで…。Questシリーズでどうしても視線計測したいけどQuest Pro(視線ベクトルのみ・ARが3より荒い)では機能不足だというマニアックな方は、問い合わせてみては(´・ω・｀)
次にTobii Ocumen。これは前述したProEyeをサポートしていた視線分析機能付きSDKの名称ですね。昔は5台くらいサポートしている機種があったと記憶してますが、今はPico Neo 3 Pro Eye(中華)だけみたい。ProEyeが手に入らないけどTobiiの視線分析したい人はPico Neo買うしかないんじゃないですかねぇ。
最後にTobii ネクサス。これが目当てで行ったと言っても過言ではない。
ProEyeやTobii製アイトラッカーは、どれも赤外線画像から瞳孔を抽出して算出するアルゴリズムを採用していますが、Webカメラベースで視線計測が出来るソフトウェア(Tobii製)となれば興味も出ようというもの。
ここからサンプルもダウンロードして試せるみたいなので、興味があれば
ブースで試させてもらって、色々お話してきましたがやっぱり精度は赤外線式にはまだ及ばない模様。当然よね。キャリブレーション後、注視推定位置が円で画面上にフィードバック表示されるのですが、その円の大きさが赤外線式より少々大きいらしい。ちなみにキャリブレーションはTobiiのゲーム用途のアイトラッカーと同じだった…と思う()。
リアルタイムで注視点位置が計算できているのは変わらず。使用しているWebカメラにサンプリングレートは依存するとのことなので、赤外線式よりハイサンプリングも可能かも？
サンプルには含まれてないのですが、頭部の回旋角も推定可能らしいですよ奥さん。瞳孔径は取れないらしいですが、これはまぁ仕方ないですね。Androidでも使えるらしいのでタブレットとかで今後使えると考えると用途色々ありそう。
ただこれは開発ライセンス（試用期間は評価ライセンス）を年間契約する必要があり…そのお値段は…数千ドル(ﾟДﾟ;)
イヤーきついっす（本音）
自分はWebCameraベースの視線計測を研究で使う機会があり、その時はEyeware(Beam Eye Tracker)というのを使ってました。
こちらも頭部回旋角度を計測できて、機能的にもほぼ同じ。スマホのカメラでも可。steamで対応のゲームも出てたり。
自分はpythonをexe化して起動しておくことで、Unityにデータを流して使ってました。
月5ドル or 買い切り30ドルなのがとても偉い(/・ω・)/
Tobiiのサンプルでは、サッカードや固視の同定もされていたので、ここらへんの分析をお金払ってTobiiに委ねるならTobiiネクサス。視線分析は自分達でやれるという研究者・開発者の人はeyewareで当座は良いんじゃないかな（）
精度は…自分で使っているときは合っている印象だけどどうだろう？
サンプルもあるみたいなので気になる人は試してみては。契約するときに上記のリンクから進んでもらえれば…私がほんの少しeyeware側に認知されて嬉しいです()
訪問しておいて色々失礼すぎる気もしますが…各製品への一意見としてご容赦くださいませ…
他にKinectやFemto Bolt使っているブースの感想も書きたかったのですが、今回はここまで…4月以降私が生きていたらFocus Visionについて書きたい所存…進路ェ…
AIにタイトル考えてもらう機能追加されてたけど、ニュース記事みたいになったので却下した
