2015年に発売された眼電位や加速度センサーから身体の情報を読み取るメガネ「JINS MEME(ミーム)」を使い、Vtuber(バーチャルユーチューバー)になるシステムを作った人がいました!
メガネでVtuber!? これは面白い!!
こちらが「JINS MEME」を使った「Vtuberシステム」です。
【世界一(?)スマートにVTuberになるシステム作った】
HMDもWebCameraのFaceトラッキングも使わずに、頭の動き、目の動き、瞬き、口の動きをアバターに同期させています。スマートなので外でもできます!
昨日から作り始めて1日でできました。JINS MEMEすごい!#バーチャルユーチューバー #VTuber pic.twitter.com/EaFPjxwubv— イワケン@ARの人 (@tanaka_lit) 2018年5月4日
「JINS MEME」は、顔との接触部分にある3つのセンサーと、6軸加速度センサーで、電位差(眼電位)や身体の状態変化をキャッチしているそうです。これを活用しアバターを動かすのですね。
APIが解放され、開発者は自由にアプリを開発できるようになってもいました。
データ
・瞬目
・瞬目の時間
・視線方向(8方向のそれぞれVV/VH閾値データ)
・3軸ジャイロセンサーデータ / 3軸加速度センサーデータ
開発の経緯などは【朝起きてからバズるまで】 世界一(?)スマートにVTuberになるシステムをマッハ開発したとしてまとめられています。
またこの後「中の人」とのやりとりもしていました。
中の人です。ありがとうございます!他の方のご質問が多いようなので横から失礼します
・公式対応SDK iOS/Android/(Cordova)
・口の動き 取れません m(_ _)m(音声かと)
・精度 角度は100%。瞬き90%、視線移動80%@静止時ぐらいです。視線は位置ではなく動きを返します。— 菰田 泰生 (@komde) 2018年5月5日
何より「JINS MEME」を使った仕組みは、持ち運びが簡単というのが面白いですよね! 今後の発展に期待です。