Datatang／ジェスチャ識別学習用データ紹介

Datatang

科学技術が発展した今、人々の生活はますますスマートデバイスから離れられなくなっています。HCI（ヒューマン-コンピュータ・インタラクション）の方式は多様化しており、ボタン式、音声コントロール式などがあり、コロナ社会の環境で生まれた非接触HCI式→ジェスチャ識別も大きく発展しています。グラフィックに満ちており、行動性のあるジェスチャーコントロールは人々の生活とより密接な関係になります。

１．ジェスチャ識別の応用シーン
オンライン授業、スマートホーム、スマート運転、手話通訳など非常に幅広いです。

①オンライン授業
配信者、先生とコミュニケーションする時、「OK」は了解、「チェック」は正解、「ハート」は感謝を意味し、カメラに向けて特定なジェスチャを出せば、画面にエフェクト（特殊効果）映されます。

②スマートホーム
スマートホームデバイスとインタラクションする時、指で上下左右スワイプするとテレビチャンネルを回し、エアコンの温度を調整し、「グー」、「パー」のジェスチャを出せば電源のOFF/ONをコントロールできます。

③スマート運転
車載デバイスとインタラクションする時、手を振ったり、指で突いたり、スワイプしたりして、運転手が電話の受信、音量の調整、画面の切換え、マップの拡大縮小などを自由自在に操作できます。

④手話通訳
自然言語処理技術を通じて、聴覚障害者が出した手話単語を識別して文章の筋道を調整した上で自動翻訳を行います。文字もしくは音声で再生することで、聴覚障害者と視覚障害者の間のコミュニケーションできます。

２．ジェスチャ識別データのアノテーション

ジェスチャ識別はアルゴリズム精度により、主に「バウンディングボックス＋ジェスチャ類別ラベル」と「手の21キーポイント＋ジェスチャ類別」２つのアノテーション方法があります。
「バウンディングボックス＋ジェスチャ類別ラベル」の方法は通常簡単なジェスチャかつ限られた予算のニーズに合っていますが、複雑なジェスチャを高精度で識別するニーズであれば、「手の21キーポイント＋ジェスチャ類別」の方法はよく使われます。「21キーポイント」は指の関節を含む21個手の重要箇所です。この21キーポイントで全てのジェスチャを抽象的に再現することができます。

３．ジェスチャアノテーションの課題
実際の応用でジェスチャのアノテーションは3つの課題があります。

①ジェスチャの類別が多い：
人の手は非常に柔軟性があって様々な静態、動態のジェスチャを作れます。類似のジェスチャを識別するには高度なアルゴリズムが必要とされます。

②オクルージョン（遮断）：
ジェスチャを作る時、部分のキーポイントが遮断されます。特に両手のジェスチャ（例え合掌、抱拳礼）は遮断がひどく、特徴量抽出と不可視のキーポイントの予測は難しくなります。

③動態糢糊（モーションブラー）：
動態ジェスチャは一定のモーションブラー現象が起きるためジェスチャ識別の難易度が上がります。

４．Datatangのジェスチャ識別データセット紹介

①314,178枚18種類ジェスチャ識別データ
②558,870本50種類動態ジェスチャ識別データ
③180,718枚手話ジェスチャ識別データ

データの特徴：豊富なジェスチャ種類、多種の収集シーン、多種の撮影角度、多種の光条件、アノテーション情報付き等

ご興味がございましたら、是非お問い合わせください。

会社概要
Datatang株式会社（データ・タング株式会社）
本社：東京都千代田区神田淡路町2-105 ワテラスアネックス6階
TEL:03-6256-8911
お問い合わせ先：sales@datatang.co.jp
ホームページ：http://www.datatang.co.jp/

リリース元：Datatang
URL：http://www.datatang.co.jp/