「口パク(パラトグラフィ)」でハンズフリー入力が可能に。精度は驚きの97%
スマートフォンの便利な機能の一つである、音声入力。その名の通り自分の音声で文字入力を行うことが可能で、日々使用している方も多いだろう。しかしこの音声入力、電車の車内や講義中の教室の中などでは周りの迷惑になるため使用が難しく、周囲の環境によって使用が制限されることが課題となっている。こうした状況のなか、東京大学・ジョージア工科大学の研究チームは、いわゆる口パク(音を発さずに口だけ動かす)で単語のハンズフリー入力を行うシステム「SilentSpeller」の開発に成功した。早速紹介していこう。入力のカギは「パラトグラフィ」SilentSpellerは、静電容量式のタッチセンサーを搭載した歯科用リテーナーによって舌の動きを検出し、音声を使わずに単語を入力するシステムだ。補綴学で習った「パラトグラフィ」を覚えているだろうか。そう、発音時に舌が口蓋に接触する範囲が、同一の語音ではほぼ一定の形状を示すため、義歯床の口蓋部の形態の確認の際に発音のチェックで用いるあの検査である。SilentSpellerでは、エレクトロパラトグラフィ、すなわち舌と口蓋部との接触をアルジネート粉末などを用いたアナログな方法ではなくデジタルデータとして認識し、どの音を発音したかが分かる仕組みになっているのだ。タイピングの速度や精度は?SilentSpellerは、入力の際に単語そのものではなく、一文字ずつスペルを入力していくことによって単語の識別を行うのが特徴だ。一文字ずつスペル入力を行うことによって、単語単位の認識では区別できなかった同音異義語の判別が出来ることが利点である。研究チームがSilentSpellerの性能を検証したところ、次の結果が得られた。1164語の単語テストにおいて、平均97%の精度を示した。歩きながら入力した107フレーズ(97.5%)と座りながら入力したフレーズ(96.5%)のオフラインでの平均文字精度はほぼ同等であり、歩行の影響はほとんどないことが確認された。7名の参加者によるテキスト入力速度は、平均37ワード/分、精度87%であった。この結果は、スマートフォンのQWERTY文字入力に匹敵するスピードである。今後は小型化・軽量化して実用的に?市民権を得るためには、小型化・軽量化しユーザーが容易に使用できることも欠かせない要件となる。こちらは小型化したプロトタイプのSilentSpellerであり、駆動に必要なバッテリーも歯列と頬の間に設置し口腔内で完結する構造となっている。今後の実用化に期待したい。参考文献1. Naoki Kimura, Tan Gemicioglu, Jonathan Womack, Richard Li, Yuhui Zhao, Abdelkareem Bedri, Zixiong Su, Alex Olwal, Jun Rekimoto, Thad Starner, SilentSpeller: Towards mobile, hands-free, silent speech text entry using electropalatography, CHI '22: Proceedings of the 2022 CHI Conference on Human Factors in Computing SystemsApril 2022 Article No.: 288Pages 1–19