AI、ニューラルネットワーク、手書き認識

2D 言語用の AI をトレーニング

漢字の認識

MyScript は何年にもわたって、二次元言語、特に中国語の表意文字（漢字）を分析および解釈するためのさまざまなテクノロジーを開発してきました。

この分野のほとんどの競合他社は、決定木の手法を使用して漢字を区別および解釈していましたが、弊社はニューラルネットワークを 2 倍の規模にし、30,000 を超える表意文字を認識できるようにエンジンをトレーニングしました。

研究チームがこのような大規模なネットワークのトレーニングに成功したのは初めてでした。これは、大規模なデータ収集キャンペーンによって、過去に類を見ない最大の手書き漢字データセットを手に入れることができたからです。

弊社は、このデータを使用して、漢字の構造を利用した新しいニューラルアーキテクチャを開発したのです。また、処理時間を短縮するために、特殊なクラスタリング手法も統合しました。 これらのイノベーションにより、キーボード入力が困難で実現しにくいような市場に、新しいレベルの手書き認識を提供できるようになりました。 また、日本語、ヒンディー語、韓国語などの他の言語にも同等のサポートを追加することができました。

数式の認識

ニューラルネットワークを使用して世界のさまざまな言語を分析および認識できたことで、新しい目標が見えてきました。それは数式の認識です。

正規言語が文字と単語からなる構造シーケンスを持っているのに対し、二次元（または視覚）言語は、ノード間に空間的関係を持つツリーまたはグラフ構造によってより適切に説明できることがよくあります。 弊社の数式認識システムは、テキストの場合と同様、最良の認識候補を生成するために、セグメント化、認識、文法や意味の分析を同時に同じレベルで処理する必要があるという原則に基づいて構築されています。

このシステムは、特化された特定の文法に定められた規則に従って、数式のあらゆる部分における空間的関係を分析し、その分析を使用してセグメント化を決定します。 文法自体は、式の解析方法を説明する一連の規則で構成されており、各規則はそれぞれ特定の空間的関係に関連付けられています。 たとえば、分数規則は、分子、括線、および分母の間の垂直関係を定義するものです。

非構造メモの理解

数式をすばやく正確に認識することで、手書きメモのレイアウトとコンテンツに関連する新しい可能性が生まれました。

弊社の認識エンジンが数式の各部分間における空間的関係を正しく解釈できれば、テキスト以外のコンテンツも正確に識別できるかもしれないと考えたのです。 もしそうであるなら、弊社の技術を使用して、手描きのダイアグラムなどの要素を正確に識別し、さらには美化することで、構造化されていないメモが原因で発生する問題を排除していくことができます。

弊社は、このようなタスクにはグラフベースのニューラルネットワーク（GNN）アーキテクチャが適していると確信していました。 基本的には、文書全体をグラフとしてモデル化するという考え方です。ストロークはノードで表され、エッジによって隣接するストロークにつなげられます。

この方法でメモのコンテンツを分析する場合、GNN はすべてのストロークをテキストまたは非テキストとして分類する必要があります。 これは、各ストロークの固有のフィーチャーを分析し、必要に応じてストロークに隣接するエッジとノードによって提供されるコンテキスト情報を考慮することによって実現されます。

GNN 内の 1 つの層では、1 つのノードのフィーチャーが隣接するノードのフィーチャーと組み合わされて、より高いレベルのフィーチャーを表す数値のベクトルが生成されます。 畳み込みニューラルネットワークの場合と同様に、いくつかの層を積み重ねれば、さらに多くのグローバルフィーチャーを抽出できます。これにより、ストロークがテキストストロークを構成するかどうかに関して、より多くの情報に基づいた決定が可能となります。 たとえば、次のダイアグラムでは、左端の 2 本の垂直線は同じように見えます。GNN は、隣接するストロークからのコンテキスト情報を統合することによってのみ、左端のストロークが幾何学的な正方形の一部であり、その横のストロークは文字「T」の一部であるとして、それらのストロークを（出力層で）分類できます。

ディープラーニングと encoder-decoder モデル

テキストと数式を認識できる最高のシステムを 2 つ提供するだけでは十分でない場合もあります。特に科学分野で仕事または研究をしているユーザーにとってはそうです。 これらのユーザーは、書き込み中のテキストの一部として（ページ内の別のスペースではなく）インラインで数式を書き込むことがよくあるため、認識エンジンがそれらの両方を正しく解釈してくれることを期待しています。

したがって、数式が混在する文字や単語を認識できるシステムを設計することが課題でした。つまり、自然な一次元言語（テキスト）と二次元言語（数式）が組み合わさったものを分析することです。

ディープラーニングが普及してくるとともに、新しいニューラルネットワークアーキテクチャが登場しました。 そして、それらの 1 つである encoder-decoder が、seq2seq 変換問題を解決する手段として注目を浴びてきました。 可変長の入力と出力を処理できるため、最先端の手法として、音声認識などの手書き認識に近い分野で利用されるようになったのです。 encoder-decoder システムの主な利点は、各要素がそれぞれ個別にトレーニングされるのではなく、モデル全体がエンドツーエンドでトレーニングされることです。 例を挙げるとすれば、畳み込みニューラルネットワーク層、リカレントニューラルネットワーク層、LSTM ユニット（Long Short-Term Memory）、Transformer モデルでよく使用される注意ベースの層など、いくつかのアーキテクチャを採用できます。

弊社の場合、encoder-decoder の入力は、手書きのペンストロークの軌跡を表す一連の座標です。 出力は、LaTeX 記号で表される、認識された文字のシーケンスです（たとえば、x² の代わりに x^2、または分数の代わりに(\frac{ })）。