AI、神经网络和手写识别

为 2D 语言训练 AI

汉字识别

多年来，MyScript 开发了一系列用于分析和解读二维语言的技术 - 尤其是中文表意文字。

该领域的大多数竞争对手都在使用决策树技术来区分和解读汉字，而我们却在神经网络方面倍加努力，训练我们的引擎来识别 30,000 多个表意文字。

这是一个研究团队第一次成功地训练如此庞大的网络，幕后功臣就是浩大的数据收集活动，该活动收集了有史以来规模最大的手写中文数据集。

我们利用这些数据开发了一种专门利用汉字结构的新型神经架构；此外还整合了一项专门的聚类技术来加快处理时间。 有了这些创新，我们得以为键盘输入仍很困难且有失灵活的市场提供新高度的手写识别。 我们也得以为日语、印地语和韩语等其它语言增添同样水平的支持。

数学识别

在成功运用神经网络分析和识别一系列世界语言之后，新的目标出现了：数学表达式的识别。

常规语言为字符和单词的结构序列，而二维（或视觉）语言通常更适合用节点之间存在空间关系的树状或图形结构来描述。 与文本一样，我们的数学识别系统所依循的原则是：分节、识别、语法和语义分析必须在同一层级并发处理，以产生最佳识别备选项。

该系统根据特定的专用语法中规定的规则，来分析数学方程式所有部分之间的空间关系，然后据此分析来确定分节。 语法本身包括一套描述如何解析方程式的规则，其中每条规则都与特定的空间关系相关。 例如，分数规则定义分子、分数线和分母之间的垂直关系。

理解结构凌乱的笔记

由于能对数学表达式进行准确即时的识别，因而在手写笔记的布局和内容方面开拓了新的可能。

如果我们的识别引擎能够正确解读数学方程式各部分之间的空间关系，它是否也能准确识别非文本内容的类型呢？ 如果是这样，我们就可以开始克服结构凌乱的笔记所带来的问题，利用我们的技术准确识别乃至美化手绘图表等元素。

我们认为，图神经网络 (GNN) 架构非常适合这样的任务。 其基本理念就是将整个文稿作为一个图来建模，其中笔划用节点表示，并通过边连接到相邻笔划。

以这种方式分析笔记内容时，GNN 必须将所有笔划作为文本或非文本分类。 其实现方式就是分析每个笔划的内在特征，并在必要时考虑笔划邻边和相邻节点所提供的上下文信息。

GNN 中的一层将一个节点的特征与其相邻节点的特征结合起来，生成一个代表高层次特征的数值向量。 与卷积神经网络一样，几个层可以堆叠，来提取越来越多的全局特征，从而对一个笔划是否构成文本笔划作出更明智的决定。 例如，下图中最左边的两条竖线看起来相似；只有整合其相邻笔划的上下文信息，GNN 才能（在输出层）分类得出最左边的笔划是一个几何方形的一部分，而旁边的笔划是字符“T”的一部分。

深度学习和编码器-解码器模型

提供纸质书写和数字化书写识别这两个一流系统来识别文字和数学并不总是很充分 - 对于在科学领域工作或学习的用户更是如此。 这类用户时常需要将内联数学作为连续文本的一部分来书写（即不在该页面上的某个单独空间），他们希望识别引擎能正确解读这两种情况。

这一挑战在于设计一种能够识别字符和单词与数学表达式相混合的系统 - 即分析自然单维语言（文本）和二维语言（数学）的组合。

在深度学习浪潮的席卷之下，新的神经网络架构应运而生。 其中的编码器-解码器经常用于解决序列到序列转换的问题。 它可以处理可变长度的输入和输出，成为语音识别等接近手写识别领域最先进的技术。 编码器-解码器系统的关键优势是整个模型进行端到端训练，并非单独训练每个元素。 多种架构都能使用，包括卷积神经网络层、递归神经网络层、长短期记忆单元 (LSTM) 和 Transformer 模型中常用的基于注意力的层（仅举几例）。

在我们的案例中，编码器-解码器的输入是一串代表手写笔划轨迹的坐标。 输出则是一串以 LaTeX 符号形式出现的识别字符（例如，用 x^2 代替 x²，或用 (\frac{ }) 代替分数）。