技术

自然数字手写的用户体验

先进的 AI 将手写技术融入数字世界,但启发式的用户体验使得它成为功能最丰富的工具之一。

用户体验的重要性

UX 是“用户体验”的简称,意指与应用程序、产品或系统的交互体验。 在软件开发中,用户体验通常是这两个密切相关的学科的重点:用户体验研究和用户体验设计。

用户体验研究

MyScript 开展了用户体验研究,以了解人们喜欢手写的原因和背景。 我们还研究人们在纸上或数字设备上手写时的期望、需求和行为。

借助一系列统计和定性技术(从访谈和调查到日常活动研究、基准测试和可用性测试),我们的用户体验研究人员收集大量数据并进行分类和分析。 然后开发详细的角色(不同类型用户的模型)和历程图(显示用户在应用程序中执行任务时的路线),其中涵盖各种企业中最重要的需求。

用户体验设计

我们的用户体验设计师使用用户体验研究所确定的角色和历程,来对满足用户需求的解决方案进行创新。 他们负责研讨、提出潜在设计方案并制作原型,同时帮助确保设计更新也符合法律、商业和其它要求(如本地化)。

虽然这听起来简单易懂,但往往用户的需求或问题并没有简单的解决方案,在采用 AI 时更是如此。 这就是对用户体验团队来说更具挑战性(也更有趣!)的地方。

为阐明这些挑战,我们来深入了解一下 MyScript 的用户体验如何帮助塑造和界定我们的核心产品。

提升数字笔画的功用

我们在 1998 年开始开发 AI 驱动的数字笔画时,主要关注点是手写识别的准确性和速度。 但我们知道,这并非全部。

虽然市面上的数字笔画有很多,但大多数的能力有限:它们将用户的笔划作为静态图像进行捕捉。 这些笔划可以调整大小或在页面上移动,但别无其它功能。 结果就是手写输入与页面上的其它输入格格不入 - 最为明显的就是输入的文本。

因此,在开发一种能够以非凡的准确度识别和转换手写体的 AI 引擎时,我们也在问自己:数字笔画还有哪些可能和哪些作用? 它还能在哪些方面让用户受益,并胜过传统的纸墨?

查阅现有文献后,我们理解了为什么人们不是输入、听写或使用其它数字输入,而是选择用手书写或绘图。 于是,我们开始尝试将数字笔画的视野扩大到手写识别之外。 我们扩大了重点,纳入了通过笔势进行响应和编辑的能力。虽然我们取得了良好进展,但很快就发现,单凭 AI 无法克服这些挑战。 我们需要同时关注启发式的智能用户体验设计。

自然有效的输入

在我们当时开展工作的时候,使用的五花八门的数字设备激增,当时手写的地位和未来难料。 因此我们加强了研究,在很长一段时间里采访了来自不同社会和职业背景的人士,以了解他们在日常生活中如何手写。

我们研究了成千上万的真实笔记(纸质和数字版),并组织了涉及成千上万受访者的详细调查。 值得注意的是,尽管数字设备激增,但我们最初的假设却一再被证实:手写内容有显著而又独特的优点,包括提升表达自由度和增强记忆等等。

用纸笔记录非线性的想法或者脑力激荡比用键盘要容易得多;手写数学方程式或乐谱也是如此。 而且,用手绘制图表往往比用鼠标更容易。 书写往往不仅仅是创造成品内容:它也是一种思考方式。 我们在用手书写或绘图时,我们的想法会更无拘无束和更有组织地发展变化。

数字内容的优势

但手写内容也带来了局限性和挫折感。

我们的研究表明,纸质笔记往往不能与数字化工具和资源干净利落地整合。 人们会遗漏纸片上潦草的信息。 当他们输入手写的会议记录或在 PowerPoint 或 Keynote 中重新绘制草图时,会因为抄写而损失宝贵的时间。 他们的笔记往往起初时很好,然后变得越来越混乱和难以理解,因为空间不足或犯了无法擦除的错误。 在信息检索、整理、便携性、编辑和连接方面,手写的数字替代方式通常更有效。

如果两种输入法都能提供同样独特的生产力和可用性优势,人们何必在这两种不同的输入法之间做出选择? 我们看到了机会,那就是打造一种能完美融合纸质书写和数字化书写优势的最佳解决方案。

了解用例

在我们的研究中,我们还研究了传统数字输入法看似不灵便,而手写(甚至只用一个手指)可能被证明有利的情况。

车载显示器和信息娱乐系统就是一个好例子:按钮、表盘和触摸屏键盘会分散司机的注意力,对安全构成威胁。 即便是语音识别也有大缺点 - 汽车通常充满背景噪音,而且这一技术还不够准确,无法避免频繁出现的错误。 如果司机不得不分散自身注意力来解决识别错误,后果可能极其严重。

如果司机只要用手指就能写出指令,同时眼观路况,会怎么样呢? 这当然会有难度 - 首先,软件需要能够分离和理解叠加的字符。 但这种解决方案的优点良多,并且潜在应用广泛 - 尤其是对于屏幕极小的智能手表。

另一个例子是创建图表。 为报告或演示文稿绘制图表时,用户通常需要掌握一种单独的应用程序,或者精通他们已经熟悉的应用程序(如 Microsoft Word)。 如果我们的技术能够帮助他们用笔创建图表,然后轻按几下就能将其转换为完美的形状、直线和输入的文本,那会怎么样呢?

此外,如果转换后的图表是响应式的图表,元素移动时会自动调整接口点的大小,那会怎么样? 更妙的是,如果手绘图表在复制粘贴到常用的演示文稿程序(如 PowerPoint 或 Keynote)时能自动转换,又会怎样呢?

我们正在形成一种全新的数字笔画局面 - 它为用户提供的不仅仅是手写识别和从手写体转换为文本。

从了解到设想

在通过严谨的用户体验研究确定用户需求后,我们现在的目标很明确,那就是确保我们的数字笔画成为自然手写优点和数字内容力量之间“缺失的一环”。 将二者结合起来可以大大提高生产力 - 但这需要的不仅仅是 AI。 我们还需要智能、深思熟虑、创新的用户体验设计。

交互性和生产力

我们采取的第一步就是界定我们的数字笔画比市面上其它产品更进一步的方式。 我们的用户体验团队与开发团队及产品经理密切合作,设想了一种提供三大创新的“互动笔画”:多模式、可编辑性和反应灵敏。

多模式

我们希望数字笔画能够宛如输入的文本般运作,而不是采取独立的内容形式。 因此,我们将软件设计为以相同的方式处理不同种类的文本输入,支持用户在同一个文稿、段落、句子或单词中混用手写和输入。 在我们的数字笔记应用程序 - Nebo 中,您可以亲眼见证这一点。

Nebo 的标准页面为创建结构化的线性笔记和文稿而设计,手写和输入的内容可以根据需要进行混合、合并和转换。 用户可以添加各种“对象”(图表、数学、草图等)来丰富笔记,丝毫不会影响到手写识别的准确性。

事实上,使用这些对象涉及我们目前面临的最大挑战之一:如何让用户在数字页面上完全随心所欲地混合文本和非文本内容,并且不损失任何一方的功能。 我们在 2020 年底推出的 Nebo 自由绘图页面以及后续的发展变化,充分体现了我们对实现这一目标的重视。

自由绘图页面是一种无限版面,用户从中可以自由书写和绘制,对内容位置没有任何限制,而且不存在自动数字处理可能造成的潜在分心。 这样一来,它成为了脑力激荡会议或自由演讲笔记等用例的绝佳解决方案,因为在这些用例中,用户不太关注线性结构和纯文本内容。

我们目前正在努力创建自由绘图页面的下一次迭代,届时用户能够输入、听写甚至将手写体转换为输入文本 - 进一步缩小模拟输入和数字输入之间的差距。

可编辑性

我们还希望“互动笔画”能够为手写内容带来充分的数字灵活性。 手写内容必须保持可以全面编辑的状态,直到只有个别笔划为止 - 而且必须可以用您的笔进行编辑。

我们进行了大量研究,并在 AI 团队的帮助下,实施了一套非常直观的笔势,用户很快就能学会使用:勾除可以擦除,从下至上划可以连接,从上至下划可以断开等等。 由于我们的是多模式笔画,因此这些笔势对输入文本和手写文本都有效 - 这是提高我们用户生产力的另一种方式。

反应灵敏

在某些情况下,例如在创建穿插文本、草图、图表和/或数学公式的讲义时,保留内容的原始布局至关重要。

在其它情况下,例如书写将被转换成输入文本并与同事分享的会议记录,在编辑或您在不同设备上查看同步的内容时,内容自动重新排版会更有成效。

因此,反应灵敏是一项特定于背景的要求 - 所以我们的解决方案必须在需要之时反应灵敏,自动适应所有形式的内容(甚至是手写和输入相混合)的布局变化。

Nebo:展示、试验场和解决方案

Nebo 是我们的数字笔记本应用程序。 它由 MyScript SDK AI 引擎驱动,凝聚了我们对卓越手写体验的强调。 它也是我们用户体验解决方案的理想试验场 - 我们从中可以实施和迭代支持和加强我们核心手写识别技术的功能。

我们使用 Nebo 从广泛的数据点收集见解,揭示现实世界的用户如何体验我们的新功能和改进功能。 我们通过分析、用户请求的支持和所请求的功能、应用商店评论、社交媒体参与以及我们的 Insider 计划获取反馈,这些反馈对于塑造我们产品的未来发展非常宝贵。 当然,我们还对 Nebo 的使用模式开展了广泛研究,这样就能确定哪些可行,哪些需要改进,也可以确定新的用例和新的期望。

查看如今的 Nebo,清楚了解其实际意义。 这款应用程序提供超级准确的手写识别和超过 60 种语言的手写实时转换为文本功能。 但它卓越的用户体验设计,将这个已然令人印象深刻的工具转变为一种更全面的促进生产力的体验。

例如借助 Nebo,用户可以使用自然笔势轻松编辑手写内容。 手写内容也反应灵敏,例如手写的会议记录会自动重新排版,以便在各种不同的设备上查看;当通过电子邮件或网络链接与可能在智能手机上查看的同事分享这些内容时,再合适不过了。 Nebo 还可以通过文本“装饰”实现格式化 - 比如用下划线强调文本,或用方框突出显示文本。 用户可以将他们的笔记导出为各种常用格式。

清单中仅列出了部分功能,Nebo 的功能还在不断增多。 但它清楚表明了我们的用户体验团队努力增加和扩展 MyScript SDK 功能的多种途径。 更重要的是,每项功能都有严谨的研究为依托,并通过不断的测试和审查而发展:对于 MyScript 的用户体验团队而言,创新和迭代与实施同样重要。

技术
AI、神经网络和手写识别
技术