自然なデジタル手書きのための UX

デジタルインクのさらなる活用

1998 年に AI 駆動のデジタルインクの開発を始めたとき、弊社は主に手書き認識の正確さと速さに焦点を置いていました。 しかし、それだけで済まないことはわかっていました。

市場には多くのデジタルインクが出回っていますが、そのほとんどは機能に何らかの限度があります。つまり、これらのデジタルインクは、ユーザーが作成したストロークを静止画像としてキャプチャしているのです。 それらのストロークは、サイズを変更したり、ページ内で移動したりできますが、それ以上のことはできません。 結果的に、手書きのコンテンツはページ内の他のコンテンツ、特にデジタルテキストとは別に存在することになります。

そのため、弊社は、驚異的な精度で手書きを認識して変換できる AI エンジンを開発しながらも、デジタルインクを使って他に何かできないだろうか、 また、他にどのような方法でユーザーに利益をもたらし、従来の紙やインクよりも優れたパフォーマンスを発揮できるだろうかと自問していたのです。

既存の文献は、人々がなぜデジタルコンテンツをタイプ入力、ディクテート、または使用する代わりに手書きを選ぶのかを理解する上で役立ちました。 そこで、弊社は手書き認識を超えてデジタルインクの視野を広げる実験を始めました。 そして、焦点を広げ、ペンジェスチャーによる応答性や編集可能性などの機能を採り入れるようにしたのです。この試みは順調に進んだものの、そのうちすぐに、これらは AI だけでは克服できない課題であることが明らかになりました。 インスピレーションを伴ったインテリジェントな UX デザインにも焦点を当てる必要があったのです。

本来の効果的な入力

デジタル機器の普及や多様化が飛躍的に進む中、手書きの現状や将来が不明確なまま、弊社は作業に取り組んでいました。 そこで弊社は、さまざまな社会的および職業的背景を持つ人々に長期間にわたってインタビューを行い、彼らが日常生活で手書きをどのように使っているかを理解するための調査を強化しました。

弊社は、数千に及ぶ実際のメモ（紙とデジタル）を詳しく調べるとともに、数千人の回答者を対象にした詳細なアンケート調査を実施しました。 そして驚くべきことに、デジタルデバイスの爆発的な急増にもかかわらず、弊社で最初に打ち立てた仮説が幾度となく確認されたのです。つまり、手作業でコンテンツを作成すると、表現の自由度が向上することや、暗記力の強化につながることなど、驚くべきユニークなメリットがもたらされます。

キーボードを使用するよりも、アイデアをさまざまな方向に展開させながら記録したり、ペンと紙を使って関係性をブレインストーミングしたりする方がはるかに簡単です。これは、数式や楽譜を書く場合でも同じことです。 また、ダイアグラムを作成する場合などは、マウスを使うよりも手を使った方が簡単なことが多々あります。 ライティングは完成したコンテンツを作成するだけではなく、思考の一手段です。 私たちのアイデアは、手で文字を書いたり図を描いたりすることによって、より自由に、そしてより自然に進化できるのです。

デジタルコンテンツの利点

しかし、手書きでコンテンツを作成していると、限界やフラストレーションも生じます。

弊社の調査によれば、紙面上のメモをデジタルのツールやリソースに統合しようとするときに、さまざまな問題が発生していることが明らかになりました。 まず、紙面に書き留められた情報は失くしてしまうことがあります。 また、手書きの議事録や改良したスケッチ図を PowerPoint や Keynote にタイプ入力する場合など、文字起こしに貴重な時間を費やさなければなりません。 紙面上のメモは、最初はうまくいくものの、次第に余白が足りなくなったり、間違いをうまく消せなかったりして、秩序がなくなり、理解しにくくなります。 一般に、手書きの代替手段としてのデジタル化は、情報の検索、整理、移植性、編集、および接続性に関してはより効果的でした。

これらの 2 つの入力方法には、それぞれ生産性や使いやすさの点で異なる長所があります。なぜ、どちらか一方の入力方法を選ばなければならないのでしょうか。 そこで弊社は、両方の長所を生かせるソリューションを作成できる可能性に気が付いたのです。

ユースケースの理解

調査中、弊社は従来のデジタル入力方法が扱いにくいと思われる状況や、手で（指だけでも）書くことが有益であると思われる状況についても調べました。

車載用のディスプレイやインフォテインメントシステムが良い例です。ボタン、ダイヤル、タッチスクリーンキーボードは、ドライバーの注意をそらし、安全を脅かす危険性があります。 音声認識にも重大な欠点があります。車内には雑音が多く、現在の技術の精度ではエラーが頻繁に発生してしまいます。 そのような認識エラーをドライバーが修正しなければならないのであれば、ドライバーの注意が散漫し、悲惨な結果を導いてしまう可能性があります。

ドライバーが道路から眼を逸らすことなく指で指示を書くことができたらどうでしょうか。 確かに、これには課題があります。まずソフトウェアは、重ね書きされた文字を分離し、それぞれの文字を理解できる必要があります。 しかし、そのようなソリューションの利点やさまざまな用途の可能性を考えると、これはとても重要なことだと言えます。特に、小さな画面しかないスマートウォッチの場合はそうです。

もう 1 つの例は、ダイアグラムの作成です。 通常、レポートやプレゼンテーション用のダイアグラムを描くには、ユーザーが別のアプリケーションを習得するか、すでに使い慣れているアプリケーション（Microsoft Word など）の専門知識を得る必要があります。 そこで弊社の技術を使って、ユーザーがペンでダイアグラムを作成し、それを数回タップするだけで完璧な図形、直線、およびデジタルテキストに変換できるとしたらどうでしょうか。

また、変換後のダイアグラムが応答型で、要素を移動したときにコネクタのサイズが自動的に調整されるとしたらどうでしょうか。 さらに、手描きのダイアグラムを PowerPoint や Keynote などの人気プレゼンテーションアプリにコピーして貼り付けたときに、そのダイアグラムが自動的に変換されるとしたらどうでしょうか。

弊社は、手書き認識やデジタルテキスト変換以上のものをユーザーに提供する、新しいデジタルインクの構想を練っていたのです。

理解からビジョンへ

厳密な UX リサーチを通じてユーザーのニーズを特定した後、弊社には明確な目的ができました。それは、弊社のデジタルインクを、手書きによる自然な長所とデジタルコンテンツのパワーを結び付ける「ミッシングリンク」として機能させることです。 この 2 つを組み合わせれば、ユーザーの生産性を大幅に引き上げることが可能です。ただし、AI だけでは不十分です。 インテリジェントで、さまざまな配慮がなされた革新的な UX デザインが必要だったのです。

対話性と生産性

弊社が取った最初のステップは、弊社のデジタルインクが市場に出回っている他のインクのさらに先を行くための方法を定義することでした。 弊社の UX チームは、開発チームやプロダクトマネージャーと緊密に連携して、マルチモダリティ、編集可能性、応答性という 3 つの主要イノベーションを提供する「インタラクティブインク」の構想を打ち立てました。

マルチモダリティ

弊社は、弊社のデジタルインクが（別の形態のコンテンツではなく）デジタルテキストと同様に機能するようにしたいと考えていました。 そこで、さまざまな種類のテキスト入力が同様の方法で処理されるようにソフトウェアを設計しました。そうすれば、ユーザーは 1 つの文書、段落、文章、または単語内で手書きコンテンツとデジタルコンテンツを組み合わせることができます。 この機能は、弊社のデジタルメモ作成アプリ「 MyScript Notes 」で見ることができます。

Nebo （現在の MyScript Notes）の通常のページは、構造化されたリニアなメモや文書を作成できるように設計されており、必要に応じて手書きコンテンツとデジタルコンテンツを混合、マージ、および変換できます。 ユーザーは、手書き認識の精度に影響を及ぼすことなく、さまざまな「オブジェクト」（ダイアグラム、数式、スケッチなど）を追加してメモを充実させることができます。

実際、オブジェクトの使用は、現在弊社が直面している最大の課題の 1 つに関連しています。それは、どうすればユーザーがデジタルページ内でテキストとテキスト以外のコンテンツを完全に自由に、そしてどちらの機能も失うことなく混在させられるかということです。 この目標の達成に向けた私たちの取り組みは、2020 年後半に開始された、Nebo のフリーフォームページ（現在の MyScript Notes におけるボード）の導入とその進化に最も顕著に表れています。

フリーフォームページは、コンテンツの配置に制約がなく、また自動のデジタル処理に気を取られることもない、自由に文字を書いたり図を描いたりできる無限のキャンバスです。 これは、ブレーンストーミングセッションや自分専用の講義ノートなど、決まった方向に書かなくてもいいようなコンテンツやテキスト以外のオブジェクトを含むコンテンツの作成に最適なソリューションだと言えます。

現在、弊社はフリーフォームページの次のイテレーションの作成に取り組んでいます。これにより、ユーザーはタイプ入力、ディクテート、さらには手書きをデジタルテキストに変換できるようになり、アナログ入力とデジタル入力とのギャップがさらに埋められます。

編集可能性

弊社はまた、弊社の「インタラクティブインク」を使って、手書きコンテンツにデジタルのような完全な柔軟性をもたらしたいと考えていました。 手書きは個々のストロークのレベルまで完全に編集可能でなければならず、しかもペンを使って編集できる必要がありました。

弊社は膨大な量の調査を実施し、AI チームの助けを借りて、すぐに学習して使えるような一連の直感的なペンジェスチャーを実装しました。たとえば、スクラッチアウトで消去する、上向きのストロークで結合する、下向きのストロークで分割するなどのジェスチャーです。 また、弊社のインクはマルチモーダルであるため、これらのジェスチャーはデジタルテキストと手書きの両方で機能します。これにより、ユーザーの生産性がさらに向上します。

応答性

テキストとスケッチ、ダイアグラム、数式を組み合わせた講義ノートを作成する場合など、状況によっては、コンテンツの元のレイアウトを維持することが重要になります。

また、デジタルテキストに変換してから同僚と共有する予定議事録を作成する場合などは、編集が行われたときや、同期されたコンテンツを別のデバイスで表示するときに、自動的にリフローするコンテンツの方が生産性が上がります。

したがって、応答性は個々の状況に応じた要件だと言えます。そのため、弊社のソリューションは、必要に応じて応答性を提供し、あらゆる形態のコンテンツ（手書きとデジタルテキストが混在する場合も含む）においてレイアウトの変更に自動的に対応できるようにする必要があったのです。

MyScript Notes: ショーケース、テスティンググラウンド、ソリューション

は弊社のデジタルノートブックアプリです。 これは、MyScript SDK AI エンジンを動力源としており、最高の手書きエクスペリエンスを提供できるように作成されています。 また、これは UX ソリューションの理想的なテスティンググラウンドでもあります。ここでは、手書き認識に関する弊社のコア技術をサポートおよび強化する機能を実装してテストできます。

弊社は MyScript Notes を使用して、さまざまなデータポイントからインサイトを収集し、実際のユーザーが新しい機能や強化機能をどのように体験しているかを把握します。 分析、サポート、機能のリクエスト、アプリストアのレビュー、ソーシャルメディアのエンゲージメント、インサイダープログラムを通じて得られるフィードバックは、今後の製品開発を方向付ける上でとても貴重です。 また、当然のことながら、弊社は MyScript Notes が使用されるパターンについて広範な調査を行っています。これにより、何が機能し、何を改善する必要があるかを判断できるほか、新しいユースケースや価値を見出すことができます。

これが実際に意味することは、最近の MyScript Notes を見れば一目瞭然です。 このアプリは、60 種類以上の言語で、非常に精度の高い手書き認識とリアルタイムのデジタルテキスト変換を提供します。 しかし、それほど優れたツールでさえ、UX デザインを採り入れることによって、さらに生産性をレベルアップできるのです。

たとえば、MyScript Notes を使用すると、ユーザーは自然なペンジェスチャーを使用して手書きコンテンツを簡単に編集できます。 手書きコンテンツも応答型であるため、たとえば、手書きの会議メモは自動的にリフローして、さまざまなデバイスで見やすく表示されます。この機能は、それらのメモをメールや Web リンクを通じて同僚と共有し、その同僚がメモをスマートフォンで見るような場合に最適です。 MyScript Notes では、テキストの「装飾」による書式設定も可能です。たとえば、テキストに下線を付けて強調したり、テキストをボックスで囲んでハイライトしたりできます。 また、ユーザーはメモをさまざまな形式にエクスポートできます。

MyScript Notes の機能セットはこれだけではなく、常に増え続けています。 しかし、これらの機能を見れば、弊社の UX チームがどのように MyScript SDKの力を増幅・拡張しようと努めてきたかが分かります。 さらに、これらの機能はすべて厳密なリサーチに裏打ちされており、継続的なテストやレビューを通じて進化しています。MyScript の UX チームにとって、イノベーションとイテレーションは実装と同じくらい重要なのです。