UX für eine natürliche digitale Handschrift
Fortschrittliche künstliche Intelligenz (KI) bringt die Handschrift in die digitale Welt, aber ein visionäres Benutzererlebnis macht sie zu einem der vielseitigsten Tools
Die Bedeutung des Benutzererlebnisses
UX ist die Abkürzung für „User Experience“ (Benutzererlebnis) und bezieht sich auf das Erlebnis der Interaktion mit einer App, einem Produkt oder einem System. In der Softwareentwicklung steht das Benutzererlebnis typischerweise im Mittelpunkt von zwei eng verwandten Disziplinen: UX-Forschung und UX-Design.
UX-Forschung
Bei MyScript führen wir UX-Forschung durch, um zu verstehen, warum und unter welchen Umständen Menschen lieber mit der Hand schreiben. Wir untersuchen auch die Erwartungen, Bedürfnisse und Verhaltensweisen der Menschen beim Schreiben mit der Hand auf Papier oder einem digitalen Gerät.
Mit einer Reihe von statistischen und qualitativen Techniken (von Interviews und Umfragen bis hin zu Studien über tägliche Aktivitäten, Benchmarking und Usability-Tests) erfassen, sortieren und analysieren unsere UX-Forscher riesige Datenmengen. Anschließend entwickeln sie detaillierte Personas (Modelle verschiedener Benutzertypen) und Journey Maps (die die Wege der Benutzer bei der Ausführung von Aufgaben in einer Anwendung aufzeigen), die die wichtigsten Bedürfnisse in unterschiedlichen Unternehmen abdecken.
UX-Design
Unsere UX-Designer nutzen die durch UX-Forschung ermittelten Personas und Journeys, um innovative Lösungen für die Bedürfnisse der Benutzer zu entwickeln. Sie sind für die Ausarbeitung, den Vorschlag und die Erstellung von Prototypen potenzieller Designlösungen verantwortlich und tragen gleichzeitig dazu bei, sicherzustellen, dass die Designaktualisierungen auch rechtlichen, geschäftlichen und anderen Anforderungen (z. B. Lokalisierung) entsprechen.
Das hört sich zwar einfach an, aber oft gibt es für die Bedürfnisse oder Probleme der Benutzer keine einfachen Lösungen – vor allem, wenn man mit KI arbeitet. An dieser Stelle werden die Dinge für UX-Teams herausfordernder (und interessanter!).
Zur Veranschaulichung dieser Herausforderungen wollen wir einen genaueren Blick darauf werfen, wie das Benutzererlebnis bei MyScript dazu beigetragen hat, unsere Kernprodukte zu gestalten und zu definieren.
Digitale Tinte besser funktionieren lassen
Als wir 1998 mit der Entwicklung unserer KI-gesteuerten digitalen Tinte begannen, lag unser Hauptaugenmerk auf der Genauigkeit und Geschwindigkeit der Handschrifterkennung. Aber wir wussten, dass dies nicht das Ende der Geschichte war.
Es gibt viele digitale Tinten auf dem Markt, aber die meisten sind in ihren Fähigkeiten etwas eingeschränkt: Sie erfassen die von Benutzern gemachten Striche als statische Bilder. Diese können in der Größe verändert oder auf der Seite verschoben werden, aber nicht viel mehr. Dies hat zur Folge, dass handschriftliche Eingaben getrennt von anderen Eingaben auf der Seite vorhanden sind – vor allem von eingegebenem Text.
Während wir also ein KI-Modul entwickelten, das Handschrift mit erstaunlicher Genauigkeit erkennen und konvertieren konnte, fragten wir uns auch: Was könnte digitale Tinte noch sein und tun? Inwiefern könnte sie ihren Benutzern Vorteile bringen und herkömmliches Papier und Tinte übertreffen?
Die vorhandene Literatur half uns zu verstehen, warum Menschen lieber mit der Hand schreiben oder zeichnen als zu tippen, zu diktieren oder andere digitale Eingaben zu verwenden. Also begannen wir zu experimentieren, um die Möglichkeiten der digitalen Tinte über die Handschrifterkennung hinaus auszubauen. Wir erweiterten unseren Fokus auf Funktionen wie Responsivität und Bearbeitbarkeit über Stiftgesten. Doch trotz guter Fortschritte wurde bald klar, dass dies Herausforderungen waren, die die KI nicht allein bewältigen konnte. Wir mussten uns parallel dazu auf gut durchdachtes, intelligentes UX-Design konzentrieren.
Natürliche, effektive Eingabe
Wir arbeiteten in einer Zeit, in der die Verbreitung und Diversifizierung digitaler Geräte exponentiell zunahm und der Status und die Zukunft der Handschrift ungewiss waren. Deshalb haben wir unsere Forschung intensiviert und über längere Zeiträume hinweg Menschen mit unterschiedlichem sozialem und beruflichem Hintergrund befragt, um herauszufinden, wie sie Handschrift in ihrem täglichen Leben verwenden.
Wir haben Tausende echter Notizen (auf Papier und digital) untersucht und detaillierte Umfragen mit Tausenden von Befragten durchgeführt. Und bemerkenswerterweise hat sich unsere Ausgangshypothese trotz der explosionsartigen Verbreitung digitaler Geräte immer wieder bestätigt: Die Erstellung von Inhalten mit der Hand bringt beachtliche und einzigartige Vorteile mit sich, von einer größeren Ausdrucksfreiheit bis hin zu einem besseren Erinnerungsvermögen.
Mit Stift und Papier ist es viel leichter, nicht-lineare Ideen aufzuzeichnen oder Brainstorming über Beziehungen durchzuführen als mit einer Tastatur. Das gilt auch für das Schreiben mathematischer Gleichungen oder von Musiknotationen. Außerdem ist es oft einfacher, Diagramme von Hand zu erstellen als mit der Maus. Beim Schreiben geht es oft um viel mehr als nur um die Erstellung fertiger Inhalte: Es ist eine Art des Denkens. Wenn wir mit der Hand schreiben oder zeichnen, können sich unsere Ideen freier und natürlicher entfalten.
Vorteile digitaler Inhalte
Die manuelle Erstellung von Inhalten bringt jedoch auch Einschränkungen und Frustrationen mit sich.
Unsere Untersuchungen haben gezeigt, dass Papiernotizen oft nicht sauber mit digitalen Werkzeugen und Ressourcen integriert werden können. Die Menschen verloren den Überblick über Informationen, die sie auf Papierschnipsel gekritzelt hatten. Sie verloren wertvolle Zeit mit der Transkription, da sie handschriftliche Protokolle abtippten oder skizzierte Diagramme in PowerPoint oder Keynote neu gestalteten. Ihre Notizen fingen oft gut an, wurden dann aber zunehmend chaotisch und unverständlich, weil ihnen der Platz ausging oder sie Fehler machten, die sie nicht mehr löschen konnten. Digitale Alternativen zur Handschrift waren im Allgemeinen effektiver für das Abrufen, das Organisieren, die Übertragbarkeit und das Bearbeiten von Informationen sowie die Konnektivität.
Warum sollten Menschen zwischen zwei verschiedenen Eingabemethoden wählen müssen, die beide gleichermaßen deutliche Vorteile in Bezug auf Produktivität und Benutzerfreundlichkeit bieten? Wir sahen die Chance, eine Lösung zu schaffen, die das Beste aus beiden Welten bietet.
Anwendungsfälle verstehen
Während unserer Untersuchungen haben wir auch die Umstände betrachtet, unter denen herkömmliche digitale Eingabemethoden unhandlich erschienen und sich das Schreiben mit der Hand (auch nur mit dem Finger) als vorteilhaft erweisen könnte.
Displays und Infotainmentsysteme im Auto sind ein gutes Beispiel: Tasten, Regler und Touchscreen-Tastaturen können den Fahrer ablenken und die Sicherheit gefährden. Selbst die Spracherkennung hat erhebliche Nachteile: In Autos gibt es oft Hintergrundgeräusche und die Technik ist nicht genau genug, um häufige Fehler zu vermeiden. Wenn Fahrer ihre Aufmerksamkeit zur Behebung von Erkennungsfehlern teilen müssen, könnte das schlimme Folgen haben.
Wie wäre es, wenn Fahrer ihre Anweisungen einfach mit dem Finger schreiben könnten, während sie ihre Augen auf der Straße lassen? Das würde sicherlich eine Herausforderung darstellen, denn die Software müsste zunächst einmal in der Lage sein, überlagerte Buchstaben zu trennen und zu verstehen. Die Vorteile und Anwendungsmöglichkeiten einer solchen Lösung wären jedoch erheblich – nicht zuletzt für Smartwatches mit sehr kleinen Bildschirmen.
Ein weiteres Beispiel ist die Diagrammerstellung. Das Zeichnen von Diagrammen für Berichte oder Präsentationen erfordert von Benutzern in der Regel entweder die Beherrschung einer separaten Anwendung oder die Aneignung spezieller Kenntnisse in einer Anwendung, mit der sie bereits vertraut sind (wie Microsoft Word). Was wäre, wenn unsere Technologie es ihnen ermöglichen würde, ein Diagramm mit ihrem Stift zu erstellen und es dann mit ein paar Fingertipps in perfekte Formen, gerade Linien und eingegebenen Text zu konvertieren?
Und was wäre, wenn das konvertierte Diagramm responsiv wäre und die Größe der Verbindungselemente automatisch angepasst würde, wenn Elemente verschoben werden? Noch besser wäre es, wenn das handgezeichnete Diagramm automatisch konvertiert werden könnte, sobald es in eine beliebte Präsentationsanwendung wie PowerPoint oder Keynote kopiert wird.
Wir machten uns ein Bild von einer neuen Art digitaler Tinte – einer Tinte, die dem Benutzer mehr bietet als Handschrifterkennung und Handschrift-in-Text-Konvertierung.
Vom Verstehen zur Vision
Nachdem wir die Bedürfnisse der Benutzer durch gründliche UX-Forschung ermittelt hatten, hatten wir ein klares Ziel vor Augen: Wir wollten sicherstellen, dass unsere digitale Tinte das fehlende Bindeglied zwischen den natürlichen Vorteilen der Handschrift und der Leistungsfähigkeit digitaler Inhalte darstellt. Eine Kombination aus beidem könnte die Produktivität der Menschen erheblich steigern – aber dazu braucht es mehr als nur KI. Wir brauchten intelligentes, durchdachtes und innovatives UX-Design.
Interaktivität und Produktivität
Der erste Schritt, den wir unternommen haben, war die Definition der Möglichkeiten, die unsere digitale Tinte im Vergleich zu anderen auf dem Markt weiter gehen würde. In enger Zusammenarbeit mit unseren Entwicklungsteams und Produktmanagern stellte sich unser UX-Team eine „interaktive Tinte“ vor, die drei wichtige Innovationen bieten sollte: Multimodalität, Bearbeitbarkeit und Responsivität.
Multimodalität
Wir wollten, dass unsere digitale Tinte genauso funktioniert wie eingegebener Text – nicht als separater Inhaltstyp. Deshalb haben wir unsere Software so konzipiert, dass sie verschiedene Texteingabemethoden gleich behandelt und es den Benutzern ermöglicht, Handschrift und eingegebenen Text im selben Dokument, Absatz, Satz oder Wort zu mischen. Davon können Sie sich in Nebo , unserer App für das digitale Notieren von Notizen, selbst überzeugen.
Die normale Seite von Nebo wurde für die Erstellung strukturierter, linearer Notizen und Dokumente konzipiert, in denen handschriftliche und eingegebene Inhalte nach Bedarf gemischt, zusammengeführt und konvertiert werden können. Benutzer können eine Vielzahl von „Objekten“ (Diagramme, mathematische Darstellungen, Skizzen usw.) hinzufügen, um ihre Notizen zu ergänzen, ohne die Genauigkeit der Handschrifterkennung zu beeinträchtigen.
Die Verwendung von Objekten berührt tatsächlich eine der größten Herausforderungen, vor denen wir derzeit stehen: Wie kann es Benutzern ermöglicht werden, Text- und Nicht-Text-Inhalte auf einer digitalen Seite völlig frei und ohne Funktionseinbußen zu mischen? Unser Bestreben, dieses Ziel zu erreichen, zeigt sich am deutlichsten in der Einführung und Weiterentwicklung der Freihandform-Seite von Nebo, die Ende 2020 eingeführt wurde.
Die Freihandform-Seite ist ein unendlicher Arbeitsbereich, in dem Benutzer frei schreiben und zeichnen können, ohne dass die Platzierung ihrer Inhalte eingeschränkt ist – alles ohne die potenzielle Ablenkung, die eine automatische digitale Verarbeitung verursachen kann. Dies macht sie zu einer großartigen Lösung für Anwendungsfälle wie Brainstorming-Sitzungen oder frei formulierte Vorlesungsnotizen, bei denen Benutzer weniger auf eine lineare Struktur und reine Textinhalte achten.
Derzeit arbeiten wir an der nächsten Version der Freihandform-Seite, die es den Benutzern ermöglichen wird, einzugeben, zu diktieren und sogar Handschrift in eingegebenen Text zu konvertieren, um die Lücke zwischen analogen und digitalen Eingaben weiter zu schließen.
Bearbeitbarkeit
Außerdem wollten wir, dass unsere „interaktive Tinte“ handschriftliche Inhalte mit voller digitaler Flexibilität versieht. Die Handschrift musste bis auf die Ebene einzelner Striche vollständig bearbeitbar bleiben – und zwar auch mit Ihrem Stift.
Wir haben viel geforscht und mit Hilfe unseres KI-Teams mehrere Stiftgesten implementiert, die so intuitiv sind, dass sie im Handumdrehen erlernt und angewendet werden können: Ausstreichen zum Löschen, einen von unten nach oben gezogenen Strich zum Zusammenfügen und einen von oben nach unten gezogenen Strich zum Umbrechen usw. Und da unsere Tinte multimodal ist, funktionieren diese Gesten sowohl bei eingegebenem als auch bei handschriftlichem Text – eine weitere Möglichkeit, die Produktivität unserer Benutzer zu steigern.
Responsivität
Unter einigen Umständen, z. B. bei der Erstellung von Vorlesungsnotizen, in denen Text mit Skizzen, Diagrammen und/oder mathematischen Gleichungen gemischt wird, ist es wichtig, das ursprüngliche Layout des Inhalts beizubehalten.
Unter anderen Umständen, z. B. beim Schreiben von Besprechungsprotokollen, die in eingegebenen Text konvertiert und mit Kollegen geteilt werden sollen, ist es produktiver, wenn die Inhalte dynamisch umbrechen, wenn Änderungen vorgenommen werden oder wenn Sie synchronisierte Inhalte auf einem anderen Gerät anzeigen.
Responsivität ist daher eine umstandsabhängige Anforderung. Unsere Lösungen mussten also bei Bedarf responsiv sein und Layoutänderungen bei allen Inhaltstypen (sogar gemischte Hand- und Schreibschrift) automatisch berücksichtigen.
Nebo: Vitrine, Testobjekt und Lösung
Nebo ist unsere digitale Notizblock-App. Sie wird vom KI-Modul des SDK von MyScript unterstützt und ist von unserer Betonung auf ein überragendes Handschrifterlebnis geprägt. Die App ist auch ein ideales Testobjekt für unsere UX-Lösungen – ein Ort, an dem wir Funktionen implementieren und weiterentwickeln können, die unsere Kerntechnologie zur Handschrifterkennung unterstützen und verbessern.
Wir verwenden Nebo, um aus einer Vielzahl von Datenpunkten Erkenntnisse darüber zu gewinnen, wie Benutzer unsere neuen Funktionen und Verbesserungen in der Praxis erleben. Das Feedback, das wir durch Analysen, Support- und Funktionsanfragen, App-Store-Bewertungen, Engagement in den sozialen Medien und unser Insider-Programm erhalten, ist von unschätzbarem Wert für die Entwicklung unserer Produkte. Und natürlich führen wir umfangreiche Untersuchungen zu den Nebo-Anwendungsmustern durch. Sie ermöglichen uns festzustellen, was funktioniert und was verbessert werden muss. Außerdem können wir mit ihnen neuartige Anwendungsfälle und neue Erwartungen ermitteln.
Ein heutiger Blick auf Nebo verdeutlicht, was dies in der Praxis bedeutet. Die App bietet eine äußerst präzise Handschrifterkennung und eine Handschrift-in-Text-Konvertierung in Echtzeit in über 60 Sprachen. Aber ihr UX-Design verwandelt dieses ohnehin schon beeindruckende Tool in ein weitaus ganzheitlicheres und produktivitätssteigerndes Erlebnis.
Mit Nebo können Benutzer beispielsweise Handschrift mühelos mit natürlichen Stiftgesten bearbeiten. Handschriftliche Inhalte sind auch responsiv, d. h., handschriftliche Besprechungsnotizen werden dynamisch umbrochen, damit sie auf verschiedenen Geräten besser lesbar sind. Das ist ideal, wenn Sie sie per E-Mail oder Weblink mit Kollegen teilen, die sie wahrscheinlich auf einem Smartphone lesen. Nebo ermöglicht auch die Formatierung durch Textdekoration wie die Textunterstreichung zur Betonung oder die Texteinrahmung zur Hervorhebung. Außerdem können Benutzer ihre Notizen in zahlreiche gängige Formate exportieren.
Diese Liste ist keineswegs vollständig und der Funktionsumfang von Nebo wird ständig erweitert. Aber sie gibt eine klare Vorstellung von den vielen Möglichkeiten, wie unser UX-Team versucht hat, die Leistungsfähigkeit des SDK von MyScript zu steigern und zu erweitern. Darüber hinaus wird jede Funktion durch gründliche Forschung unterstützt und durch ständiges Testen und Überprüfen weiterentwickelt: Für das UX-Team bei MyScript sind Innovation und Iteration genauso wichtig wie die Implementierung.
