Tecnologia

UX para escrita à mão digital natural

A escrita à mão entra no mundo digital com uma IA avançada e se torna uma das ferramentas mais versáteis com uma UX inspiradora

A importância da UX

UX é abreviação da expressão em inglês "user experience", traduzida como experiência do usuário, e se refere à experiência de interagir com um aplicativo, produto ou sistema. No desenvolvimento de software, a UX é normalmente o foco de duas disciplinas intimamente relacionadas: pesquisa de UX e design de UX.

Pesquisa de UX

Na MyScript, realizamos a pesquisa de UX para entender por que e em que contextos as pessoas preferem escrever à mão. Também estudamos as expectativas, necessidades e os comportamentos das pessoas ao escrever à mão em papel ou em um dispositivo digital.

Usando uma variedade de técnicas estatísticas e qualitativas (de entrevistas e pesquisas a estudos de atividades diárias, avaliações de desempenho e testes de usabilidade), nossos pesquisadores de UX coletam, ordenam e analisam enormes quantidades de dados. Em seguida, eles desenvolvem personas (modelos de diferentes tipos de usuários) detalhadas e mapas de jornadas (mostrando as rotas que os usuários pegam ao realizar tarefas em um aplicativo) que abrangem as necessidades mais importantes de uma variedade de empresas.

Design de UX

Nossos desenvolvedores de UX usam as personas e jornadas identificadas pela pesquisa de UX a fim de criar soluções inovadoras de acordo com as necessidades dos usuários. Eles são responsáveis por conduzir grupos de discussão, propor e prototipar possíveis soluções de design, enquanto ajudam a garantir que as atualizações de design também atendam a requisitos legais, de negócios, entre outros (como localização).

Embora isso pareça ser algo direto, muitas vezes as necessidades ou os problemas do usuário não têm soluções simples, particularmente ao trabalhar com IA. É aqui onde as coisas ficam mais desafiadoras (e interessantes!) para as equipes de UX.

Para ilustrar esses desafios, vamos nos aprofundar em como a UX na MyScript ajudou a formar e definir nossos principais produtos.

Fazendo a tinta digital funcionar melhor

Quando começamos a desenvolver nossa tinta digital orientada por IA em 1998, nosso foco principal era a precisão e velocidade de seu reconhecimento de texto escrito à mão. Mas sabíamos que esse não era o fim da história.

Existem muitas tintas digitais no mercado, mas a maioria é de certa forma restrita em suas capacidades: elas capturam os traços feitos pelos usuários como imagens estáticas. Os traços podem ser redimensionados ou movidos pela página, mas não fazem muito mais que isso. O resultado é que as entradas escritas à mão existem separadamente de outras entradas na página – texto digitado, mais notavelmente.

Então, enquanto estávamos desenvolvendo um mecanismo de IA que pudesse reconhecer e converter texto escrito à mão com precisão surpreendente, também nos perguntávamos: o que mais a tinta digital poderia ser e fazer? De que outras maneiras ela poderia beneficiar seus usuários e superar o papel e a tinta tradicionais?

A literatura existente nos ajudou a entender por que as pessoas escolhem escrever ou desenhar à mão, em vez de digitar, ditar ou usar outras entradas digitais. Começamos então a experimentar a expandir os horizontes da tinta digital para além do reconhecimento de texto escrito à mão. Ampliamos nosso foco para incluir recursos como capacidade de resposta e de edição por meio de gestos de caneta. E, embora tenhamos avançado, logo ficou claro que esses eram desafios que a IA não conseguiria superar sozinha. Precisávamos de um foco paralelo em design de UX inspirador e inteligente.

Uma entrada naturalmente efetiva

Estávamos trabalhando em meio a um aumento exponencial na adoção e diversificação de dispositivos digitais, quando o status e futuro da escrita à mão eram incertos. Então, intensificamos nossa pesquisa, entrevistando pessoas de diversas origens sociais e profissionais por longos períodos, para entender como elas usavam a escrita à mão em seu dia a dia.

Estudamos milhares de notas reais (em papel e digitais) e organizamos pesquisas detalhadas envolvendo milhares de participantes. E, notavelmente, apesar da proliferação explosiva de dispositivos digitais, nossa hipótese inicial foi confirmada repetidamente: criar conteúdo à mão traz benefícios notáveis e únicos, da maior liberdade de expressão à memorização aprimorada.

É muito mais fácil registrar ideias não lineares ou fazer brainstorming de relações com caneta e papel do que com um teclado. Isso também se aplica a escrever equações matemáticas ou notações musicais. E é muito mais fácil criar diagramas à mão do que com um mouse. Com frequência, escrever é muito mais do que apenas criar conteúdo finalizado: é um modo de pensar. Quando escrevemos ou desenhamos à mão, nossas ideias podem evoluir de forma mais livre e orgânica.

Vantagens do conteúdo digital

Mas criar conteúdo à mão também apresenta limitações e frustrações.

Nossa pesquisa mostrou que as notas em papel muitas vezes não se integravam de forma limpa com ferramentas e recursos digitais. As pessoas estavam perdendo o controle das informações rabiscadas em pedaços de papel. Estavam perdendo um tempo valioso na transcrição, digitando atas escritas à mão ou reformulando diagramas esboçados no PowerPoint ou Keynote. Suas notas geralmente começavam bem, antes de ficarem cada vez mais caóticas e difíceis de entender, enquanto as pessoas ficavam sem espaço ou cometiam erros que não podiam apagar. As alternativas digitais à escrita à mão eram geralmente mais eficazes para recuperação, organização, portabilidade, edição e conectividade de informações.

Por que as pessoas deveriam escolher entre dois métodos de entrada distintos, sendo que cada um oferece benefícios de produtividade e usabilidade igualmente diferentes? Vimos uma oportunidade de criar uma solução que oferecia o melhor dos dois mundos.

Entendendo os casos de uso

Durante nossa pesquisa, também examinamos contextos em que os métodos de entrada digital tradicional pareciam difíceis de manejar e onde escrever à mão (mesmo com apenas um dedo) poderia ser benéfico.

Telas em carros e sistemas de infoentretenimento automotivo são um bom exemplo: botões, recursos para discagem e teclados de tela sensível ao toque podem distrair os motoristas e representar uma ameaça à segurança. Até mesmo o reconhecimento por voz traz desvantagens significativas, uma vez que os carros geralmente apresentam muitos ruídos de fundo e a tecnologia não é precisa o suficiente para evitar erros frequentes. Se os motoristas tiverem que dividir sua atenção para resolver erros de reconhecimento, as consequências podem ser terríveis.

E se os motoristas pudessem simplesmente escrever suas instruções com um dedo, enquanto mantêm os olhos na estrada? Isso representaria desafios, sem dúvida. Para começar, o software precisaria ser capaz de separar e entender caracteres sobrepostos. Mas os possíveis benefícios e aplicações de tal solução seriam significativos, principalmente para smartwatches com telas minúsculas.

Outro exemplo é a criação de diagramas. Desenhar diagramas para relatórios ou apresentações normalmente exige que os usuários dominem um programa à parte ou obtenham conhecimento especializado em um programa com o qual já estão familiarizados (como o Microsoft Word). E se a nossa tecnologia pudesse permitir que eles criassem um diagrama com suas canetas e o convertessem em formas perfeitas, linhas retas e texto digitado com apenas alguns toques?

Além disso, e se esse diagrama convertido fosse responsivo, redimensionando automaticamente os conectores quando os elementos fossem movidos? Ainda melhor, e se o diagrama desenhado à mão pudesse ser convertido automaticamente quando copiado e colado em um aplicativo de apresentações popular, como PowerPoint ou Keynote?

Estávamos formando uma imagem de um novo tipo de tinta digital, uma que oferecia ao usuário mais do que reconhecimento de texto escrito à mão e conversão de escrita.

Da compreensão à visão

Após identificar as necessidades do usuário por meio de uma rigorosa pesquisa de UX, tínhamos agora um objetivo claro: garantir que nossa tinta digital funcionasse como o "elo perdido" entre os benefícios naturais da escrita à mão e o poder do conteúdo digital. Combinar os dois poderia aumentar seriamente a produtividade das pessoas. Mas seria preciso mais do que apenas IA. Precisávamos de um design de UX inteligente, cuidadoso e inovador.

Interatividade e produtividade

O primeiro passo que demos foi definir as maneiras pelas quais nossa tinta digital iria mais longe do que as outras do mercado. Trabalhando em estreita colaboração com as equipes de desenvolvimento e os gerentes de produto, nossa equipe de UX imaginou uma "tinta interativa" que ofereceria três grandes inovações: multimodalidade, capacidade de edição e capacidade de resposta.

Multimodalidade

Queríamos que nossa tinta digital funcionasse como um texto digitado, e não uma forma separada de conteúdo. Dessa forma, desenvolvemos nosso software para tratar diferentes tipos de entrada de texto da mesma maneira, permitindo que os usuários misturassem escrita à mão e digitação no mesmo documento, parágrafo, frase ou palavra. Você pode ver isso por si mesmo no Nebo , nosso aplicativo de anotações digitais.

A página regular do Nebo foi projetada para a criação de notas e documentos estruturados e lineares, onde o conteúdo escrito à mão e digitado pode ser misturado, mesclado e convertido conforme necessário. Os usuários podem adicionar uma variedade de "objetos" (diagramas, matemática, esboços e assim por diante) para enriquecer suas notas, sem afetar a precisão do reconhecimento de texto escrito à mão.

Na verdade, o uso de objetos toca em um dos maiores desafios que enfrentamos atualmente: como permitir que os usuários misturem conteúdo textual e não textual em uma página digital com total liberdade sem perda de funcionalidade para nenhum dos dois. Nossa ênfase em atingir esse objetivo é mais visível na introdução e evolução da página de forma livre do Nebo, lançada no final de 2020.

A página de forma livre é uma tela infinita que permite aos usuários escrever e desenhar livremente sem restrições no posicionamento de seu conteúdo, e sem a possível distração que o processamento digital automático pode causar. Isso faz dela uma ótima solução para casos de uso como sessões de brainstorming ou anotações mais livres de uma palestra, em que os usuários se concentram menos na estrutura linear e no conteúdo somente de texto.

Estamos trabalhando na criação da próxima iteração da página de formato livre, que possibilitará aos usuários digitar, ditar e até mesmo converter texto escrito à mão em texto digitado, diminuindo ainda mais a lacuna entre entradas analógicas e digitais.

Capacidade de edição

Também queríamos que nossa "tinta interativa" trouxesse flexibilidade digital total ao conteúdo escrito à mão. A escrita à mão tinha que permanecer totalmente editável até o nível de traços individuais e tinha que ser editável com uma caneta.

Conduzimos uma grande quantidade de pesquisas e, com a ajuda da nossa equipe de IA, implementamos um conjunto de gestos de caneta tão intuitivos que podem ser aprendidos e empregados em instantes: rabiscar para apagar, um traço para cima para unir, um para baixo para dividir etc. E, como nossa tinta é multimodal, esses gestos funcionam em texto digitado e escrito à mão; mais uma maneira de aumentar a produtividade dos usuários.

Capacidade de resposta

Em alguns contextos, como ao criar anotações de uma palestra que misturam texto com esboços, diagramas e/ou equações matemáticas, é vital preservar o layout original do seu conteúdo.

Em outros, como ao escrever atas de reuniões que serão convertidas em texto digitado e compartilhadas com colegas, é mais produtivo que o conteúdo se redistribua automaticamente quando as edições forem feitas ou quando você visualizar o conteúdo sincronizado em um dispositivo diferente.

Sendo assim, como a capacidade de resposta é um requisito específico do contexto, nossas soluções precisavam oferecê-la quando necessário, acomodando automaticamente as alterações no layout para todas as formas de conteúdo (até mesmo texto escrito à mão e digitado juntos).

Nebo: demonstração, área de testes e solução

Nebo é o nosso aplicativo de caderno de notas digital. Ele é equipado com o mecanismo de IA do SDK da MyScript e moldado por nosso foco em uma experiência superior de escrita à mão. Ele também é um campo de testes ideal para nossas soluções de UX: um lugar onde podemos implementar e criar iterações para recursos que suportam e aprimoram nossa tecnologia principal de reconhecimento de texto escrito à mão.

Usamos o Nebo para coletar informações de uma ampla variedade de pontos de dados, revelando como os usuários do mundo real experimentam nossos novos recursos e melhorias. Os comentários que obtemos por meio de análises, solicitações de suporte e de recursos feitas pelos usuários, análises de lojas de aplicativos, engajamento em mídias sociais e nosso programa Insider é inestimável para moldar o desenvolvimento futuro de nossos produtos. E, claro, realizamos uma extensa pesquisa sobre os padrões de uso do Nebo, o que nos permite não só determinar o que funciona e o que precisa ser melhorado, mas também identificar novos casos de uso e novas expectativas.

Olhar para o Nebo hoje dá uma visão mais clara do que isso significa na prática. O aplicativo oferece reconhecimento de texto escrito à mão superpreciso e conversão de escrita em tempo real em mais de 60 idiomas. Mas o design de UX transforma essa ferramenta já impressionante em uma experiência de aumento de produtividade muito mais holística.

Com o Nebo, por exemplo, os usuários podem editar texto escrito à mão sem esforço usando gestos naturais de caneta. O conteúdo escrito à mão também é responsivo. Por exemplo, anotações escritas à mão de reuniões se redistribuirão automaticamente para facilitar a visualização em vários dispositivos diferentes, o que é perfeito ao compartilhá-las por e-mail ou link da web com colegas que provavelmente as visualizarão em um smartphone. O Nebo também permite a formatação por meio da "decoração" de texto, como sublinhar para enfatizar ou colocar o texto em uma caixa para realçá-lo. E os usuários podem exportar suas notas para diversos formatos populares.

Essa não é de forma alguma uma lista final, e o conjunto de recursos do Nebo está crescendo o tempo todo. Mas dá uma ideia clara das muitas maneiras pelas quais nossa equipe de UX busca amplificar e estender o poder do SDK da MyScript. Além disso, todos os recursos são amparados por pesquisas rigorosas e se desenvolvem por meio de testes e revisões constantes. Para a equipe de UX da MyScript, inovação e iteração são tão importantes quanto implementação.

Tecnologia
IA, redes neurais e reconhecimento de texto escrito à mão
Tecnologia