자연스러운 디지털 필기를 위한 UX

디지털 잉크의 까다로움

1998년 AI 기반의 디지털 잉크 기술 개발이 시작되었을 때 우리는 기본적으로 필기 인식의 정확도와 속도에 집중했습니다. 하지만 우리는 그것이 시작에 불과하다는 것을 알고 있었습니다.

시장에 이미 많은 디지털 잉크 기술이 출시되어 있지만, 기능이 제한적인 경우가 대부분입니다. 즉, 이러한 기술들은 사용자가 입력한 획을 정적인 이미지로 캡처합니다. 페이지에서 사용자가 입력한 획을 이동하거나 크기를 조정할 수도 있지만, 그 외 다른 기능은 많지 않습니다. 그 결과 필기로 입력한 항목은 페이지에서 타이핑으로 입력한 텍스트와 같은 다른 입력 항목들과 별개로 존재합니다.

그래서 우리는 놀라운 정확도로 필기를 인식하고 변환할 수 있는 AI 엔진을 개발하면서도 '더 발전된 형태의 디지털 잉크를 위해서는 무엇이 필요할까?', '사용자에게 유용하면서도 기존의 종이와 잉크보다 뛰어난 결과를 제공하기 위해서 다른 어떤 방법이 필요할까?'라고 스스로 자문하고 있었습니다.

우리는 기존 문헌을 통해 타이핑, 딕테이션 또는 기타 디지털 입력 방식을 사용하는 대신 사람들이 손으로 글자를 쓰거나 그림을 그리는 방식을 선택하는 이유를 이해했습니다. 이렇게 해서 필기 인식을 뛰어넘어 디지털 잉크의 경계를 확장하기 위한 실험이 시작되었습니다. 우리는 응답성과 펜 제스처를 통한 수정 등의 기능을 포함하도록 연구 대상을 확대했습니다. 연구가 순조롭게 진행됨에 따라 곧 이러한 내용들이 AI 단독으로는 해결할 수 없는 과제라는 것이 명확해졌습니다. 우리는 동시에 감각적이고 지능적인 UI 설계에 집중해야 했습니다.

당연히 효과적인 입력

작업을 진행하는 동안 디지털 기기 사용률과 다양성이 기하급수적으로 증가하면서 필기 인식의 현재와 미래가 불확실해졌습니다. 그래서 우리는 연구를 더욱 강화하고 긴 시간 동안 사회적, 직업적으로 다양한 배경의 사람들을 만나서 일상 생활에서 필기가 사용되는 방식을 이해하고자 했습니다.

우리는 수천개의 실제 메모(종이 및 디지털)를 연구하고 수천 명의 참가자가 참여하는 상세한 설문조사를 수행했습니다. 그리고 놀랍게도 디지털 기기의 폭발적인 확산에도 불구하고 우리가 처음에 가졌던 가정은 계속해서 재확인되었습니다. 손으로 콘텐츠를 작성하는 것은 자유로운 표현부터 기억력 향상까지 놀랍고도 독특한 이점이 있습니다.

아이디어를 다양한 방향으로 펼치면서 기록하거나 어떤 관계를 브레인스토밍할 때는 키보드보다 펜과 종이를 사용하는 것이 훨씬 쉽습니다. 수식이나 악보를 쓰는 경우에도 마찬가지입니다. 그리고 다이어그램을 그릴 때도 마우스보다는 손을 사용하는 것이 훨씬 쉽습니다. 글쓰기는 단순히 완성된 결과를 만들어내는 것 이상을 포함하는 경우가 많습니다. 글쓰기는 생각하는 방식 그 자체를 의미합니다. 손으로 쓰거나 그릴 때 내 안에서 자유롭고 유기적인 방식으로 발전하는 생각들을 표현할 수 있습니다.

디지털 콘텐츠의 장점

하지만 손으로 콘텐츠를 작성하는 방식에도 불편한 점과 한계가 있습니다.

우리의 연구에 따르면 종이 메모가 디지털 도구 및 리소스와 깔끔하게 통합되지 않는 경우가 많은 것으로 나타났습니다. 사람들은 여러 장의 종이에 낙서처럼 끄적거린 정보를 분실하거나, 필기한 회의록이나 스케치한 다이어그램을 PowerPoint 또는 Keynote에 다시 입력하느라 귀중한 시간을 낭비하고 있었습니다. 처음에는 깨끗하게 시작했어도 점점 공간이 부족해지고 지울 수 없는 실수가 늘어남에 따라 결과물은 점점 더 엉망이 되고 지저분하게 되는 경우가 많습니다. 필기보다 디지털이 정보 검색, 구성, 이동성, 편집 및 연결 측면에서 더 효과적입니다.

생산성과 사용 편의성에 따라 서로 장점이 있는 이 두 가지 입력 방법의 하나만을 선택해야 하는 이유가 있을까요? 우리는 서로 다른 두 가지 방식의 장점을 모두 제공하는 솔루션을 만들 수 있다는 가능성을 보았습니다.

사용 사례 이해

또한 연구를 진행하면서 우리는 기존의 디지털 입력 방법이 불편하게 여겨지는 부분과 필기가(심지어 손가락을 사용한 필기가) 유리할 수 있는 부분이 무엇인지 조사했습니다.

자동차 내부의 디스플레이와 인포테인먼트 시스템이 좋은 예입니다. 버튼, 다이얼과 터치스크린 키보드는 운전자의 주의를 산만하게 하고 안전을 위협할 수 있습니다. 음성 인식도 심각한 단점이 있습니다. 자동차는 주변 소음으로 가득한 경우가 많고 빈번하게 발생하는 오류를 방지하기에 충분할 정도로 기술이 정확하지 않은 문제도 있습니다. 운전자가 인식 오류를 해결하기 위해 주의를 분산해야 한다면 치명적인 결과를 초래할 수도 있습니다.

하지만, 운전자가 도로를 주시하면서 손가락으로 지시사항을 쓸 수 있다면 어떨까요? 이렇게 하려면 우선 소프트웨어가 중첩해 쓴 문자를 분리하고 이해할 수 있어야 하므로 많은 도전 과제가 해결되어야 합니다. 하지만 이러한 솔루션의 장점과 응용 잠재력은 특히 화면이 매우 작은 스마트 워치에서 매우 중요합니다.

또 다른 예로 다이어그램 작성이 있습니다. 일반적으로 보고서나 프레젠테이션에 사용할 다이어그램을 그리려면 사용자가 별도의 애플리케이션 사용 방법을 익히거나 MS Word와 같이 이미 익숙한 애플리케이션에 대한 특별한 전문 기술을 익혀야 합니다. 펜으로 다이어그램을 그린 후 간편한 조작을 통해 완벽한 도형과 직선 및 타이핑된 텍스트로 변환할 수 있다면 어떨까요?

한 걸음 더 나아가, 다이어그램 안의 요소가 이동됨에 따라 다이어그램이 반응해서 커넥터 크기가 자동으로 조정된다면 어떨까요? 심지어, PowerPoint 또는 Keynote와 같은 인기 있는 프레젠테이션 앱에 손으로 그린 다이어그램을 복사해서 붙여 넣을 때 다이어그램이 자동으로 변환된다면 어떨까요?

MyScript는 필기 인식과 쓰기가 텍스트로 변환되는 것 이상의 기능을 사용자에게 제공하는 새로운 종류의 디지털 잉크를 구상하고 있었습니다.

이해에서 비전으로

엄격한 UX 연구를 통해 사용자의 요구를 파악한 후 우리는 필기의 자연스러움이 가진 이점과 디지털 콘텐츠의 강력함 사이의 '잃어버린 연결 고리' 역할을 하는 디지털 잉크를 만든다는 명확한 목표를 세웠습니다. 이 둘을 결합함으로써 사람들의 생산성을 크게 향상할 수 있지만 이것은 AI 이상의 기술이 요구됩니다. 이를 위해서 우리는 지능적이고 다양한 상황이 고려된 혁신적인 UX 설계가 필요했습니다.

대화형 기능과 생산성

우리는 우선 우리의 디지털 잉크가 시장에 나와 있는 다른 잉크보다 뛰어날 수 있는 부분을 정의했습니다. UX 팀은 개발팀 및 제품 관리팀과 긴밀하게 협의하여 멀티모달리티(multimodality), 편집 가능성 그리고 응답성이라는 세 가지 주요 혁신 기술을 제공할 수 있는 '대화형 잉크(interactive ink)'를 구상했습니다.

멀티모달리티

우리는 우리의 디지털 잉크가 별도의 콘텐츠 형식이 아닌 타이핑한 텍스트와 똑같이 작동하기를 원했습니다. 따라서 우리는 문서, 단락 또는 문장에서 필기와 타이핑의 혼합을 허용함으로써 다른 종류의 텍스트 입력을 같은 방법으로 처리하는 소프트웨어를 설계했습니다. 이러한 방식은 디지털 노트 필기 앱인 MyScript Notes 에서 직접 확인할 수 있습니다.

Nebo(현재 MyScript Notes)의 일반 페이지는 필요에 따라 필기로 입력한 내용과 타이핑한 내용을 혼합 및 병합하고 변환할 수 있는 구조적이고 선형적인 메모 및 문서를 작성할 수 있도록 설계되었습니다. 사용자는 필기 인식의 정확도에 영향을 주지 않으면서 다이어그램, 수학, 스케치 등의 다양한 '객체'를 추가해 메모를 풍성하게 만들 수 있습니다.

사실 객체의 사용은 우리가 직면하고 있는 가장 큰 도전과제 중 하나와 관련이 있습니다. 이 도전 과제는 어떻게 사용자가 디지털 페이지 내에서 완전히 자유로운 방식으로 어느 한쪽의 기능도 손실되지 않으면서 텍스트와 비텍스트 콘텐츠를 혼합할 수 있게 하는가입니다. 이러한 목표를 달성하기 위해 저희가 강조한 것은 2020년 후반에 출시된 Nebo 자유형식 페이지(현재 MyScript Notes의 보드)의 도입과 발전에서 가장 잘 드러납니다.

자유형식 페이지(freeform page)는 콘텐츠 배치에 대한 제약이 없고 자동으로 디지털로 변환을 처리해서 생기는 잠재적인 주의 분산 문제가 없이 자유롭게 쓰고 그릴 수 있게 해 주는 무제한 캔버스입니다. 따라서 자유형식 페이지는 사용자가 선형적인 구조와 텍스트 전용 콘텐츠에 집중할 필요가 없는 브레인스토밍 세션이나 범위가 자유로운 강의 노트와 같은 사용 사례에 최적의 솔루션입니다.

우리는 현재 사용자가 자유형식 페이지에서 타이핑하고 지시하고 심지어는 필기를 디지털 텍스트로 변환할 수 있는 자유형식 페이지의 다음 버전을 만들어, 아날로그와 디지털 입력 사이의 격차를 더욱 좁히기 위해 노력하고 있습니다.

편집 가능성

우리는 또한 '대화형 잉크'를 이용해 필기한 콘텐츠에 디지털의 유연성을 완전히 제공하고 싶었습니다. 필기는 개별 획 수준까지 완전히 편집할 수 있어야 했고 펜을 사용하여 편집할 수 있어야 했습니다.

우리는 막대한 양의 연구를 수행했고, AI 팀의 도움으로 스크래치 아웃 해서 지우기, 위쪽으로 그어서 합치기, 아래쪽으로 그어서 나누기 등 사용자가 짧은 시간 내에 학습하고 사용할 수 있는 일련의 직관적인 펜 제스처 세트를 구현했습니다. 그리고 우리의 잉크는 멀티모달이기 때문에 이러한 제스터는 필기는 물론이고 타이핑된 텍스트에서도 동작하므로, 이것은 사용자의 생산성 향상에 더 많은 도움을 줍니다.

응답성

스케치, 다이어그램 및/또는 수식과 텍스트가 혼합된 강의 노트를 작성할 때와 같은 일부 상황에서는 콘텐츠의 원래 레이아웃을 유지하는 것이 매우 중요합니다.

이와 달리 타이핑된 텍스트로 변환해서 동료들과 함께 공유할 회의록을 작성할 경우에는 편집을 수행할 때 또는 동기화된 콘텐츠를 다른 기기에서 확인할 때 콘텐츠가 자동으로 재정렬되는 것이 더 생산적입니다.

따라서 응답성은 상황별 요구사항이며, 우리의 솔루션은 모든 형태의 콘텐츠(필기와 타이핑이 혼합된 경우까지)에 대한 레이아웃 변경에 자동으로 대응하여 필요에 따라 응답성을 제공할 수 있어야 했습니다.

MyScript Notes: 쇼케이스, 테스트 공간 및 솔루션

는 디지털 노트 작성 앱입니다. 이 앱은 MyScript SDK AI 엔진으로 구동되며 뛰어난 필기 경험을 제공하도록 설계되었습니다. 이 앱은 또한 핵심적인 필기 인식 기술을 지원하고 향상해주는 기능을 구현한 우리의 UX 솔루션을 위한 이상적인 시험대입니다.

저희는 MyScript Notes를 사용해서 다양한 데이터 포인트에서 인사이트를 수집하여 실제 사용자에게서 새로운 기능 및 개선 사항이 활용되는 방식을 확인하고 있습니다. 분석, 지원 및 기능요청, 앱 스토어 평가, 소셜 미디어 참여와 Insider 프로그램을 통해 얻은 의견은 이후의 제품 개발을 위해 귀중하게 사용됩니다. 물론 저희는 MyScript Notes의 사용 패턴에 대한 폭넓은 연구도 수행하여, 어떤 기능이 효과적인지, 어떤 부분이 개선이 필요한지 파악하고, 새로운 사용 사례와 기대 사항도 식별하고 있습니다.

현재의 MyScript Notes를 보면 실제로 이것이 무엇을 의미하는지 명확하게 알 수 있을 것입니다. 이 앱은 60개 이상의 언어에서 매우 정확한 필기 인식률과 실시간 필기-텍스트 변환 기능을 제공합니다. 하지만 UX 설계는 이미 인상적인 이 도구를 훨씬 더 총체적이고 생산성을 향상하는 경험으로 변화시켜 줍니다.

예를 들어 MyScript Notes에서는 사용자가 자연스러운 펜 제스처를 사용해 손글씨를 손쉽게 수정할 수 있습니다. 필기한 콘텐츠도 응답성이 뛰어납니다. 예를 들어 다양한 기기에서 쉽게 확인할 수 있도록 필기한 회의록이 자동으로 재정렬됩니다. 이 기능은 메모를 이메일이나 웹 링크를 통해 동료와 공유하고 동료가 스마트 폰에서 그 내용을 볼 때 유용합니다. MyScript Notes는 또한 텍스트 강조를 위해 밑줄을 표시하거나 박스를 그리는 등의 텍스트 '장식'을 통한 서식 지정도 지원합니다. 그리고 사용자가 자신의 메모를 널리 사용되는 다양한 형식으로 내보낼 수 있습니다.

이는 전부가 아니며, MyScript Notes의 기능은 지속적으로 확장되고 있습니다. 그러나 이미 위에 열거한 기능들을 통해 우리의 UX 팀이 MyScript SDK의 힘을 증폭하고 확대하기 위해 노력한 여러 가지 방법들을 분명하게 이해할 수 있습니다. 또한 모든 기능은 엄격한 연구를 기반으로 하며, 지속적인 테스트와 검토를 통해 발전합니다. MyScript의 UX 팀에서 혁신과 반복은 구현만큼이나 중요합니다.