목 차
1. 인터랙션이란 무엇인가?
2. Mental Algorithm에 대한 고찰
1. 인터랙션이란 무엇인가?
언급된 곳: [새로운 디지털 공간을 위한 Triggering Point]
많은 사람들이 다양한 분야에서 ‘인터랙션’이라는 표현을 사용한다. 사람들이 사용하는 의미가 모두 같은 의미를 가지고 있는지는 잘 모르겠지만, 일반적으로 ‘인터랙션’이라고 하면 둘 이상의 개체 간에 발생하는 무엇인가를 주고받는 행위를 의미한다. 그리고 Computer Science에서는 사람과 기술이 대화하는 방식을 의미한다고도 한다. 즉, 정보를 제공하고 결과를 얻는 모든 방식을 의미하는 것이다.
가장 흔하고 익숙한 것이 키보드를 두드리거나, 혹은 전화를 걸기 위해 두드리는 것 같은 것이다. 키를 누르면 컴퓨터가 반응하는 것이다. 하지만, MASERINTS와 Ubicomp에서는 인터랙션이 훨씬 더 광범위한 의미를 가진다. 단순히 버튼을 누르거나 키를 두드리는 것 만을 의미하지 않는다는 것이다. 대신 일방적일지라도 수많은 인터랙션으로 인해 User나 PTS의 존재, 제스처, 습관 심지어 기분까지 감지하고 조용히 적응하고 필요한 반응을 하게 된다.
가장 간단한 일상의 예가 방에 들어 갔는데, 시스템이 움직임을 감지해서 전등이 저절로 켜지게 되는 것이다. 아무것도 할 필요가 없었고, 인터랙션은 자연스럽게 이루어졌다. 예를 들면, MASERINTS의 디지털 공간을 구성하는 터미널 시스템 중에 VEB(Virtually Expanded Brain)라는 시스템이 있는데, 만일 MASERINTS의 터미널 시스템인 VEB가 PTS의 시선이 머무는 손바닥 안에 혹은 어디든지, 오늘 중요한 일정을 표시해 준다면, 그것은 PTS가 명령을 내린 것이 아니라 그냥 그 때의 PTS가 처한 상황과 주변 맥락을 MASERINTS가 이해하고 반응했다고 보는 것이다. “집사 같은 동반자”라는 표현을 생각한다면, PTS를 위해 존재하는 누군가가 PTS에게 필요한 일정을 필요한 시점에, 필요한 곳에서 필요한 만큼만 지원과 도움을 제공하는 것과 같다.
MASERINTS의 핵심은 마치 주변 공간이 PTS와 함께하는 것처럼 자연스럽고 차분하게 인터랙션을 이끌어 내는 것이다. 즉, 모든 PTS로부터 관찰되는 움직임, 분위기, 감정, 또는 소리, 하는 일 등 모든 PTS와 관련된 것이 인터랙션에 사용되는 것이지만, 이 모든 것은 MASERINTS가 PTS에게 일방적으로 가지는 인터랙션인 것이다. 다른 말로 해서 인터랙션이 50:50으로 무엇인가 주거나 또 무엇인가 받으면서 의식적으로 반응하는 것이 아니라, PTS는 거의 0%에 가깝게 의식하고, MASERINTS의 디지털 공간이 PTS로부터 필요한 모든 것들을 바쁘게 수집하게 된다는 의미이다. PTS가 인터랙션을 위해 필요한 대상 개체인 것은 맞지만, PTS가 MASERINTS에게 무엇인가를 주기 위해서 의식적으로 행하게 되는 것은 극히 적다는 것이다. 이것은 PTS를 충분히 이해하고, 항상 같이 있으면서 지원과 도움을 주려고 하는 그런 디지털 공간 안에서 PTS가 사는 것과 같은 것이다.
Mark Weiser는 [The Computer for the 21st Century(1)](1991)에서 Ubicomp과 인터랙션이 배경으로 사라져야 한다는 것을 처음 설명하기도 했다(2). Ubicomp에서 ‘인터랙션’은 사람들이 일반적으로 생각하는 사람과 컴퓨터 간의 인터랙션의 매체로 생각되는 키보드나 마우스, 그리고 화면을 넘어선다. User의 일상적인 사물들이 주변 맥락(Context)을 감지하고 미묘하게, 즉 User에게 전적인 모든 주의력(Attention)을 요구하거나 User를 방해하지 않고, 부드럽고 조용하며 자연스럽게 반응하게 된다. 그래서 인터랙션은 키보드, 마우스, 휴대폰이나 TV처럼 특정 디바이스에서만 일어나는 것이 아니라 분산되어 다양하게 환경 속에서 자연스럽게 발생하게 되는데, MASERINTS의 디지털 공간에서도 마치 살아있는 어떤 디지털 세상에 있는 것처럼 자연스럽게 디지털 공간과 소통하기 때문에, 하나의 디바이스가 어떤 수문장 역할을 하는 대신, 전체 ‘공간’이 인터랙션에 인터페이스가 된다는 것이다(3).
이것이 MASERINTS에 중요한 이유는 인터랙션이 MASERINTS의 개념을 이해하는 핵심 표현 중의 하나이기 때문이다. 단순히 버튼을 클릭하는 것이 아니라, 주변 맥락적인 요소를 감지하고 조용히 적응하는 디지털 공간에 관한 것이기 때문이다.
보통은 사람들의 움직임을 반응의 Triggering Factor로 본다고 하는데, 다음과 같이 표현하면 어떨까? 사람들이 물에 잠수를 하게 되면 자신의 모든 피부가 물에 닿게 된다. 이처럼 보이지는 않지만, 어떤 느낌도 없지만, 살아 있는 MASERINTS의 디지털 공간은 물에 잠긴 모든 피부에 물이 닿듯이 사람들의 피부 아주 가까이에 존재하며, 거기서 PTS의 작은 움직임도 놓치지 않고 감지하게 된다는 것이다. 그러면서 필요한 인터랙션을 하게 된다고 표현하고 싶다.
PTS는 MASERINTS가 작동하고 있다는 것을 생각하거나, 의식하거나, 심지어 인지할 필요가 없다. 오직 MASERINTS만이 조용히, 끊임없이, 거의 지치지 않고 작동한다. MASERINTS는 PTS에게 아무것도 묻지 않고 관찰하고, 배우고, 평가하고, 예측하고, 반응한다. 그 반응이 PTS에게 지원과 도움으로 나타나는 것이다. 그러나 PTS는 자연스럽고 여유롭게 그리고 힘들이지 않고 항상 그랬듯이 일상생활을 이어가지만 하면 된다. MASERINTS는 PTS를 중심으로 주변 환경을 조정하고, 주변 환경(넓게는 세상)으로부터 PTS를 보호하고, 지원하고, 주변 환경을 조정하며 끊임없이 백그라운드에서 활동하고 일한다. 여기서의 백그라운드는 PTS의 생각이 집중되는 중심이 아니라 주변을 뜻하는 것이다. 그렇게 주변에서 엄청나게 활동을 하지만 PTS는 “도움을 받았다”고 느끼지 않는다. 그저 자신의 삶을 살아갈 뿐이다.
이것이 바로 MASERINTS의 본질이다. 묻지도 않고도 지원과 도움을 제공하는 시스템, 자신을 드러내지 않고도 지원하는 존재, 물이 몸을 감싸듯 자연스럽게 PTS를 감싸는 디지털 공간, 항상 가까이에 있고, 항상 주의를 기울이고, 항상 반응하는 공간, 이것이 PTS의 삶 속에 동행하는 동반자 격의 MASERINTS인 것이다. MASERINTS가 지원과 도움을 PTS에게 제공하기 위해 얼마나 바쁘게 PTS와 인터랙션을 하고 있는지 PTS는 전혀 알아차리지 못한다.
예를 들면, MASERINTS의 터미널 시스템 중에 VCC(Virtual Created Context)라는 시스템이 있는데, 이 VCC는 주변의 맥락적 요소를 통해 PTS의 움직임을 유도하기도 하는데, 이처럼 MASERINTS는 차분하고 지속적인 인터랙션을 위해 디자인이 되어 가고 있다. 여기서 움직임을 유도한다고 해서 PTS의 모든 움직임을 통제한다는 것이 아니라 PTS가 원하고 있는 필요한 행동으로 자연스럽게 유도한다는 것으로 이런 유도는 PTS를 위해서, PTS에 의한 것이 될 것이다.
MASERINTS 디지털 공간의 개념적 디자인에 대해 이야기한다는 것은 더 이상 일반적인 디바이스나 앱, 심지어 전통적인 스마트한 환경을 위한 디자인을 하는 것이 아니다. MASERINTS는 본질적으로 살아있는 개인화된 생태계를 구축하는 것을 목표로 한다. 즉, PTS를 지속적으로 해석하고, 그 해석으로부터 흘러나온 PTS의 요구에 부응하며, 주변 공간을 미묘하게 형성하여 그들을 지원하는 생태계인 것이다.
이러한 이유로 MASERINTS는 PTS에 대한 정적인 정보만을 기반으로 작동할 수 없다. 살아 있고, 변화하며, 다층적인 맥락적 요소를 바탕으로 작동해야 한다. 그래서 MASERINTS의 디지털 공간의 개념적 디자인은 아주 짧은 순간에도 PTS의 요구와 목표, 주변 상황과 맥락, 그리고 그 맥락의 역사, 그리고 PTS가 움직이고 행동할 수 있는 한계를 고려해야 한다.
이것은 MASERINTS의 디자인에 대한 까다로운 요구 사항이 될 수 있다. 이는 MASERINTS를 단순한 자동화나 환경 요소의 감지를 넘어선 영역으로 끌어올리기 때문이다. 이것은 MASERINTS의 모든 순간이 깊이 해석된 순간이며, 디지털 공간은 단순히 데이터뿐만 아니라 의미를 이해해야 한다는 것이다.
MASERINTS의 디지털 공간을 디자인하면서 그 디지털 공간이 수동적으로 명령을 기다리는 기존 컴퓨터 시스템처럼 작동할 수 없다는 것을 금방 깨닫게 된다. MASERINTS는 PTS의 삶의 미묘한 차이를 감지하고 거의 직관적으로 명확하게 반응하는, 조용하고 통찰력 있는 동반자가 되어야 하기 때문이다. 이를 위해 MASERINTS는 고정된 규칙에만 의존할 수 없다. 매 순간을 이해해야 하며, 모든 순간은 다르다.
개념적 디자인 논의에서 자주 제기되었던 주제는 MASERINTS가 지속적으로, 심지어 아주 짧은 시간 동안이라도 PTS에게 무엇이 필요한지, PTS가 달성하려는 것은 무엇인지, 주변 상황의 본질은 무엇인지, 이 상황에서 이전에 무슨 일이 일어났는지, PTS가 지금 이 순간 처리할 수 있는 것은 무엇이며, 너무 어려울 수 있는 것은 무엇인지, 이런 것들을 고려해야 한다는 것이다.
이러한 질문들은 언뜻 보기에는 간단해 보일 수 있지만, 심오한 사실을 암시한다. MASERINTS는 PTS의 맥락을 스냅샷이 아닌 의미가 있는 살아있는 흐름으로 해석해야 한다는 것이다. 기존 컴퓨터 시스템은 맥락을 데이터로 취급한다. 예를 들면, “User는 거실에 있고, 온도는 22°C이며, 조도는 낮다”고 이야기한다. 하지만 MASERINTS는 맥락을 하나의 스토리텔링으로 받아들여야 한다. 예를 들면 이렇게 이야기할 수 있다. “PTS는 평소보다 늦게 집으로 돌아왔고, 걸음걸이에서는 피로하다는 것이 보이며, 움직임이나 행동의 흔적을 보면 감정적으로 힘들고, 버거운 하루를 보냈고, 완성되지 않은 과제가 있는 듯 책상을 향해 움직이고 있다.” 이러한 순간에 맥락은 단순히 “위치=집”이나 “움직임=감지”와 같은 데이터가 아니라는 것이다. 맥락은 곧 ‘이해’를 동반해야 하고, MASERITNS는 PTS의 즉각적인 필요를 평가하고 판단해야 한다. 즉 편안함, 집중력, 혹은 부드러운 격려가 필요할 수 있기 때문이다.
MASERINTS는 PTS의 움직임 뒤에 숨겨진 목적을, 그것이 명시적이든, 아니면 무엇인가 암시하는 것처럼 미묘하든, 무조건 감지해야 한다는 것이다. PTS의 행동에 영향을 미치는 감정적, 인지적 상태를 인식해야 한다. 그리고 PTS의 신체적, 정신적, 감정적 능력을 존중하여 MASERINTS의 디지털 공간이 실행하는 어떤 지원과 도움은 PTS에게 압도하는 것으로 다가가서는 안되고, 가능하면 PTS가 알아차리지 못하는 수준에서 지원을 제공해야 한다.
이러한 의미에서 MASERINTS는 단순한 디바이스가 하는 것처럼 작동해서는 안된다는 것을 알 수 있다. MASERINTS는 ‘생각’이라는 것을 해야 하는데, PTS의 삶을 방해하지 않고, 조화롭게 어우러지는 세심한 주의를 기울이는 존재처럼 ‘생각’이라는 것을 해야 한다. MASERINTS의 이 ‘생각’을 가능하게 해 주는 것이 또한 수집된 ‘간접경험’이 될 수도 있다. MASERINTS의 디지털 공간은 상황을 민감하게 읽고, 부드럽고 PTS에게 어떤 것을 요구하지도 않고, PTS의 움직임의 속도를 존중하는 지능으로 과거의 순간을 기억하며, 자연스럽고, 눈에 띄지 않고, 배려하는 방식으로 ‘공간’을 형성하는 동반자가 되는 것이다. 이것이 바로 개념적 디자인이 맥락과 맥락적 요소들에 대한 풍부한 이해를 강조하는 이유이다. 이러한 심층적인 해석이 없다면 MASERINTS는 단순히 반응만 하는 기계적인 시스템일 뿐이다.
다음은 이해를 돕기 위해 인터랙션에 대한 Monika Kohli의 글 [Context Awareness and Natural Interaction in Ubiquitous Computing] (4)을 고찰해 보려고 한다.
Monika Kohli는 이 글에서 Ubicomp은 User가 기술적인 산출물(Gadget)에 의해 어떤 압박과 부담을 느끼지 않도록 보이지 않게 작동하는 어디에나 있는 컴퓨팅으로 Ubicomp에 대한 정의를 먼저 내리고 이야기를 시작한다.
Monika Kohli는 Ubicomp과 인터랙션 관련하여 글의 제목에서 보여 진 것 같이 “Context Awareness”, 즉 맥락적인 자각과 “Natural Interaction”, 즉 자연스러운 인터랙션이라는 두 가지 개념을 강조했는데, Mark Weiser의 글에서도 말하고 있는 내용과 유사하다고 할 수 있다.
첫째, 맥락적인 자각(Context-awareness), 즉 시스템은 User의 주변 환경, User의 활동, 또는 주변 디바이스 등 어느 순간에 User의 상황(Situation)과 더 넓게는 주변 맥락(Context)을 이해하기 위해 많은 요소들을 감지하고 파악하게 된다. 이를 기반으로 시스템은 ‘서비스’를 제공하기 위해 시스템의 작동을 조정하게 되는데, 이 글에서는 센서에 의해 User가 회의에 참여 중임을 감지하면 알림이 ‘음소거’가 될 수 있다는 예를 들었다.
이 부분은 MASERINTS에서는 후에 설명될 MASERINTS의 ‘Public Digital Space’에서의 일이 될 수 있다. 하지만, 중요한 것은 센서라는 컴퓨터 디바이스에 의한 별도의 결정이 필요하기 보다는, 통합된 주변 환경으로부터 수집된 여러 요인에 의해 필요한 정보들이 통합되어 지원과 도움을 받을 주인공, 즉 PTS의 삶의 흐름에 영향을 미쳐야 하는 것이다. 여기서는 회의에 참석하는 PTS가 될 것이다. 그래서 영향을 미친다는 것은 PTS의 삶의 흐름 속에서 지원과 도움을 준다는 의미로 그것이 ‘음소거’가 되었든 또 다른 방법이든 간에 말이다.
이렇게 많은 요소들이 모아지고 통합된 후에 지원과 도움에 대한 결정이 이루어져야 하는 이유는 인간의 삶을 표현하고, 영향을 줄 수 있는 Parameter가 그렇게 단순하게 몇 개의 단서로 결정지을 수 없기 때문이다.
여기서 ‘Context-awareness’를 보통 이야기하는 ‘상황인식’이라고 굳이 표현하지 않고 ‘맥락적 자각’이라고 표현한 이유는 정확하게 이야기하자면, 맥락(Context)과 상황(Situation)은 그 의미가 다르고, 또한 자각(Awareness)과 인식(Recognition)도 그 의미가 다르기 때문이다. 그리고 심리학에서는 이미 ‘Situation Awareness(상황적 자각)’이란 전문용어도 사용되고 있다. 그래서 MASERINTS에서는 이해를 돕기 위해 구분해 번역하였다. 필요에 따라서는 ‘Context-awareness’라는 표현을 그대로 사용할 수도 있다.
둘째, 자연스러운 인터랙션(Natural Interaction)을 주로 이야기하는데, 즉 기술과의 인터랙션은 기계를 다루는 것처럼 느껴지는 것이 아니라 인간적이고 직관적이어야 한다고 했다. 시스템이 작업을 이해하고, 음성, 몸짓 등에 자연스럽게 반응하며, User가 원하는 것과 실제 결과 사이의 간격을 최소화하는 것이 중요하다고도 했다. 여기서 ‘User’라는 표현은 서비스를 받는 주인공이 서비스 자체에 대해 의식적인 상태에 있다는 것을 보여준다. 즉, 이것은 원활하고 매끄러운 사람들의 삶의 흐름에서 나와서 어떤 흐름의 단절이 필요한 전환으로 이끌 수 있는데, 이로 인한 단절로 단편화가 발생할 수도 있다는 것이다. 만일 음성과 제스처에 자연스럽게 반응하게 한다는 것이 음성과 제스처를 명령어로 받아들인다면, 아직도 서비스 받을 주인공의 주의력(Attention), 즉 PTS의 생각이 집중되는 순간의 중심을 빼앗는 순간, 즉 그래서 “Mental Jump”가 일어나는 그런 서비스의 틀에서 벗어나지 못했다고 할 수 있다. 그렇다면 MASERINTS의 디지털 공간에서 시나리오를 작성해 보면 이렇게 되지 않을까?
『아침에 눈을 떴을 때 MASERINTS는 이미 나에 대해서 무엇인가를 알고 있었다. 어젯밤에 내가 잠 못 이루었다는 것, 오늘 아침에 회의가 있다는 것, 스마트폰 배터리에 충전량이 얼마 남지 않았다는 것, 비록 사소한 것 같지만 나의 일상적인 삶의 흐름을 만드는 것들에 대해서 MASERITNS는 이미 알고 있었다. 앱을 열거나 설정을 누르지 않아도 MASERINTS는 내 주변 공간을 통해 지원과 도움을 제공한다. 조명이 밝아지고, 커피가 끓기 시작하고, 내가 일정에 대해 궁금한 것을 알고 MASERINTS는 침대 옆 벽, 나의 시선이 머무는 곳에 조용히 나의 일정을 보여준다.』그런데 사실은 PTS는 그냥 눈을 떠서 침대 옆 벽에 나타난 일정표를 보는 것이 전부이다. 나머지는 모두 MASERINTS가 가지고 있는 시나리오가 되는 것이다. 그리고 이런 상황이 너무나 당연한 일이라 PTS의 현 상황의 삶의 흐름을 끊지도 않고, 의식적인 전환을 이끌어야 하는 주의력(Attention)을 빼앗지도 않는다는 것이다. 그저 일상처럼 살아갈 뿐인 것이다.
여기서 “커피가 끓기 시작”이란 부분도 MASERINTS는 내가 커피를 직접 내리는 것을 좋아한다는 것을 이미 알고 있다면, MASERINTS는 커피를 알아서 준비하지 않았을 것이다. 그 과정은 내가 직접 하고 싶고 즐기는 삶의 흐름에 반드시 있어야 하는 부분이기 때문이다. 이 모든 것이 그 순간 나의 삶의 모습에 맞춰 조정된다. 이것이 바로 MASERINTS에서 제공하는 집사 같은 동반자인 디지털 공간이 나를 지원하고 돕는 방법이다.
Monika Kohli의 ‘Context-awareness’와 ‘Natural Interaction’에 대한 연구는 Mark Weiser의 글에서 볼 수 있었던 앞으로 올 미래의 디지털 세상과 그 비전에 대한 일종의 초기 디지털 공간의 청사진을 제공한다고 할 수 있다. Monika Kohli는 기술이 시간, 위치, 주변 디바이스와 같은 주변 환경을 감지하고 그에 따라 어떻게 반응해야 하는지 그 방식을 조정할 수 있어야 한다는 것이다. 그래서 스마트한 조명이든가, 회의 중 무음으로 전환시키는 휴대폰의 앱 등은 이미 제한적인 방식으로 구현되고 있지만, 부족한 것은 더 깊은 개인화로 인한 자각(Personal Awareness)과 자연스러움에 있다고 했다. 즉, 기술을 사용한다는 것이 새로운 도구를 능숙하게 다루는 것이 아니라 사려 깊은 동반자와 함께 생활하는 것처럼 자연스럽게 인터랙션 할 수 있는 능력이어야 한다는 것이다.
Monika Kohli가 이 글을 작성할 당시에는 기술이 개인에 대한 자각을 완전히 달성하지 못했다는 것을 알 수 있고, 또 Mark Weiser의 Ubicomp이 원래 구상했던 대로 일상생활에 자연스럽게 녹아들지 못했다는 것을 보여준다. 인터랙션의 모델이 그 당시 여전히 분명하게 명시적인 Input과 디바이스에 주의력(Attention)을 제공하도록 되어 있었다는 의미이다. 이 부분은 현재까지도 그렇게 달성되었다고 볼 수 없는 부분이기도 하다. 이러한 시스템들은 제한된 방식으로 맥락을 감지하고, 미리 정의된 규칙에 따라 반응하고, 서비스를 받아야 하는 주인공을 깊이 이해하지 못한다는 것이다. 결국 명확한 인터랙션이 필요하고, 그렇기 때문에 기술이 자연스럽지도 않고, 또 눈에 보이게 되는 것이다.
물론 Mark Weiser가 보여준 Ubicomp에 대한 더 완전하고 풍부한 비전이나 MASERINTS의 살아 있는 디지털 공간에 대한 비전을 가지고 이야기하는 것이 아니라 단순하게 Ubicomp의 한 부분, 즉, ‘Context-awareness’과 ‘Natural Interaction’을 가지고 하는 이야기이다.
MASERINTS를 미세한 움직임, 제스처, 미묘한 맥락적 요소, 감정의 흔적, 그리고 PTS 특정 패턴 등을 해석하는 살아있는 디지털 공간으로 보는 비전은 글에 설명된 단순한 ‘Context-awareness’ 모델을 훨씬 뛰어넘는다고 볼 수 있다. 물론 이것은 Mark Weiser의 Ubicomp을 기반으로 나왔지만 말이다. 따라서 그 당시 ‘Context-awareness’ 컴퓨팅을 설명하지만, MASERINTS가 목표로 하는 더 깊은 수준의 개인적 이해와 자연스러운 인터랙션에는 아직 도달하지 못했다고 할 수 있는데, 바로 이 부분이 빠진 부분이라는 것이다.
만일 진정한 동반자라면 그 동반자는 나를 이해하려고 노력할 것이다. 예를 들어 평소에 내가 걷는 방식이나, 휴식을 취하는 방법, 또는 어떤 것을 연구하는 방식과 같은 나의 습관을 기반으로 이해하려고 할 것이다. 또한 내가 어떤 것을 좋아하는지, 예를 들어 조용한 소리를 좋아하는지, 아니면 부드러운 소리를 좋아하는지, 또 조명이 밝은 것을 좋아하는지, 아니면, 약간 어두운 조명을 좋아하는지 내가 어떤 것을 좋아하는지 나의 선호도를 가지고 나를 이해하려고 할 것이다. 또, 내가 무엇에 집중하고 싶어 하는 지, 어떻게 휴식이라는 것을 취하고 싶어 하는 지, 아니면 어떤 상황에서 어떤 조치를 취하고 싶어 하는 지, 그런 나의 의도를 기반으로 나를 이해하려고 할 것이다. 이것 만이 아니라 내가 지금 어떤 스트레스를 받고 있고, 그 스트레스가 어떤 수준에 도달했는지, 피로를 얼마나 느끼고 있는지, 무엇인가에 혼란스러운지, 아니면 어떤 작업에 과부하가 걸려 있는지 이런 나의 내적인 상황을 기반으로도 나를 이해하려고 할 것이다. 그래서 내가 무엇을 하고 있는지, 어디에 있는지, 누구와 인터랙션 하고 있는지 그 순간 순간의 상황을 살펴보고 나를 이해하려고 할 것이다.
MASERINTS에서는 이에 대해 내가 남긴 어떤 흔적(Vestige)이 가지고 있는 패턴, 아주 미세하고 작은 신호나 단서가 될 수 있는 어떤 행동이나 움직임, 제스처, 몸짓, 얼굴표정 등을 포함할 수 있다. 그리고 내 마음이 지금 어떻게 움직이고 있는지, 그런 인지적인 상태도 포함하게 되는데, 그것은 내 성격도 감정도, 그렇다고 오래 간직해 온 어떤 나의 특성도 아니라 현재 나의 마음, 생각의 상태를 포함한다는 것이다. 예를 들어서 일상적인 삶의 흐름에서 내 마음이 무엇인가에 집중하고 있다든가, 내 마음이 계속 다른 것에 쏠리면서 주의가 산만하다든가, 내 마음에 담긴 어떤 의미나 생각을 정리할 수 없을 정도로 혼란스러움을 가지고 있다든가, 너무 해야 할 일이 많거나 갑자가 많은 량의 정보나 Input이 수행되어 오히려 마음이 느려지게 되는 과부하 상태에 있다든가, 아니면 내 마음 속에서 무엇인가 파헤치고, 탐험하고 싶어하는 호기심이 가득한 상태에 있다든가, 아니면 내 마음이 무엇인가를 자세히 살펴보고, 그것을 이해하거나 고치려고 시도하는 어떤 문제를 해결하려는 그런 상태에 있다든가, 내 마음이 다음 단계를 준비하고 있는 무엇인가를 계획하는 상태에 있다든가, 내 마음이 지난 나의 과거 경험과 기억을 더듬어보며 무엇인가 기억하려는 상태에 있든가, 내가 지금 새롭게 접한 어떤 대상과의 새로운 연결을 형성하기 위해 배우려는 상태에 있든가, 이런 것들이 모두 나의 인지적인 상태에 해당되는 것이다. 여기서 중요한 것은 “순간순간”이란 표현인데, 아주 짧은 순간에 가지는 나의 정신 상태를 포함한다고 볼 수 있다. 또한 MASERINTS에서는 내가 남긴 전체 맥락적인 의미를 포함할 수도 있다. 즉, 그림과 같이 상황이 가지고 있는 맥락과 그런 맥락이 현재까지 가지로 있는 역사적인 정보를 포함하고 있다는 것이다.
그래서 MASERINTS는 내 마음을 읽기 위해 나의 행동에서 나타나는 어떤 패턴들, 제스처, 아주 작은 움직임, 타이밍, 어떤 행동이 이루는 리듬 같은 것, 지금까지 수집된 문맥들에 대한 정보, 흔적으로 남길 수 있는 그런 패턴들, 작은 얼굴 표정의 변화, 내 뱉은 한숨, 어깨가 처진 정도 등을 사용하는 것이다. 이 외에도 더 많은 요소가 MOWAS(Moment Watching Snooper)라고 하는 MASERINTS의 컴퓨터 디바이스와 IoV(Internet of Vestige)라는 터미널 시스템에 의해 수집되고 분석되고, 다시 가공되어 ‘간접경험’을 만들듯, VPTS(Virtual PTS)를 점점 성장시키고 있는 것이다.
이런 것들이 개인적인 자각에 대한 것인데, 이 개인적인 자각은 시스템이 개인의 자각을 대체하는 것이 아니라 시스템이 인간적으로 섬세하게 존중하는 수준에서 사람을 이해하는 것으로, MASERINTS에서는 PTS를 개인적으로 자각하게 된다는 의미이다.
또한 자연스러움은 PTS가 그의 환경이 된 디지털 공간과 인터랙션 할 때 느끼는 경험이라고 할 수 있다. 그 어떤 마찰도 없고, 혼란도 없고, 눈에 보이는 연산작업도 없고, 강제적인 선택을 유도하는 것도 없고, 어떤 거추장스러움이나 방해도 없고, PTS가 자신이 어떤 기술을 사용하고 있다는 느낌도 없다는 것이다. 이런 상태를 이야기하는데, 이 자연스러움은 사람이 느끼는 것이지, 시스템이나 기술이 느끼는 것이 아니다. 이것이 바로 사람이 가지는 경험의 질적 수준이 되는 것이다.
그렇기 때문에 개인적인 자각과 자연스러움 간의 관계를 본다면, 정확하게 말해서 시스템에 의해 개인적인 자각이 이루어지고, 그것이 원인이 되어 User가 자연스러움이라는 경험을 한다는 것이다. 즉, 시스템에 강력한 개인적인 자각이 있었다면, 인터랙션을 부드럽고, 차분하고, 적절하고, 매끄럽게 이루어지게 되고, 이것이 자연스러움이라는 결과를 만들어 낸다고 볼 수 있다.
만일 현재의 시스템에 개인적인 자각이 부족하다면, 그에 따른 자연스러움도 당연히 부족하게 된다. 즉, 누군가가 “이 방은 난방이 안 돼서 따뜻하지 않아!”라고 했다면, 난방이 되지 않아 결과적으로 따뜻함이 부족하게 되었다는 것과 같은 원인과 결과의 관계라고 볼 수 있다. 그래서 자연스러움은 개인적인 자각이 먼저 달성되어야 나타난다는 것이다.
이러한 개념적인 구분은 매우 중요하다. 특히 MASERINTS와 같이 사람 가까이서 존재하는 동반자와 같은 디지털 공간인 경우에는 더욱 그렇다.
Ubicomp의 개념을 기반으로 하는 MASERINTS도 바로 이 두 가지 핵심 요소, 즉 ‘Context-awareness’과 ‘Natural Interaction’을 기반으로 한다고 해도 과언이 아니다. 하지만 MASERINTS는 그 이상을 추구한다. 단순히 눈에 보이는 환경만 감지하는 것이 아니라, ‘서비스’를 받을 주인공, 즉 PTS의 내면적 리듬, 습관, 성향, 등 이런 것까지 감지하기를 원한다. 이러한 요소들을 활용하여 바로 지금 특정 순간에 PTS에게 필요한 것이 무엇인지가 VPTS에 의해 결정되어 그것으로 예측한다는 것이다. 물론 이러한 예측은 PTS가 원할 때만 나타나게 된다.
다음의 그림은 수많은 예측된 지원과 도움이 MASERINTS에 의해 매 순간 준비되고, 매우 짧은 순간이 지나 점점 PTS가 최종적으로 필요하거나 원하는 순간까지 수도 없이 예측된 지원과 도움이 걸러질 것이고, 가장 적절한 순간에, 적절한 장소에 단 한 가지의 지원과 도움이 제공된다는 것을 보여준다.
예를 들어 일정 캘린더를 열면 MASERINTS는 단순히 약속 만을 보여주는 것이 아니라, 지난 며칠 동안의 PTS의 삶의 흐름의 맥락을 바탕으로 어떤 약속에 대해 지켜야 할지, 아니면 변경해야 할지에 대해 PTS가 최종 결정을 할 수 있도록 자연스럽게 PTS의 삶의 흐름에 지원과 도움으로 영향을 주려고 하는 것이다. 이것이 MASERINTS의 UCA(Ubiquitous Computational Access)의 한 예가 될 수도 있다.
이러한 방식으로 Monika Kohli가 설명하는 센서, 맥락적 모델, 자연스러운 인터랙션 양식 등의 아키텍처가 MASERINTS의 것과 유사하다고 할 수도 있지만, 차이점은 의도와 디자인에 있다. MASERINTS는 PTS의 위치, PTS가 보유한 디바이스들, 심지어 PTS의 자세나 PTS가 힘을 쏟는 에너지의 크기와 방향 등과 같이 전혀 생각하지 못하는 그런 모든 맥락을 단순한 맥락에 관련된 자료가 아닌 PTS 자신의 삶의 흐름의 일부로 다루게 된다는 것이다. 이를 통해 무엇인가를 기억하려고 애쓰는 수고를 덜 수 있는데, MASERINTS가 User를 대신하여 기억해 주기 때문이다. 그래서 PTS는 불을 끄는 것을 기억할 필요가 없고, 무엇인가 어디에 두었는지 기억할 필요가 없고, 일상에서 다음에 무엇을 해야 하는지 그 자체를 기억할 필요가 없어지게 된다. MASERINTS의 살아 있는 디지털 공간이 그런 것들을 기억하고 있기 때문이다. 또 계속해서 디바이스를 조정하거나 설정할 필요가 없는데, 예를 들어 설정을 하려고 모드를 선택하거나, 볼륨이나 밝기를 수동으로 변경하거나, 앱을 매번 다시 구성할 필요가 없다는 것인데, MASERINTS는 PTS의 행동과 맥락을 기반으로 알아서 조정해 준다는 것이다. 그리고 무엇인가를 완료하기 위해 앱에서 앱으로, 디바이스에서 디바이스로 옮겨 다닐 필요가 없는데, 왜냐하면, MASERINTS의 살아 있는 디지털 공간은 PTS가 필요한 것을 PTS가 있는 곳으로 가져다 줄 수 있기 때문이다. 예를 들어, 휴대폰, 노트북, 태블릿을 확인하는 대신, 주변의 ‘공간’이 필요한 정보를 바로 보여주고, 어떤 일을 처리하기 위해 몇 개의 앱을 여는 대신에 MASERINTS의 디지털 공간에서는 필요한 정보가 자동으로 표시된다.
MASERINTS가 하는 일이 바로 이것이다. PTS가 디바이스를 직접 찾아가 이동하도록 하는 대신, 필요한 지원과 도움이 PTS에게 전달된다. 결과적으로 이 MASERINTS는 PTS의 정신적 부담을 덜어준다고 할 수 있는데, 많은 것을 직접 기억할 필요도 없고, 설정을 계속 조정할 필요도 없고, 여러 앱이나 가젯을 오가며 작업을 처리할 필요도 없기 때문이다. 이렇게 MASERINTS는 단순히 서비스를 제공하는데 그치지 않고, 동반자로써 함께 하고자 하는 것이다.
Monika Kohli의 글이 어떤 가능성에 대한 지도라고 한다면, MASERINTS는 더욱 매끄럽고 원활하게 살아가는 ‘Digital Life’를 향한 여정이라고 할 수 있다. 누군가 도와주려는 사람은 그 사람이 요청한 후에 반응하기 보다는 요청하기 전에 준비되어 있어야 하는 것이다. Monika Kohli가 개인적인 맥락을 자각하는 디바이스와 자연스러운 인터랙션의 중요성을 언급했다는 것만으로도 의미가 충분히 있다고 볼 수 있다.
언급 된 각주의 내용
(1) The Computer for the 21st Century, Mark Weiser, 1991, https://www.lri.fr/~mbl/Stanford/CS477/papers/Weiser-SciAm.pdf
(2) Interaction Design: Beyond Human-Computer Interaction, Yvonne Rogers, Helen Sharp, Jennifer Preece, https://www.theswissbay.ch/pdf/Gentoomen%20Library/Misc/Interaction%20Design%20-%20Beyond%20Human-Computer%20Interaction%20%281st%20edition%29.pdf
(3) Interaction, https://en.wikipedia.org/wiki/Interaction
(4) Context Awareness and Natural Interaction in Ubiquitous Computing, Monika Kohli, 2012, https://www.ijcsit.com/docs/Volume%203/vol3Issue6/ijcsit2012030639.pdf
2. ‘Mental Algorithm’
언급된 곳: [새로운 디지털 공간을 위한 Triggering Point]
‘Mental Algorithm’이라는 표현은 어떤 사람이 만들어낸 표현은 아니다. 대신 1970년대부터 수많은 인지과학과 인공지능 연구에서 이 용어를 사용해 왔다고 한다. 그래서 이 개념은 인지과학과 인공지능 연구에서 비롯되었다고 할 수 있는데, Herbert Simon, Allen Newell, 그리고 이후 Steven Pinker와 같은 학자들은 인간의 사고를 연산적 즉, 두뇌가 ‘Computer Algorithm’과 매우 유사한 과정을 따른다는 뜻이다.
즉, Herbert Simon과 Allen Newell 같은 인지 과학자들은 두뇌가 컴퓨터 프로그램처럼 특정한 구조화된 단계를 따라 문제를 해결한다고 주장했다. 이는 두뇌의 문제 해결 과정이 일련의 연산과정처럼 설명될 수 있다는 것이다. 즉, 어떤 Input이 들어오면 이렇게 하고, 그것이 안 되면 다른 방법을 시도하게 만드는 그런 프로세스와 같다는 것이다. 쉽게 말하면, 뉴런(Neuron)이 어떤 처리 패턴을 가지고 있는 Algorithm처럼 보일 수 있다는 것이다.
Algorithm이 컴퓨터에게 문제를 해결할 수 있는 방법으로 안내하는 것처럼, 두뇌에도 문제를 해결하는 어떤 패턴이 있다. 즉, 주의력을 전환하는 방법, 기억을 회상하거나 검색하는 규칙, 의사 결정을 빠르게 하는 방법 등 자연스러운 Algorithm처럼 작동한다. 이런 것들은 사람들의 생각 뒤에 숨겨진 어떤 질서를 설명하려는 방식이기도 하다.
Herbert Simon의 『The Sciences of the Artificial(1)』은 인위적으로 만들어진 시스템을 인간이 어떻게 디자인하고 사용하는지에 대한 이야기를 한다. Herbert Simon의 중요한 이슈는 인간의 사고 자체를 일종의 디자인 과정으로 연구될 수 있다는 것인데, 사람들은 복잡한 문제를 해결하기 위해 마음속에서 어떤 절차, 지름길로 습득된 어떤 암묵적 지식, 그리고 해결을 위한 구조를 활용한다는 것이다. 이것은 사람들이 ‘Mental Algorithm’이라고 말하는 것과 실제로 같은 개념으로 볼 수 있는데, 즉 두뇌 속 프로그램처럼 단계별 절차로 생각하는 것을 의미한다.
Herbert Simon은 인간이 순전히 직관적으로 그저 모호하게 문제를 해결하는 것이 아니라, 문제를 분석하고, 때로는 단순하게, 때로는 아주 정교한 규칙을 따르며, 가능성을 탐색한다고 생각했다. 이것이 바로 Herbert Simon이 ‘제한된 합리성(Bounded Rationality)’이라고 부르는 것이다. 사람들의 ‘Mental Algorithm’은 완벽하지는 않지만 실용적이며, 복잡한 환경에서 생존하는 데 도움을 준다고 한다.
『The Sciences of the Artificial』은 생각하는 것 그 자체를 ‘Computer Algorithm’처럼 모델링할 수 있는 것으로 다룬다. 두뇌는 단순히 반응하는 것이 아니라, 마치 프로그램처럼 절차를 활용하여 연산한다는 것이다. 이것이 바로 Herbert Simon의 책이 인공지능과 인지과학에 그토록 중요한 토대를 마련한 이유이다.
Steven Pinker의 책, 『How the Mind Works(2)』에서 그는 마음이라는 것이 성장과 더불어 변화한 정보를 처리하는 시스템과 같다고 주장한다. 그는 마음이 그저 신비한 영혼이나 본능의 집합체가 아니라, 보든가, 듣든가, 말하든가, 그리고 추론 등을 위한 작은 문제들을 해결해 주는 어떤 전문화된 정신 모듈을 통해 작동한다고 말한다. 즉, ‘Mental Algorithm’이란 의미와 연결되는 것이다.
Steven Pinker는 기본적으로 각 정신 모듈을 마치 자체 Algorithm이 있어서 어떤 ‘Input’에 대해 어떤 ‘Output’으로 변환하는 단계별 규칙이 있는 것처럼 취급한다. 예를 들어, 시각 시스템은 그림자와 움직임과 같은 단서를 결합하여 장면의 깊이를 연산할 수 있고, 언어 시스템은 문장을 구성할 때 일련의 문법 규칙을 적용할 수도 있다. 이것은 마치 의식적인 단계별 사고가 아니라 소위 “ft_mental_procedure()”와 같은 프로그램과 같으며, 배경에서 작동하는 자동 Algorithm이라는 것이다. 즉, Steven Pinker는 두뇌에는 계속 향상되어 가고 있는 점점 변화하는 Algorithm으로 가득 차 있다고 보는 것이다. Steven Pinker는 일상적인 사고와 인식을 생존 문제를 해결하기 위해 발전하고 변화한 ‘Mental Algorithm’과 연결하고 있다(3).
Allen Newell과 Herbert Alexander Simon의 『Human Problem Solving(4)』의 핵심 아이디어는 사람들이 퍼즐, 수학, 심지어 일상적으로 도전하게 되는 그런 문제를 해결할 때 단순히 직관이나 우연에만 의존하지 않는다는 것이다. 두뇌는 ‘Computer Algorithm’처럼 규칙과 단계를 따라 해결책을 찾는다고 했다. 즉, 사람들의 마음은 작은 프로그램처럼 단계별 절차를 따른다는 것이다.
그들은 “General Problem Solver, GPS”라는 개념을 소개했는데, 이는 기본적으로 Algorithm을 사용하여 출발점에서 목표를 향해 나아간다는 사고 모델이다. 보통 Computer Science 분야에서 말하는 Algorithm처럼 말이다. 물론 사람들이 의식적으로 단계를 어디에 적어 놓는다는 것을 의미하는 것은 아니지만, 그들의 이론은 인간의 마음이 선택지를 점점 좁혀가다가, 가능성을 테스트도 하고, 해결책에 도달할 때까지 자신들 만의 어떤 규칙을 적용하는 내부의 ‘Mental Algorithm’에 의해 이끌려 가고 있다고 주장하는 것이다.
즉, ‘Mental Algorithm’과의 연관성을 본다면, 문제 해결 자체가 마음 속에서 작동하는 어떤 Algorithm으로 여긴다는 것이다. 그들은 인간의 사고가 단순히 모호한 직관이 아니라 정확하고 연산적인 용어로 설명될 수 있다는 생각을 확고히 했다. 그래서 이들의 연구는 인지 과학과 인공지능의 기초로 여겨지는 경우가 많다(5).
언급된 각주의 내용
(1) The Sciences of the Artificial, 2025, Herbert A. Simon, The Sciences of the Artificial, MIT Press, 1969/1996. https://en.wikipedia.org/wiki/The_Sciences_of_the_Artificial,
(2) How the Mind Works, Steven Pinker, 1997/2005, https://en.wikipedia.org/wiki/How_the_Mind_Works
(3) How the Mind Works by Steven Pinker: 6 Minute Summary, 2024.2.11, https://www.youtube.com/watch?v=DwhRmwO3qjw
> How the Mind Works by Steven Pinker, Forces of Habit, 2018.12.16, https://forcesofhabit.com/how-the-mind-works
> How The Mind Works Summary and Study Guide, SuperSummary, https://www.supersummary.com/how-the-mind-works/summary
> How The Mind Works Chapter 2 Summary & Analysis, SuperSummary, https://www.supersummary.com/how-the-mind-works/chapter-2
> How the Mind Works (1997/2009), Steven Pinker, 2021.3.24, https://stevenpinker.com/publications/how-mind-works-19972009
> Review excerpts for How the Mind Works, Steven Pinker, https://stevenpinker.com/review-excerpts-how-mind-works
(4) Human Problem Solving, Allen Newell, Herbert Alexander Simon, 1972, MIT Press, https://mitpress.mit.edu/9780262640374/the-design-of-everyday-things, https://books.google.com/books/about/Human_Problem_Solving.html?id=h03uAAAAMAAJ
(5) Understanding the Mind: A Brief Summary of Pinker’s Work, 2024.1.2, https://medium.com/%40bookey.en/understanding-the-mind-a-brief-summary-of-pinkers-work-a8e000e02193
> ‘What could be more interesting than how the mind works? 2014.5.6, https://news.harvard.edu/gazette/story/2014/05/what-could-be-more-interesting-than-how-the-mind-works