나는 이 글을 쓰면서도 자주 생각을 하게 된다. “볼 수가 없어 답답한데, 정말로 나의 두뇌가 경험을 어떻게 받아들일까?” 단편화 된 ‘조각경험’들을 연결하여 경험으로 만들기 위해서는 두뇌가 하나의 ‘조각경험’과 또 다른 ‘조각경험’을 연결할 때 Filler라고 하는 매끄럽게 연결하기 위해 메워야 할 부분들이 있는데, 과연 이 부분은 얼마나 왜곡될 수 있을까?
가끔은 이미 기억 속에 있는 여러 경험들이 마치 ‘덩어리 경험’으로 느껴진다. 생각 없이도 할 수 있는 ‘행동 덩어리’처럼 말이다. 그런데 그 ‘덩어리 경험’이 되기까지 결합된 하나의 ‘조각경험’과 또 다른 ‘조각경험’ 사이에 메웠던 부분들은 왜 왜곡되지 않았던 것일까? 아마 달인처럼 ‘덩어리 경험’이 되기 위해 수많은 반복으로 그 왜곡된 부분이 수정되기를 거듭했을 것이다. 그렇다고 그 왜곡된 부분이 자신에게만 올바른 기억으로 알고 있는 것이지, 다른 사람들이 보면 왜곡된 경험일 수도 있다. 결국 이 왜곡되든 아니든 메우게 되는 부분도 누구나 가지고 있는 것이 아니라 ‘나’의 존재, ‘나’만이 가지고 있어서 그것을 구성하게 될 작은 퍼즐과 같은 조각이 되는 것이다.
이렇게 만들어진 ‘덩어리 경험’이지만, 그것을 가지고 거기에서 새로운 아이디어를 발견하고, ‘직접경험’해 보지는 않았지만, 또 다른 의미가 있는 ‘간접경험’을 가지고 싶다면 그 ‘덩어리 경험’들을 분해해야 한다는 생각도 끊임없이 가지게 된다. 그런데, 경험이라는 것이, “아! 내가 그런 적이 있었지?” 그렇게 생각한다고 두뇌에서 알아서 작은 ‘조각경험’으로 분리되는 것이 아니다. 오히려 두뇌는 자꾸 ‘덩어리 경험’으로 만들려고 하기 때문에 거의 불가능하다고 봐야 하는 것이다.
결국, 이 분리시키는 작업은 내가 스스로 어느 정도 규칙을 가지고 논리적으로 수행해야 한다. 그렇게 하기 위해 발견된 ‘덩어리 경험’이 있다면 그것을 종이에 적고, 그 경험의 시작점과 끝을 결정하고, 그 과정을 적어 보는 것이다.
언뜻 생각하기에 어떤 경험이든지 10~20단계만 있으면 웬만한 경험의 수행 단계가 다 끝날 것 같았다. 하지만, 잘 생각해 보면 놓친 경험들이 있다는 것을 알고, 그런 경험들을 다시 발견하고 다시 그 과정에 놓쳤던 경험을 다시 집어넣으면 10~20단계면 끝날 것 같았던 경험이 100~200단계, 혹은 그 이상으로 나누어 질 수 있다는 것을 알게 된다. 그리고 각 나누어진 단계마다 그 경험이 가지고 있는 그 순간 주변의 맥락적인 요소가 있다는 것을 알 수 있다. 이 주변의 맥락적 요소는 그냥 그 ‘조각경험’의 순간으로 돌아가 보면 자연스럽게 알 수도 있다.
이렇게 분리시키면서 ‘조각경험’이나 ‘단위경험’이 나올 때까지 분리시키는 훈련을 내가 스스로 종이에 적어보면서 하면 되는 것이다. 이렇게 분리시키는 훈련만 하면 조각난 경험을 인지한 두뇌가 자동으로 그 조각들을 재결합해서 새롭고 ‘간접경험’을 만들어낼 것이라고 생각한다.
내가 설명한 내용은 인지과학과 심리학에서 스키마(Schemas)와 청킹(Chunking)을 설명하는 방식과 밀접하게 연관되어 있는 것을 알 수 있다.
스키마(Schema)는 두뇌가 경험을 체계화하고 해석하는 데 사용하는 정신적 틀과 같다. 머릿속에 있는 청사진이나 템플릿이라고 보면 된다. 이것이 존재하면 매번 처음부터 시작할 필요가 없기 때문에 상황을 빠르게 이해하는 데 도움이 된다.
예를 들어, 음식점에 들어가면 이미 이제 앞으로 펼쳐질 경험의 스키마가 있다. 예를 들어, 아마도 어떤 자리에 앉아서 메뉴를 보고, 음식을 주문하고, 조금 기다리다가 음식이 나오면 음식을 먹고, 그리고 나갈 때 계산할 것을 알고 있다는 것이다. 심지어 음식을 먹을 때 내가 어떻게 먹을 것이라는 장면까지 알고 있다는 것이다. 이런 것은 내가 의식적으로 이런 저런 단계별로 생각하는 것이 아니라, 이미 기억 속에 덩어리로 쌓여 있게 되는 것이다. 그래서 내가 말하는 덩어리가 된 경험이 심리학자들이 말하는 스키마와 매우 유사하다고 하는 것이다.
때로는, 단계별 기술에 더 가까울 때는 청킹(Chunking)이라고 부르기도 한다. 예를 들어, 타이핑이나, 피아노 연주, 심지어 신발끈 묶기 같은 것들이다. 이러한 기술들은 한 번에 배우기에는 너무 방대하거나 순서가 반드시 필요한 것이라서 두뇌는 작은 동작들을 하나의 덩어리로 묶는다. 예를 들어 “신발 끈을 교차를 시킨 다음, 고리를 만들고, 다시 교차를 시키고 잡아당기면 된다”, 이런 식으로 하나의 덩어리로 묶는다는 것이다. 다시 말해서, 스키마는 큰 그림의 프레임워크에 더 가깝고, 청킹은 복잡한 작업을 작은 단위로 나누는 것인데, 스키마가 지도라면, 청킹은 실제로 길을 걸을 수 있게 해주는 발걸음과 같다고 보면 된다.
두 표현 모두 두뇌가 여러 작은 세부 사항들을 하나의 더 큰 경험 뭉치로 압축하는 현상을 설명한다. 여기서 이야기하는 스키마나 청킹은 ‘단위경험’과는 다른 의미의 경험 뭉치이고, 크기에 차이가 있을 수 있겠지만, ‘조각경험’에 더 가깝다고 할 수 있다. 이렇게 하면 모든 단계를 하나하나 일일이 기억할 필요가 없다. 대신 전체 과정을 매끄럽게 기억하거나 수행할 수 있다는 것이다. 그러고 보면, 처음 10~20단계 이하로 생각되는 이유가 그런 과정들이 스키마와 같은 성격을 가질 수도 있다는 생각이 들었다. 그러나 어떻게 보면 이런 곳에 바로 생활하기는 편하지만, 두뇌는 굳어 질 수 있는 함정에 빠져 있게 되는 것이다.
심리학에서 스키마나 청킹같은 용어를 사용하는 이유는 심리학에서는 지식과 기억이 어떻게 구조화되는지 설명할 때 스키마를 사용하고, 작은 정보 조각이나 단계들이 어떻게 모여 두뇌가 더 쉽게 처리할 수 있도록 구성되는지 설명할 때는 청킹을 사용한다. 이미 언급한 것처럼, 스키마가 지도라면, 청킹은 실제로 길을 걸을 수 있게 해주는 발걸음과 같듯이, 스키마는 이해를 위한 큰 프레임워크라 보면, 청킹은 작은 단계들을 사용 가능한 단위로 그룹화하는 것을 말한다고 볼 수 있다.
그래서 ‘달인’들은 경험들 중에 일정한 단계를 가진 경험들을 숙달하여 행동이 자연스럽고 자동적으로 느껴질 정도가 되는 사람들이다. 그들의 두뇌가 매우 강력한 스키마와 매우 효율적인 청크를 만들어냈기 때문이다. 내가 ‘덩어리가 된 경험’이라고 부른 것이 바로 이런 것인데, 복잡한 작업을 단순하게 느끼게 하는 축적된 숙달, 즉 수많은 세부 사항들이 매끄러운 흐름으로 압축되어 나타나는 경험 말이다.
그래서 두뇌는 항상 개별적인 세부 사항들을 저장하는 것은 아닌 것이 확실하다. 단계를 더 큰 단위로 압축하는 경향이 있다는 것이다. 예를 들어, 자동차를 운전할 때 “손목을 20도 돌리고, 페달을 12% 밟고, 왼쪽 사이드미러를 0.5초 동안 살펴본다. 실시!”라고 의식적으로 생각하지 않고, 그냥 “운전”하는 것이다. 그것이 바로 “덩어리가 된 경험”이다.
그 덩어리들을 아주 작은 단계로 다시 나누는 것은 자신의 두뇌가 좋아하는 방식을 역으로 거슬러, 원래의 단계들의 모습을 찾아보려는 시도와 같다. 어떻게 보면 습관이 되어버린 그 경험을 수행하는 속도를 ‘슬로우비디오’로 만들어 그 안에 있었던 한 동작, 한 동작을 살펴보면서 숨겨지거나 놓친 과정을 볼 수 있도록 하는 것이다. 그리고 일단 그 조각들을 보게 되면, 나는 의식적으로 그 조각을 분리시키지만, 두뇌는 그 새를 못 참고, 그것들을 새로운 방식으로, 마치 레고 조각들을 다른 모델로 다시 조립하는 것처럼, 이리저리 섞으려고 하는 것이다. 그래서 사람의 두뇌라는 것이 이렇게 대단한 것이다.
그래서 두뇌는 그렇게 자연스럽게 ‘간접경험’을 생성하게 된다. 그 ‘단위경험’일 수도 있는 그 ‘조각경험’들을 다른 조합으로 결합할 수 있는 것이다.
그런데 DAGENAM은 그냥 기계처럼 어떤 일을 수행하는 체계인 것이다. DAGENAM이 분리하거나 결합하는 일을 하게 하려면 일일이 모든 것을 프로그램으로 만들어야 하는 것이다. 두뇌가 하는 것처럼 자동으로 다른 조합으로 결합시키는 자연스러운 능력이 없다. 경험을 수백 개의 단계로 분해한 다음 다시 다른 조합으로 재구성하도록 프로그램 되어야 한다. 그렇게 할 수 있다면, 두뇌가 하는 것처럼 조금은 비슷하게 ‘간접경험’을 구축할 수 있을 것이다. 이 때 두뇌와 다를 수 있는 부분은 DAGENAM은 새롭게 만들어진 간접경험을 다시 잊어버리는 경우는 없다는 것이다. 기계가 무슨 망각이 있을까? 그리고 또 하나는 ‘조각경험’과 ‘조각경험’을 결합하고 의미를 부여할 때 조금은 왜곡되는 경험으로 결합할 확률이 줄어들 것이다. 그 간격을 메워줄 의미자체가 왜곡되지 않을 확률이 크기 때문이다.
그리고 중요한 것은 DAGENAM의 개념을 가진 체계가 MASERINTS의 터미널 시스템이 된다면, VPTS를 형성하는 데 도움이 될 수 있을 것이다. “Case-Based Reasoning”이나 생성 모델(Generative Models)과 같은 인공지능 기술은 이미 이러한 방식으로 작동한다고 하지만 인간의 두뇌는 훨씬 더 빠르고 유연하게 이를 수행한다.
하여간, MASERINTS에 이것이 필요한 이유는 DAGENAM의 체계와 같은 터미널 시스템이 있다면, 그래서 단편화 시키고 다른 조합으로 결합된 수많은 ‘간접경험’들을 MASERINTS에게 공급한다면, 시스템은 VPTS에 방대한 ‘간접경험’ 라이브러리를 제공할 수 있게 되는 것이다. MASERINTS는 잊어버리는 망각이 없기 때문에 이러한 경험은 시간이 지남에 따라 축적만 될 것이다. 그 결과는 무엇일까? MASERINTS의 디지털 공간은 ‘여섯 번째 감각’이 될 수 있는 엄청나게 많은 ‘간접경험’으로 인해 PTS가 다음에 무엇을 하려고 하는지 예측하기가 수월해질 수 있는 것이다. 점점 VPTS가 실제 PTS와 같아 지기 때문이다. 오히려 망각이 없기 때문에 VPTS는 PTS가 생각하지도 못한 PTS의 본성이나 원래 가지고 있었던 그런 성품들을 가지고 예측할 수 있게 되는 것이다. 다른 조합으로 결합된 단편들을 활용하여 가능한 미래를 상상할 수 있기 때문이다. 시스템 내에서 인지 심리학(Cognitive Psychology)과 생성 AI(Generative AI)를 융합하는 것이라고 보면 된다.
사람은 본능적으로 경험을 덩어리로 압축한다. 그래서 이 덩어리가 된 경험들을 더 작은 단계로 나누게 되면 그 안에 구성된 숨겨진 구조를 발견할 수 있다. 사람들의 두뇌는 이러한 조각들을 자동으로 다른 조합으로 결합하여 새로운 ‘간접경험’을 만들어낼 수 있는데, 이는 상상력, 계획, 그리고 창의력을 키우는 데 도움이 되는 과정이다.
DAGENAM은 이러한 능력을 컴퓨터화 하도록 디자인된 컴퓨터 시스템이다. 경험을 여러 단계로 나누고 다시 조립하도록 디자인되고 프로그래밍 된 컴퓨터 시스템이다. DAGENAM 체계는 이러한 ‘간접경험’을 MASERINTS에 제공함으로써, 서비스를 받는 사람과 함께 예측하고, 지원하고, 성장할 수 있는 VPTS를 구축하는 데 도움을 준다.
Daniel Schacter는 “Episodic Retrieval and Constructive Memory/Imagination(1)”이라는 영상에서 내가 과거 이벤트를 기억하고 미래의 이벤트를 상상할 때, 나의 두뇌는 단순히 경험을 재현하는 것이 아니라 재구성한다고 설명한다. 이러한 과정은 서로 겹친다. 기억하든 시각화 하든 유사한 두뇌 영역이 활성화된다. 이 개념을 Daniel Schacter는 구성적 일화 시뮬레이션 가설 (Constructive Episodic Simulation Hypothesis)이라고 한다.
두뇌가 기억 조각들로부터 경험을 재구성하는 것처럼, DAGENAM은 분해된 경험 단계들을 거쳐 새롭고 간접적인 경험으로 재구성한다. DAGENAM도 재구성을 수행하지만, 두뇌와 같이 치밀하지는 못해도 프로그래밍 가능한 방식으로 수행한다. 과연 어떻게 프로그래밍해야 할까?
MASERINTS는 이렇게 재구성된 내용을 사용하여 예측 모델(VPTS)을 구축한다. 이는 두뇌가 기억을 단순히 기억을 회상하는 것뿐만 아니라 상상하는 데에도 사용하는 방식을 반영하며, 상상력은 미래 행동을 유도하는 데 도움을 준다는 것이다.
Schacter는 기억과 상상력이 재구성을 통해 함께 작용한다는 것을 보여준다(2). DAGENAM은 이런 방식으로 경험을 재구성한다. MASERINTS는 이러한 재구성을 통해 PTS의 행동을 예측하고 뒷받침한다. 마치 상상력이 내가 미래에 대비하는 데 도움을 주는 것처럼 말이다.
이 글에서 Daniel Schacter는 “The cognitive neuroscience of constructive memory: remembering the past and imagining the future(3)”에서 나의 기억 체계가 과거를 완벽하게 기록하는 것이 아니라, 오히려 구성적이라는 점을 강조한다. 내가 무엇인가를 기억할 때마다 두뇌는 저장된 정보 조각, 기대, 그리고 상상을 섞어 기억을 재구성한다. 이러한 구조는 결함이 아니라 적응적인 것이다. 왜냐하면 이를 통해 나는 강력한 무엇인가를 할 수 있기 때문이다. 바로 미래를 상상하는 것이다. 다음에 무슨 일이 일어날지 계획하거나 예측하려면 과거 경험의 특징을 창의적으로 재조합하여 가능한 시나리오를 만들어야 한다. 신경과학도 이를 뒷받침한다. 연구에 따르면 과거를 기억하고 미래를 상상하는 것은 동일한 두뇌 영역의 여러 부분을 활성화한다.
DAGENAM은 이러한 정신적 과정을 의도적으로 반영한다. 두뇌처럼 DAGENAM은 저장된 경험을 조각조각 분리해 새로운 ‘간접경험’으로 재구성한다. MASERINTS는 이러한 인공적 구조를 사용하여 필요를 예측하고 맥락을 만들어낸다. 마치 두뇌의 “기억+상상”의 고리를 기술적으로 구현한 것과 같다. 즉, Schacter는 과거의 기억조각들을 재구성하고 미래의 상상을 위해 활용하는 것이 인간의 마음이 작동하는 방식임을 보여준다(4)(5)(6). DAGENAM과 MASERINTS는 이러한 과정을 재현하여 기계가 인간의 삶을 지원하기 위해 기억하고 상상하도록 하는 것을 목표로 한다.
언급된 각주의 내용
(1) Episodic Retrieval and Constructive Memory/Imagination, 2018, Daniel Schacter, UCI, Irvine https://www.youtube.com/watch?v=sAhe8sR2auw
(2) Putting Together the Puzzle of Adaptive Constructive Memory, Daniel Schacter, 2019, Q&A with Daniel Schacter, https://www.cogneurosociety.org/adapting-to-a-new-way-of-thinking-about-our-constructive-memory
(3) The cognitive neuroscience of constructive memory: remembering the past and imagining the future, Daniel Schacter, https://pmc.ncbi.nlm.nih.gov/articles/PMC2429996
(4) Harvard University’s Schacter Memory Lab, Schacter, https://sites.harvard.edu/schacter-memory/home/publications , DL (Ed.). (1995).
(5) The Seven Sins of Memory: How the Mind Forgets and Remembers, Schacter, D. L. (2012)
> https://en.wikipedia.org/wiki/The_Seven_Sins_of_Memory
> https://www.apa.org/monitor/oct03/sins
> https://www.amazon.com/Seven-Sins-Memory-Forgets-Remembers/dp/0618219196
> https://www.psychologytoday.com/us/articles/200105/the-seven-sins-of-memory
(6) Remembering the past to imagination the future: the prospective brain, Schacter, D. L., Addis, D. R., & Buckner, R. L. (2007), Nature Reviews Neuroscience. https://www.nature.com/articles/nrn2213