그래서 ‘달인’들은 경험들 중에 일정한 단계를 가진 경험들을 숙달하여 행동이 자연스럽고 자동적으로 느껴질 정도가 되는 사람들이다. 그들의 두뇌가 매우 강력한 스키마와 매우 효율적인 청크를 만들어냈기 때문이다. 내가 ‘덩어리가 된 경험’이라고 부른 것이 바로 이런 것인데, 복잡한 작업을 단순하게 느끼게 하는 축적된 숙달, 즉 수많은 세부 사항들이 매끄러운 흐름으로 압축되어 나타나는 경험 말이다.
그래서 두뇌는 항상 개별적인 세부 사항들을 저장하는 것은 아닌 것이 확실하다. 단계를 더 큰 단위로 압축하는 경향이 있다는 것이다. 예를 들어, 자동차를 운전할 때 “손목을 20도 돌리고, 페달을 12% 밟고, 왼쪽 사이드미러를 0.5초 동안 살펴본다. 실시!”라고 의식적으로 생각하지 않고, 그냥 “운전”하는 것이다. 그것이 바로 “덩어리가 된 경험”이다.
그 덩어리들을 아주 작은 단계로 다시 나누는 것은 자신의 두뇌가 좋아하는 방식을 역으로 거슬러, 원래의 단계들의 모습을 찾아보려는 시도와 같다. 어떻게 보면 습관이 되어버린 그 경험을 수행하는 속도를 ‘슬로우비디오’로 만들어 그 안에 있었던 한 동작, 한 동작을 살펴보면서 숨겨지거나 놓친 과정을 볼 수 있도록 하는 것이다. 그리고 일단 그 조각들을 보게 되면, 나는 의식적으로 그 조각을 분리시키지만, 두뇌는 그 새를 못 참고, 그것들을 새로운 방식으로, 마치 레고 조각들을 다른 모델로 다시 조립하는 것처럼, 이리저리 섞으려고 하는 것이다. 그래서 사람의 두뇌라는 것이 이렇게 대단한 것이다.
그래서 두뇌는 그렇게 자연스럽게 ‘간접경험’을 생성하게 된다. 그 ‘단위경험’일 수도 있는 그 ‘조각경험’들을 다른 조합으로 결합할 수 있는 것이다.
그런데 DAGENAM은 그냥 기계처럼 어떤 일을 수행하는 체계인 것이다. DAGENAM이 분리하거나 결합하는 일을 하게 하려면 일일이 모든 것을 프로그램으로 만들어야 하는 것이다. 두뇌가 하는 것처럼 자동으로 다른 조합으로 결합시키는 자연스러운 능력이 없다. 경험을 수백 개의 단계로 분해한 다음 다시 다른 조합으로 재구성하도록 프로그램 되어야 한다. 그렇게 할 수 있다면, 두뇌가 하는 것처럼 조금은 비슷하게 ‘간접경험’을 구축할 수 있을 것이다. 이 때 두뇌와 다를 수 있는 부분은 DAGENAM은 새롭게 만들어진 간접경험을 다시 잊어버리는 경우는 없다는 것이다. 기계가 무슨 망각이 있을까? 그리고 또 하나는 ‘조각경험’과 ‘조각경험’을 결합하고 의미를 부여할 때 조금은 왜곡되는 경험으로 결합할 확률이 줄어들 것이다. 그 간격을 메워줄 의미자체가 왜곡되지 않을 확률이 크기 때문이다.
그리고 중요한 것은 DAGENAM의 개념을 가진 체계가 MASERINTS의 터미널 시스템이 된다면, VPTS를 형성하는 데 도움이 될 수 있을 것이다. “Case-Based Reasoning”이나 생성 모델(Generative Models)과 같은 인공지능 기술은 이미 이러한 방식으로 작동한다고 하지만 인간의 두뇌는 훨씬 더 빠르고 유연하게 이를 수행한다.
하여간, MASERINTS에 이것이 필요한 이유는 DAGENAM의 체계와 같은 터미널 시스템이 있다면, 그래서 단편화 시키고 다른 조합으로 결합된 수많은 ‘간접경험’들을 MASERINTS에게 공급한다면, 시스템은 VPTS에 방대한 ‘간접경험’ 라이브러리를 제공할 수 있게 되는 것이다. MASERINTS는 잊어버리는 망각이 없기 때문에 이러한 경험은 시간이 지남에 따라 축적만 될 것이다. 그 결과는 무엇일까? MASERINTS의 디지털 공간은 ‘여섯 번째 감각’이 될 수 있는 엄청나게 많은 ‘간접경험’으로 인해 PTS가 다음에 무엇을 하려고 하는지 예측하기가 수월해질 수 있는 것이다. 점점 VPTS가 실제 PTS와 같아 지기 때문이다. 오히려 망각이 없기 때문에 VPTS는 PTS가 생각하지도 못한 PTS의 본성이나 원래 가지고 있었던 그런 성품들을 가지고 예측할 수 있게 되는 것이다. 다른 조합으로 결합된 단편들을 활용하여 가능한 미래를 상상할 수 있기 때문이다. 시스템 내에서 인지 심리학(Cognitive Psychology)과 생성 AI(Generative AI)를 융합하는 것이라고 보면 된다.
사람은 본능적으로 경험을 덩어리로 압축한다. 그래서 이 덩어리가 된 경험들을 더 작은 단계로 나누게 되면 그 안에 구성된 숨겨진 구조를 발견할 수 있다. 사람들의 두뇌는 이러한 조각들을 자동으로 다른 조합으로 결합하여 새로운 ‘간접경험’을 만들어낼 수 있는데, 이는 상상력, 계획, 그리고 창의력을 키우는 데 도움이 되는 과정이다.
DAGENAM은 이러한 능력을 컴퓨터화 하도록 디자인된 컴퓨터 시스템이다. 경험을 여러 단계로 나누고 다시 조립하도록 디자인되고 프로그래밍 된 컴퓨터 시스템이다. DAGENAM 체계는 이러한 ‘간접경험’을 MASERINTS에 제공함으로써, 서비스를 받는 사람과 함께 예측하고, 지원하고, 성장할 수 있는 VPTS를 구축하는 데 도움을 준다.
Daniel Schacter는 “Episodic Retrieval and Constructive Memory/Imagination(1)”이라는 영상에서 내가 과거 이벤트를 기억하고 미래의 이벤트를 상상할 때, 나의 두뇌는 단순히 경험을 재현하는 것이 아니라 재구성한다고 설명한다. 이러한 과정은 서로 겹친다. 기억하든 시각화 하든 유사한 두뇌 영역이 활성화된다. 이 개념을 Daniel Schacter는 구성적 일화 시뮬레이션 가설 (Constructive Episodic Simulation Hypothesis)이라고 한다.
두뇌가 기억 조각들로부터 경험을 재구성하는 것처럼, DAGENAM은 분해된 경험 단계들을 거쳐 새롭고 간접적인 경험으로 재구성한다. DAGENAM도 재구성을 수행하지만, 두뇌와 같이 치밀하지는 못해도 프로그래밍 가능한 방식으로 수행한다. 과연 어떻게 프로그래밍해야 할까?
MASERINTS는 이렇게 재구성된 내용을 사용하여 예측 모델(VPTS)을 구축한다. 이는 두뇌가 기억을 단순히 기억을 회상하는 것뿐만 아니라 상상하는 데에도 사용하는 방식을 반영하며, 상상력은 미래 행동을 유도하는 데 도움을 준다는 것이다.
Schacter는 기억과 상상력이 재구성을 통해 함께 작용한다는 것을 보여준다(2). DAGENAM은 이런 방식으로 경험을 재구성한다. MASERINTS는 이러한 재구성을 통해 PTS의 행동을 예측하고 뒷받침한다. 마치 상상력이 내가 미래에 대비하는 데 도움을 주는 것처럼 말이다.
이 글에서 Daniel Schacter는 “The cognitive neuroscience of constructive memory: remembering the past and imagining the future(3)”에서 나의 기억 체계가 과거를 완벽하게 기록하는 것이 아니라, 오히려 구성적이라는 점을 강조한다. 내가 무엇인가를 기억할 때마다 두뇌는 저장된 정보 조각, 기대, 그리고 상상을 섞어 기억을 재구성한다. 이러한 구조는 결함이 아니라 적응적인 것이다. 왜냐하면 이를 통해 나는 강력한 무엇인가를 할 수 있기 때문이다. 바로 미래를 상상하는 것이다. 다음에 무슨 일이 일어날지 계획하거나 예측하려면 과거 경험의 특징을 창의적으로 재조합하여 가능한 시나리오를 만들어야 한다. 신경과학도 이를 뒷받침한다. 연구에 따르면 과거를 기억하고 미래를 상상하는 것은 동일한 두뇌 영역의 여러 부분을 활성화한다.
DAGENAM은 이러한 정신적 과정을 의도적으로 반영한다. 두뇌처럼 DAGENAM은 저장된 경험을 조각조각 분리해 새로운 ‘간접경험’으로 재구성한다. MASERINTS는 이러한 인공적 구조를 사용하여 필요를 예측하고 맥락을 만들어낸다. 마치 두뇌의 “기억+상상”의 고리를 기술적으로 구현한 것과 같다. 즉, Schacter는 과거의 기억조각들을 재구성하고 미래의 상상을 위해 활용하는 것이 인간의 마음이 작동하는 방식임을 보여준다(4)(5)(6). DAGENAM과 MASERINTS는 이러한 과정을 재현하여 기계가 인간의 삶을 지원하기 위해 기억하고 상상하도록 하는 것을 목표로 한다.
언급된 각주의 내용
(1) Episodic Retrieval and Constructive Memory/Imagination, 2018, Daniel Schacter, UCI, Irvine https://www.youtube.com/watch?v=sAhe8sR2auw
(2) Putting Together the Puzzle of Adaptive Constructive Memory, Daniel Schacter, 2019, Q&A with Daniel Schacter, https://www.cogneurosociety.org/adapting-to-a-new-way-of-thinking-about-our-constructive-memory
(3) The cognitive neuroscience of constructive memory: remembering the past and imagining the future, Daniel Schacter, https://pmc.ncbi.nlm.nih.gov/articles/PMC2429996
(4) Harvard University’s Schacter Memory Lab, Schacter, https://sites.harvard.edu/schacter-memory/home/publications , DL (Ed.). (1995).
(5) The Seven Sins of Memory: How the Mind Forgets and Remembers, Schacter, D. L. (2012)
> https://en.wikipedia.org/wiki/The_Seven_Sins_of_Memory
> https://www.apa.org/monitor/oct03/sins
> https://www.amazon.com/Seven-Sins-Memory-Forgets-Remembers/dp/0618219196
> https://www.psychologytoday.com/us/articles/200105/the-seven-sins-of-memory
(6) Remembering the past to imagination the future: the prospective brain, Schacter, D. L., Addis, D. R., & Buckner, R. L. (2007), Nature Reviews Neuroscience. https://www.nature.com/articles/nrn2213