두뇌가 기억을 완성하거나 상황을 해석하기 위해 사용할 Filler를 결정하는 기준이 있다.
두 번째 기준 원칙은 맥락(Context)과 스키마(Schema) 적합성이다. 두뇌는 맥락과 스키마를 활용하여 누락된 세부 정보를 채워 넣게 된다.
식당에 들어가면 음식 냄새가 나고, 접시 부딪히는 소리가 들리고, 테이블이 보이고, 메뉴판이 보이며, 기다리는 사람들이 보인다면, 거의 동시에 두뇌는 지금 자신이 어디에 있는지, 주변에서 무슨 일이 일어나고 있는지 이해하기 시작한다. 여기서 중요한 것은 이 때 두뇌는 이러한 신호들을 의식적으로 분석하지 않았다는 것이다. 두뇌는 단순히 상황을 인식하고 부족한 부분을 채워 넣었을 뿐이다. 바로 맥락과 스키마가 역할을 하는 순간이다.
맥락은 바로 지금 일어나고 있는 일, 즉, 감각적인 세부사항, 주변환경, 주변의 단서들을 의미한다. 식당의 예를 든다면, 어떤 이벤트가 발생한 것처럼, “나는 식당에 서 있고, 메뉴판이 눈에 보이고, 누군가 음식 주문을 받고 있다”라고 이야기할 수 있다.
반면 스키마는 경험을 바탕으로 구축된 정신적인 틀 같은 것이다. 식당의 예를 든다면, “식당이라면 보통 메뉴, 웨이터, 계산대, 주방, 테이블, 주문서 같은 것이 있다”라고 이야기할 수 있다.
이렇게 맥락이 현재 처한 상황을 이야기한다면 스키마는 유사한 상황에 대해 두뇌에 이미 저장된 지식이라고 할 수 있다(1)(2).
이때 두뇌는 맥락과 스키마를 활용하여 Filler를 선택하게 되는데, 식당의 예를 보면, 식당에 들어서는 순간 두뇌는 다음과 같은 맥락을 받아들일 것이다. “아! 메뉴판이 있고, 사람들이 기다리고 있고, 누군가 앞치마를 두르고 있구나”, 그리고는 “식당에는 보통 웨이터가 있고, 음식을 주문하고, 자리에 앉은 다음 식사를 하고 나면 계산서를 주겠구나”
그리고 두뇌는 현재 맥락을 가장 근접한 스키마와 일치시키게 된다. 두뇌는 지금 보고 있는 것을 저장된 패턴 라이브러리와 비교하고, 자신이 가지고 있는 ‘식당’이라는 패턴과 비슷하다는 것을 알게 된다.
그리고 두뇌는 스키마를 사용하여, 누락될 가능성이 있는 세부정보를 예측하게 되는데, 예를 들어 웨이터가 보이지 않더라도 두뇌는 어딘 가에 웨이터가 있을 것으로 생각하게 된다. 주방이 눈에 보이지 않더라도 두뇌는 음식 준비 과정을 예측하게 된다.
그리고 두뇌는 맥락을 활용하여 가능성을 좁혀 나가게 된다. 예를 들어서 포커가 아니라 젓가락을 보면, 두뇌는 지금 자신이 있는 식당이 한국이나 일본 음식점일 것이라고 생각하며 스키마를 조정하게 된다.
그리고 두뇌는 빈 곳을 채워서 일관성 있는 상황을 구성하게 된다. 즉 두뇌는 누군가가 곧 주문을 받으러 올 것이라는 기대감을 가지게 될 지도 모른다. 그래서 맥락은 스키마를 선택하게 되고, 스키마는 Filler를 선택하게 되는 것이다(3)(4).
이렇게 스키마는 장기 기억에 저장된 추상적인 틀 같은 것으로서, 사람마다 약간씩 다를 수 있지만, 일반적으로 식당이라면 어떤 틀이 생각날 것이고, 교실이라면 어떤 틀이 생각날 것이고, 공항이라면 어떤 틀이 생각날 것이다.
이렇게 스키마는 흔히 일어나는 일과 같은 일반적인 상황의 형태를 나타낸다. 그래서 두뇌는 모호한 정보를 접하게 되면 무의식적으로 어떤 스키마에 부합하는지 확인하는 절차를 가진다. 만약 그 정보가 익숙한 틀과 일치하면, 두뇌는 자동으로 그 스키마의 전형적인 요소들로 빈칸을 채울 것이다. 예를 들어 ‘식당’의 경우에 메뉴, 웨이터, 주문서, 주방, 계산대, 테이블 같은 것으로 채운다는 것이다. Neocortex은 이러한 고차원적인 높이 들려진 스키마 지식을 제공하고, Hippocampus는 구체적인 세부 정보를 스키마에 통합한다고 되어 있다(5).
인간은 수년간의 경험을 통해 스키마를 구축해 왔기 때문에 자동으로 누락된 조각들을 연결할 수 있다. 그러나 MASERINTS에 적용할 경우 시스템은 수십 년간의 실제 경험에 의존할 수 없기 때문에 일반적인 상황들에 대한 스키마들, 스키마와 동시에 발생하거나 시간적 순서가 있는 어떤 패턴들, 목표가 들어가 있는 완전한 하나의 시나리오를 나타내는 상황적 모델들, ‘조각경험’ 혹은 ‘단위경험’들을 어떻게 연결해야 할지 방법에 관한 알고리즘 같은 조각들을 합치는 규칙들, 그리고 어떤 조각이 어디에 맞는지 그 적합성을 결정할 수 있는 의미의 유사성이나 인과적 타당성, 감정적 일치나 시간적 순서와 같은 기준 같은 것들을 명시적으로 제공해야 한다. 그래서 자연스럽게 스키마를 성장시키는 두뇌와 달리 MASERINTS는 스키마를 의도적으로 구성해야 할 수도 있다. 또는 이것을 의미론적 지식(Semantic Knowledge)으로 미리 제공될 수도 있다.
이러한 MASERINTS에 구현하기 위해서는 개념적 디자인 단계에서 다양한 분야의 전문가가 구성되어야 한다는 것이 충분히 이해가 될 수 있다. 예를 들어 심리학적으로 타당한 스키마와 관련된 신호를 정의하기 위해 인지과학과 신경과학의 전문가가 필요할 것이다. 의미론적 카테고리와 관계를 모델링할 컴퓨터과학과 인공지능 분야의 온톨로지 전문가와 패턴학습이나 클러스터링, 임베딩 구축에 관련된 머신러닝 전문가, MASERINTS의 인간 중심적 목표 달성에 필수적인 어떤 모델이 인간의 가치와 맥락에 부합하도록 보장하기 위해 UX 전문가, 윤리학 전문가 등이 필요할 수 있다.
언급된 각주의 내용
(1) Remembering, A Study In Experimental and Social Psychology, F. C. Bartlett, 1932, Classic work by Frederick Bartlett on memory and schemas (Cambridge University Press), https://pure.mpg.de/rest/items/item_2273030/component/file_2309291/content
Frederic Bartlett은 그의 고전적인 저서에서 기억의 본질 자체를 재고하도록 권유하며, 사람들의 마음이 세상의 모든 세부 사항을 완벽한 정확도로 기록하는 카메라와 같다는 생각에서 벗어나, 기억이란 심오하게 창의적이고 능동적인 재구성 과정이라고 주장한다.
사람들이 어떤 이벤트를 떠올릴 때, 단순히 책꽂이에서 먼지 쌓인 책을 꺼내는 것이 아니다. 사람들은 본질적으로 몇 가지 남아있는 단편적인 기억이나 ‘조각경험’들을 바탕으로, 우리 자신의 개인적인 경험과 사람들이 속한 문화적 세계에 의해 이야기를 재구성하는 것이다. Frederic Bartlett은 사람들이 낯선 이야기를 기억하려고 할 때, 자주 무의식적으로 자신에게 이해되지 않는 부분을 다듬고, 자신만의 논리와 세부 사항을 덧붙여 이야기가 자신의 경험 속에서 더 편안하고 옳다고 느껴지도록 만든다는 것을 관찰했다.
이러한 관점의 핵심에는 사람들 모두가 삶을 바라보고 저장하는 데 사용하는 색깔 렌즈와 같은 역할을 하는 정신적 틀, 즉 지식과 신념의 조직화된 패턴을 지니고 다닌다는 생각이다. 이러한 틀은 무엇이 정상적이고 예상되는지에 대한 감각을 제공함으로써 사람들이 세상을 살아가는 데 도움을 주지만, 무엇을 간직하고 무엇을 버릴지 선택하는 데에도 영향을 미친다. 새로운 경험이 우리 마음에 들어오면 사람들은 자동으로 그것을 기존의 패턴에 끼워 맞추려 하고, 자주 현재 사람들이 세상을 이해하는 방식에 맞춰 기억 자체를 변형시키기도 한다.
이처럼 Frederic Bartlett은 사람들의 기억이 과거의 정적인 유물이 아니라, 삶의 흐름 속에서 의미와 일관성을 찾으려는 사람들의 노력에 의해 끊임없이 형성되고 재구성되는, 오늘날의 사람들을 담고 있는 살아있는 거울과 같다고 주장한다.
>> 기억과 지각은 수동적인 기록 과정이 아니라 내재된 지식 구조에 의해 안내되는 능동적인 재구성 과정이라고 주장한다. Frederic Bartlett은 사람들이 기억을 재구성하는 방식을 설명하기 위해 스키마라는 현대적 개념을 도입했다. 그는 우리가 정확한 세부 사항을 기억하는 것이 아니라 일반적인 인상인 스키마를 기억하고, 그 스키마에 맞는 것을 바탕으로 세부 사항을 채워 넣는다고 주장했다.
“기억은 무수히 많은 고정되고 생명력 없고 단편적인 흔적들을 다시 불러 일으키는 것이 아니다. 그것은 조직화된 과거의 반응이나 경험 전체에 대한 사람들의 태도와의 관계에서 비롯된 상상력의 재구성 또는 구성이다.”, “스키마는 과거의 반응이나 경험의 능동적인 조직화를 의미하며, 이는 잘 적응된 유기적 반응에서 항상 작동한다고 가정해야 한다.”, “피험자에게 기억을 더듬어 달라고 요청할 때, 그는 ‘합리화’를 내 놓는다 … 과거는 현재의 관심사와 상황에 맞춰 끊임없이 재구성된다.”
(2) Scripts, Plans, Goals and Understanding, R.C. Schank, R.P. Abelson, 1977, http://www.colinallen.dnsalias.org/Readings/1977-SchankAbelson.pdf
>> 기억과 지각은 수동적인 기록 과정이 아니라 내재된 지식 구조에 의해 안내되는 능동적인 재구성 과정이라고 주장한다. Roger Schank와 Robert Abelson은 “스크립트”라는 개념을 도입하여 스키마 이론을 인공지능과 이야기 이해 영역으로 확장했다. 그들은 “Slot과 Filler”라는 용어를 명시적으로 사용하여 두뇌가 비어 있는 변수를 문맥에 맞는 기본값으로 채움으로써 상황을 이해하는 방식을 설명했다.
“스크립트는 특정 문맥에서 적절한 이벤트 순서를 설명하는 구조이다 … 이는 잘 알려진 상황을 정의하는 미리 정해진, 정형화된 행동 순서이다.”, “스크립트에는 행위자 또는 사물과 같은 특정 정보를 위한 ‘Slot’이 있다. 이야기에서 정보가 누락되었을 때, 이해자는 스크립트를 사용하여 문맥에 따라 가장 가능성이 높은 ‘Filler’를 채워 넣는다.”, “이해란 사람들이 보고 듣는 것을 미리 저장된 이미지와 기대에 맞춰보는 과정이며, … 스크립트는 누락된 정보를 채워 넣을 수 있도록 해준다.”, “이해하는 사람의 목표는 상황에 맞는 스크립트를 찾는 것이다. 일단 스크립트를 찾으면 나머지 정보는 자연스럽게 추론된다.”
(3) What is a memory schema? A historical perspective on current neuroscience literature, Vanessa E Ghosh, Asaf Gilboa, 2014, How the brain uses schemas during memory recall, https://pubmed.ncbi.nlm.nih.gov/24280650/
Vanessa Ghosh는 스키마를 “레스토랑에 가는 것”이나 “결혼식에 참석하는 것”처럼 유사한 경험을 여러 번 반복한 후 구축하는 정신적 틀이라고 설명한다.
스키마가 되기 위한 충족해야 할 조건을 설명한다. 첫째, 서로 관련된 아이디어들의 연결 망인 연상 네트워크가 존재해야 한다. 둘째, 단 하나의 경험이 아닌, 여러 일화적 경험을 토대로 만들어져야 한다. 셋째, 그렇다고 고화질의 사진이 아니라 “요점” 또는 “골격”과 같은 것으로 세부적인 단위가 없어야 한다는 것이다. 넷째, 새로운 정보를 접할 때마다 변화하는 적응력이 있어야 한다. 이렇게 스키마가 Filler로 간극을 메우는데 도움을 준다는 것이다.
Vanessa Ghosh는 스키마를 두뇌가 새로운 세부 정보를 기존 틀에 통합할 수 있도록 함으로써 “새로운 정보 처리를 촉진하고 가속화하는” 구조라고 설명한다.
(4) The proactive brain: Using analogies and associations to generate predictions, Moshe Bar, 2007, Schemas and prediction in perception, https://psycnet.apa.org/record/2007-10379-004
대부분의 사람들은 두뇌를 반응적인 기계, 즉 시각적이나 청각적 자극을 기다렸다가 그것이 무엇인지 파악하는 기관으로 생각한다. 하지만 Moshe Bar는 정반대로 주장하는데, 두뇌는 능동적이며 끊임없이 미래를 예측한다는 것이다.
Moshe Bar는 두뇌가 유추할 수 있다고 생각했다. 어두운 방에 들어가 흐릿한 형체를 볼 때, 두뇌는 저해상도 스냅사진처럼 특이점을 포착하고 기억과 비교하여 “이것은 무엇과 비슷한가?”라고 스스로 묻게 된다고 한다. 일치하는 부분, 즉 유추할 수 있는 부분을 찾으면 그 때부터 예측이 시작된다고 한다. 만약 핵심적인 상황의 특이점이 부엌처럼 보였다면, 두뇌는 냉장고와 전자레인지를 보게 될 것이라고 예측한다. 이는 눈과 귀를 예민하게 만들어 세상을 훨씬 빠르게 인식할 수 있도록 한다. Moshe Bar의 관점에서 기억은 단순히 과거를 되돌아보는 용도가 아니라 미래를 내다보는 도구라고 할 수 있다.
Moshe Bar는 “The linked stored representations then activate the associations that are relevant in the specific context, which provides focused predictions.”라고 썼다. “예측”은 두뇌가 찾을 것으로 예상하는 “Filler”과 같다.
(5) Remembering the Past to Imagine the Future: The Prospective Brain, Schacter, Addis & Buckner, 2007, https://www.nature.com/articles/nrn2213, https://pubmed.ncbi.nlm.nih.gov/17700624
Daniel Schacter의 연구는 Ghosh와 Bar의 논의에 더할 나위 없이 좋은 “세 번째 기둥”이다. Bar가 능동적인 두뇌에 대해 이야기한다면, Daniel Schacter는 미래 지향적인 두뇌, 즉 우리가 미래를 만들어 가는 데 필요한 구성 요소로 과거를 어떻게 활용하는지에 대해 설명한다. 과연 Neocortex와 Hippocampus는 이 미래를 만들어 가는 것에서 각각 어떤 역할을 할까?
Daniel Schacter는 이를 “구성적 일화적 시뮬레이션(Constructive Episodic Simulation)”이라는 용어로 설명한다.
Daniel Schacter는 Hippocampus와 구체적인 세부 사항에 관하여 “우리는 일화적 체계의 중요한 기능이 과거 경험의 요소들을 미래 이벤트의 시뮬레이션으로 유연하게 재결합하는 것을 지원하는 것이라고 주장해 왔다.”라고 이야기했다.
Daniel Schacter는 고차원적 지식(Neocortex)에 관하여 2007년 논문은 Hippocampus에 중점을 두고 있지만, 일화적 기억이 “주로 Neocortex에 위치하는 의미론적 기억에 저장된 정보를 활용한다”고 언급했다. 또한 이 과정을 일반적인 지식이 세부 사항들을 조합하는 데 도움을 주는 “Top-down” 활성화로 설명했다.
Neocortex는 스키마 지식을 저장할 수 있는 것으로 알려져 있다. 현대 신경과학에서 Neocortex는 “일반적인 것들의 저장소”로 여겨진다. 예를 들어, Hippocampus가 어제 먹은 점심 식사와 같은 특정 순간의 스냅사진과 같다면, Neocortex는 지금까지 먹었던 모든 점심 식사의 요약과 같다. 시간이 흐르면서 기억은 시스템 통합이라는 과정을 통해 Hippocampus에서 Neocortex로 이동하면서 특정 날짜와 시간 정보는 사라지고, 일반적인 스키마 지식으로 변환된다.
Neocortex와 Hippocampus의 관계를 쉽게 설명하자면, 두뇌를 Neocortex라는 전문 건축가와 Hippocampus라는 현장 시공업자가 함께 일하는 공간으로 Storytelling을 만들어 보면 된다.
전문 건축가인 Neocortex는 설계도 또는 스키마를 가지고 있다. 집이 일반적으로 어떻게 생겼는지 알고, 지붕, 벽, 문이 필요하다는 것도 알고 있다. 문이 파란색인지 빨간색인지는 중요하지 않다. 단지 문이 있어야 한다는 것만 알 뿐이다.
현장 시공업자인 Hippocampus는 구체적이고 특정한 자재에 대한 정보를 가지고 있다. 이 특정 집에는 붉은 벽돌과 파란 대문을 사용해야 한다는 것을 기억하고 있다.
미래의 이벤트를 상상할 때, 전문 건축가인 Neocortex는 예를 들면, “우리는 해변 파티에 갈 거야!”라는 계획 송의 전반적인 설계도를 제공하고, 현장 시공업자인 Hippocampus는 기억 속의 “소금 냄새”, “그 특정한 파란색 아이스박스”, “친구의 얼굴”과 같은 과거의 구체적인 세부 사항을 가져와 설계도에 맞춰 생생한 시뮬레이션 경험을 만들어낸다.
Daniel Schacter는 “Remembering the Past to Imagine the Future: The Prospective Brain”(2007)에서 이렇게 말한다. Daniel Schacter의 핵심 주장은 우리의 기억 체계가 단순히 과거를 회상하기 위해 변화하고 있는 것이 아니라는 점이다. 오히려 기억 체계의 주된 목적은 미래를 상상하는 데 도움을 주는 것이다. 그는 우리의 기억이 “재생적”이기보다는 “구성적”이라고 주장한다. 우리는 기억을 비디오 파일처럼 저장하는 방식이 아니기 때문에, 우리는 기억을 작은 조각으로 나누고 그 조각들을 “재조합”하여 아직 일어나지 않은 일들을 시뮬레이션 할 수 있다. 이러한 유연성은 강력한 능력이지만, 동시에 우리의 기억이 때때로 오류나 Filler에 취약한 이유이기도 하다.
만약, 기억이라는 것이 먼지 쌓인 오래된 사진 보관함이 아니라 레고 블록 상자라면, 각 블록은 색깔, 느낌, 친구가 했던 특정 단어처럼 경험의 ‘조각경험’들이라고 할 수 있을 것이다. Daniel Schacter의 미래 지향적인 두뇌에 대한 가설은 인간 정신의 진정한 천재성은 그 블록 상자를 바닥에 무작위로 쏟아 놓고도 완전히 새로운 것을 만들어낼 수 있는 능력에 있다고 주장한다.
이러한 과정, 즉 구성적 일화적 시뮬레이션은 사람들이 삶을 헤쳐 나가는 방식이다. 면접을 준비할 때, 사람들의 두뇌는 그저 면접이 일어나기만 기다리지 않는다. 과거로 돌아가 이전의 성공적이었던 대화의 “블록”, 구글 지도에서 본 사무실 건물의 “블록”, 그리고 긴장되는 감정의 “블록”을 꺼내는 것이다. 그리고 이 모든 조각들을 조합하여 면접장에 발을 들여놓기도 전에 머릿속으로 면접 장면을 영화처럼 그려내게 된다.
Daniel Schacter는 사람들이 기억에서 저지르는 오류들, 즉 세부 사항을 잊거나 이름을 잘못 기억하는 것들은 사실상 이러한 유연성에 대한 대가라고 주장한다. 기억을 고정시키지 않음으로써 사람들의 두뇌는 과거라는 것을 미래를 위한 실험실로 활용할 수 있을 만큼 민첩하게 유지된다는 것이다. 사람들은 아주 현실적인 의미에서 어제의 지도를 사용하여 내일의 미지의 지형을 탐색하는 시간 여행자인 셈이다.