감정과 기계의 패러독스: 김혜란의 ‘반어법의 기계적 해석’

정신영(미술평론)

희로애락은 인간에게 주어진 축복이다. 하지만 개인이 성숙해갈수록, 그리고 세련된 사회에 속할수록 우리는 감정의 제어를 습득하게 된다. 그러나 최첨단 사회인 21세기에 사는 우리에게도 인간이 표출하는 희로애락에 영감을 얻거나, 자연스럽게 감정을 표현할 수 있는 영역이 보장되어 있는데 그 한 부분을 차지하고 있는 것이 바로 예술분야이다. ‘예술’이라는 모호한 추상적 개념과 그 안에 확보된 ‘감정의 주관’이라는 섹터들은 인공지능(Artificial Intelligence, AI)이 우리의 일상으로 편입되면서 인간의 한계를 조롱하는 듯한 AI에 대해 유일하게 인간으로서 우월감을 지탱하는 영역이기도 하다.

우리는 이미, 그리고 앞으로 더욱 AI를 통해 지적 분야에서 신체능력까지도 인간의 능력을 확장 시키거나, 또는 AI들이 인간을 대신하여 일할 것을 예측한다. 때문에 우리는 이들이 인간을 초월하여 미래사회를 지배하는 비관적 상상까지도 심심치 않게 하고 있다. 그러면서도 유일하게 인간의 감정, 나아가 감정이 동원되는 예술의 분야에 있어서 만은 AI가 인간을 넘어설 것이라는 전망은 드물다. 2018년 ‘프라이스워터하우스쿠퍼스(PwC)’의 조사에 의하면 약 70%의 노동자들이 보다 높은 직업 경쟁력을 얻기 위해 신체나 뇌의 일부를 기계적으로 확장시킬 의향이 있으며, 이중 과반 수 이상이 자신의 일이 로봇에 대체될 두려움을 안고 있는 반면, 악 73%의 사람들이 인간의 마음은 결코 테크놀로지가 대신할 수 없을 것이라 믿고 있다고 한다.[1] 감정은 과학자의 실험실에서 만들어 질 수 없다고 생각하는 것이다.

인간에게 감정의 학습과 습득은 자연스러우면서도 후천적인 과정이다. 신생아 시절부터 속하고 성장한 사회마다 표현의 빈도나 방식, 경우에 차이가 있기는 하겠지만, 늑대가 키운 아이가 아닌 이상 우리 모두가 소속 공동체를 통해 감정의 타당성과 대처능력, 카타르시스를 체화한다. 물론 본능적 감수성도 작용할 것이다. 이런 인간적인 경험치를 수치화하여 AI에 입력한 후 논리적 예측을 해 시각적으로 풀어내는 일은 예술과 과학, 그 중에서도 첨단 분야인 AI를 연결시키려는 방대하고 까마득한 작업이다. 미술전공자에서 출발하여 지금은 공학박사가 된 김혜란은 바로 이러한 예술과 AI를 아우르는 작업을 하고 있다. 작가는 손끝으로 자연스럽게 펼쳐내는 예술적 재능과 공학박사다운 빠르고 정확한 문제처리 능력을 통해 예술과 기술의 패러독스적 결합을 지향하는 AI를 꿈꾼다.

작가는 남다른 애정으로 AI에게 인간 감정의 다양성과 농도, 감정의 부산물에 대해 가르치고 있다. 인간의 감정을 AI에게 교육하는 과정에는 인간의 예술활동의 결과들, 이번 전시의 경우 음악의 멜로디나 가사 또는 작가가 그린 드로잉 등을 접했을 때 인간이 갖는 감정들을 AI에게 데이터로 ‘학습’시키는 것이 필요하다. AI는 이과정을 통해 해당 음율이나 이미지에 상응하는 감정을 익히고, 그 학습을 토대로 새로운 자극이 주어졌을 때 인간처럼 반응하기 위해 유추되는 감정을 색이나 이미지를 사용해 시각적으로 표현한다. 학습방식과 데이터용량의 차이는 있으나, 이는 세간의 화제인 기계학습(machine learning)의 일종이다.

AI를 기동하는 지배적 체계는 ‘알고리즘(Algorithm)’으로, 쏟아지는 검색어나 바둑의 한수, 특정 연령대와 성별의 얼굴 등의 다양한 주어진 정보를 수치로 환산하여 수식(數式)화 함으로써 경험으로 수렴한 데이터를 필요에 따라 꺼내 쓰는 등의 논리적 과정이다. 검색단어의 빈도나 좌표 속 바둑의 수를 수치로 데이터화 하는 과정은 통계나 경우의 수에 기반한 수리(數理)적 작업으로 일관되어 있다. 반면, 예술작품을 통해 느끼는 감정과 이에 기반한 인간적 경험치를 알고리즘화 하는 작업은 정성(定性:qualitative)적 현상을 정량(定量:quantitative)적 현상으로 치환하는 과정이 뒤따른다. 감정을 데이터화 한다는 이 전제에서부터 기존의 감성과 이성의 구분을 침투시키는 새로운 논리의 필요성이 발생하고 있는 것이다. 김혜란이 흥미를 느끼고 있는 것은 이 부분이다. 내가 간직하는 감정이나 감정을 유도하는 외부 자극을 수치적 값으로 환산하여 색, 좌표 등의 ‘객관화된 시각적 요소들’(작가노트)로 기계적으로 대체하는, 말하자면 감정을 논리적으로 인식하여 이미지화 하는 작업이다.

감정과는 조금 다르지만 ‘감각(sensation)’의 논리에 대해 들뢰즈는 화가 세잔의 예를 떠올리며 그가 ‘무질서와 대재난’을 ‘고집스런 기하학’ 등을 통해 일사불란하고 탄탄한 화면으로 정착시켰다고 논한다.[2] 세잔이 화면 밖의 어지러운 세상을 그의 화면 속에 논리적으로 그리고 본질적으로 담기 위해 도입한 형상이 ‘원기둥, 원추, 구’라는 것은 비교적 잘 알려진 얘기이다. 미술사에서는 흔히 추상으로의 전개라 단순화시키지만, 세잔의 행위는 임의로, 하지만 납득이 가는 대분류를 통해 이 세상을 나름 정리함으로써 그 속의 숨겨진 구조를 파악한다는 구조주의의 큰 전제와 통한다. 주어진 현상을 이해하기 위해 우리가 할 수 있는 일 중 하나는 분류하고 이름을 주어 이들의 관계를 상대적으로 살피는 것이다. 인간의 감정을 이해하기 위해 감정의 스펙트럼을 가정하고 그 경우의 수를 분류하여 상대화 할 수 있는 명칭이나 색으로 라벨링하는 과정이 감정을 데이터화 하는 방법 중 하나가 될 수 있다. 물론 이 과정에서 세부적 요소들이 일반화되는 등 정확도의 문제나 다소의 난폭함은 부정할 수 없다. 하지만 감정의 섬세함이나 다양함을 내세워 이러한 시도의 정확도를 비판하는 것은 상대성과 언어의 기호적 관계에 의존하는 구조주의의 입장에서는 그다지 의미가 없다. 현상의 실체를 파악하기 위한 ‘방법’ 일뿐 실체가 ‘무엇’임에 주목하지 않기 때문이다. 감정으로 대입시켜 말하자면 나의 ‘슬픔’의 근원이 ‘외로움’에 있음을 추구하는 것이 아니라 내가 슬플 때와 기쁠 때의 상대적 차이를 수치화하여 파악하고 싶은 것이다.

김혜란은 이번 전시를 통해 유사한 시도를 하고 있다. <음악의 기분1 – 음악 가사의 기계학습 프로젝트>(전 작품 2020)와 <음악의 기분2 – 음원의 데이터 시각화 프로젝트>에서 작가는 각각 대중음악의 가사와 음원이 ‘기분’ 즉 감각적 정보로 증폭되어 전달되는 과정을 실험하고 있다. <음악의 기분1>에서는 무궁무진한 인간의 감정을 8가지, 분노(anger), 기대(anticipation), 혐오(disgust), 공포(fear), 환희(joy), 슬픔(sadness), 놀람(surprise), 신뢰(trust)로 분류한 심리학자 플러트칙(Plutchik)의 연구와 자연어처리 감정분석(Natural Language Processing Sentiment Analysis) 데이터를 사용해 노래 가사의 감정을 핑크(행복과 환희), 노랑(차분), 초록(기대), 파랑(슬픔), 검정(놀람), 빨강(분노)의 6가지 색상과 감정으로 나눠 시각화 한다. <음악의 기분2>의 경우에는 음악의 멜로디에 주목하여 각각 주파수, 음량, 템포를 분석, 이들이 안겨주는 감정을 위와 같은 감정으로 분류하여 이에 상응하는 색채를 가진 배경 - 붉은 폐허, 푸른 달무리, 초록색 초원 등 - 으로 전환하면서 시각화 한다. 모두 인간의 감정을 수치화하여 AI에게 학습시킨 데이터를 바탕으로 음악을 감상하고 표현하도록 하는 작업이다. 이러한 데이터의 집계는 평상시의 나의 취향을 바탕으로 새로운 플레이리스트를 추천해주는 음악 앱의 기능과도 유사하다.

작가는 여기서 한걸음 더 나아가 감정을 AI가 스스로 시각화 하는 단계를 너머, 문맥의 이해나 음악의 느낌을 감지하는 등 복잡한 상황을 적절하게 처리하는지에 관심을 갖는다. 즉, <음악의 기분1,2>의 경우 1에서는 가사를 분리하여, 2에서는 멜로디를 분리하여 파악하였는데, 일상의 언어로서는 긍정적 뜻을 나타내더라도 가사로서 멜로디와 같이 들을 경우 슬픈 내용으로 바뀔 수 있는 차이, 즉 음악적 기호체계속에서 텍스트가 새롭게 얻게 되는 기의의 반어법적 차이에 주목한다. MUSE라는 메탈 밴드의 “Feeling Good”이라는 노래를 예로 들면 <음악의 기분1>에서는 후렴구 가사를 ‘I’m feeling so good’이라 읽어내고 화면은 문장 뜻 그대로 happy, joy를 가리키고 있지만 이 부분의 드라마틱한 멜로디를 읽어내는 <음악의 기분2>에서는 강렬한 메탈 롹의 외침에 대해 새빨간 폐허의 풍경과 함께 anger, surprise를 나타내는 것을 알 수 있다.

일반적 음악 감상자에게는 이 텍스트-음악의 반어법은 다분히 상대적이며 음악을 듣는 묘미일 수 있다. 전자기타와 드럼롤에 맞춰 목에 핏줄을 세우며 “I’m feeling so good”를 외치는 부조리야 말로 슬픔과 고통, 절망 앞에서도 이를 초월하려고 몸부림치는 인간 감정의 흔들림을 나타낸다. 인간의 감정이 스스로를 흔드는 진폭(振幅)은 상상외로 크고 때로는 치명적으로 깊다. 그 폭을 유도해 내는 것도, 또 가라앉히는 것도 음악을 비롯한 예술의 영역이다. 이런 흔들림은 롤랑 바르트가 말하는 제2의의 기호학 체계, 즉 ‘신화(Mythe)’와도, 이미지 너머에 있는 풍크툼(punctum)과도 관계가 있다. 액면가의 기호(기표+기의)를 넘어서는, 문법으로도 도상학으로도 분석하거나 계측할 수 없는 지점을 우리는 허용하고 때로는 지향한다. 작가는 과연 AI가 1차적 기호의 단계 너머의 텍스트-음악의 수사학을 받아들이고 그 이면의 감정을 해석할 수 있는지에 관심을 갖는다. 우리의 감정의 진폭을 AI에도 똑같이 안겨줄 수 있는지가 관권이다. 그들에게는 흔들리고 가라앉을 심리라는 은유적 공간이 존재하지 않기 때문이다. 앞으로의 과제라 할 수 있다.

이 외에도 신작인 <스토리 오브제> 연작은 이미지를 보고 학습하는 AI와 가상현실(VR)을 사용한다. 여기서는 작가가 그린 다양한 생명체의 이미지가 기계학습을 통해 학습되어, 상응하는 이미지와 단어를 떠올리거나, VR을 사용하여 관객이 시점을 이동해가면서 캐릭터를 선택하면 그 캐릭터와 연관된 애니메이션을 접할 수 있다. 두 경우 다 작가가 고안한 다중적 생명체를 결합해 놓은 듯한 독특한 캐릭터를 통해 전개된다. 특히 <스토리 오브제 2>의 경우 3D 프린터를 통해 제작된 캐릭터 피규어를 카메라 앞에 놓으면 그 캐릭터에 내재되어 있는 각기 다른 생명체의 형상이 각각 모니터에 떠오르며 동시에 이미지와 연관된 단어들을 제너러티브 문학 라이브러리(Generative Language Library)를 통해 자동으로 생성하여 보여준다. AI가 이미지를 인식하고, 그 이미지와 관련된 단편적인 생각들을 뱉아 내는 것이다. 작가는 이 작품에서 자연어 처리기술과 제너러티브 문학 알고리즘을 통해 이미지와 관련된 어휘를 학습시켰다. 기계에게 사물을 볼 수 있는 눈도 열어주고, 말도 가르쳐준 샘이다. AI가 제시하는 단어들은 이미지와 연관이 된 듯하면서도 더 모호한 연상을 이끌어내기도 하는 적절한 밀고 당김의 긴장감을 유지한다. 머지않아 기발한 신세대 이미지평론가 될 것 같은 느낌이다.

수치적 데이터의 학습을 통해 AI를 인간의 내면에 접근시키려는 노력에는 피그말리온을 빚어내는 기대심뿐만 아니라 몬스터가 나올 경우를 우려하는 공포심도 함께한다. 아직은 김혜란이 애정을 쏟는 AI화가와 AI평론가들은 우리를 위협하기 보다는 인간의 감정을 배우고 어색하게나마 표현해내는 문하생이자 관객의 관심을 먹고사는 신진작가들처럼 느껴진다. 이들은 이제 겨우 등단했으니, 이제부터 본격적 활동을 보여줄 길이 열린 것으로 생각된다. 인간이 음악이나 그림을 감각적이고 감성적으로 받아들이는 방식과 이것을 컴퓨터가 대신하기 위해 무한개의 숫자와 수식의 데이터로 해석하는 방식에는 근본적인 커뮤니케이션의 반어적인 차이와 괴리가 있다. 이를 충분히 풀어내기 위해서는 많은 노력과 시간이 필요할 것이다. 막대한 자본으로 날개를 단 하이테크기업들이 개발한 AI들이 인간의 마지막 보루인 예술을 향해 밀려오는 추세에 홀로 예술가의 마음과 과학자의 두뇌를 장착하고 당돌하게 응수하는 김혜란의 앞으로의 도전에 주목한다.

[1] PwC, Workforce of the Future: The competing forces shaping 2030, 2018, p.8. 중국, 독일, 인도, 영국과 미국의 10,029명에게 설문한 결과. https://www.pwc.com/gx/en/services/people-organisation/workforce-of-the-future/workforce-of-the-future-the-competing-forces-shaping-2030-pwc.pdf (최종 접속: 2020년3월14일)

[2] 『감각의 논리』, 질 들뢰즈 저, 하태환 옮김, 민음사, 2008, pp.129-130.