부제: 인간 혹은 기계의 노동에 의한 예술창작활동 , 2020 3.6(금) ~ 2020.3.17(화), 갤러리 그림손 Grimson Gallery

보다 직접적으로 프로젝트의 모티브가 된 것은 전시 제목에서도 나오듯이 미국 뮤지션 니나 시몬(Nina Simone)이 1965년에 발표한 음악 “ 기분이 좋아 Feeling Good ” 였다. 이 노래는 이후 다른 작곡가와 가수들에 의해 여러 차례 리메이크(remake)되고 불려졌는데 같은 멜로디이지만 때로는 관조적으로 때로는 냉소적으로 그 느낌이 질문을 던지는 듯한 평범한 가사내용과 함께 전달된다는 점이 흥미로웠다.

음악은 구체적인 형태와 물질이 없는 추상적인 것이지만 인간에게 가장 큰 감정적 반향을 주는 예술형식이다. 컴퓨터의 관점에서 음악이 주는 데이터를 크게 가사(텍스트)와 음악(음원)으로 구분하였다.

음악에서 음의 구성, 혹은 음계는 스케일이라고도 하며 서로 다른 음높이 순서로 된 음의 집합을 말한다. 각 음높이 간의 간격과 순서의 배치는 전반적인 음악의 분위기를 바꿀 수 있다. 일반적으로 장조는 기쁜 느낌의 스케일이며 반대로 단조는 슬픈 느낌을 주는 스케일이다. 이외에도 음악의 스펙트럼을 통해 주파수(Frequency). 음량(amplitude)을 시각화하고 음색과 템포의 조절을 통해서도 서로 다른 감정의 표현이 가능해진다.

음악의 가사는 주로 사실적이기보다는 함축적이고 시적인 표현으로 나타난다. 뉴스 보도 등 어떤 사실을 구체적으로 객관적으로 기술하는 방식과 달리 일반적인 자연어 처리를 통한 언어분석으로 감정분석이 드러나기 힘든 부분이 있다. 이에 2차원 혹은 3차원 구조의 감정모델(ex. Valence & Arousal Model..etc) 을 활용하여 감정의 특성, 강도등을 보다 세분화하여 나타낼 수 있도록 하였다.

음악에서 텍스트로 된 가사 데이터를 분석하였을 때와 음악 스케일의 속성이 동일하지 않은 경우라면 어떨까?

리듬, 박자를 포함하는 시간성은 우리가 음악을 감상할때 절대적인 요소이면서 애니메이션과 같은 움직임을 통해서도 잘 드러날 수 있다. 또한 현대 무용가인 루돌프 본 라반(Rudolf von Laban)은 음악적 스케일에 착안하여 가상의 정다면체 공간 속 움직임의 스케일을 안무법에 적용하기도 하였다.

본 프로젝트에서는 디지털 데이터를 크게 텍스트, 음악, 모션으로 나누어 각 속성에 따른 별도의 감정분석법을 채택하고 이들 결과를 종합하여 예술작품 창작에 반영하고자 한다. (*텍스트와 모션의 분석은 가상의 공간적 차원을 기초로 이루어진다는 점에서 그 유사성이 있다.)

기본적인 텍스트 데이터를 통한 감정분석이 각 단어들의 의미에 따른 수치적 분석을 통해 이루어질 경우 문맥적으로는 전혀 다른 결과가 될 수도 있다. 또한 기계에 관점에서 바라보는 감정은 모두 숫자로 치환되므로 많은 부분이 규격화 표준화될 수 밖에 없다는 한계점을 안고 있다. 본 프로젝트에서는 문법에 기반한 단어 학습을 통해 보다 심층적인 분석이 가능하도록 할 예정이다. 이러한 텍스트 감정분석데이터에 음악적 스케일, 라반움직임 분석을 결합하여 증강현실(AR) 및 인터랙티브 영상설치, 그리고 퍼포머와 함께하는 실시간 공연 영상으로 만들어보고자 한다.

인공지능이 인간의 감정을 수치적으로 분석하고 인간의 고도화된 정신적 산물인 예술작품의 창작을 시도하는 이 시대에 본 프로젝트에서는 가사의 텍스트에 기반 한 감정분석 결과와 음악 스케일 분석 결과를 비교하면서 이를 가상공간 속 캐릭터들의 색상과 움직임의 특성에 적용하는 전시작품을 통해 공감각적으로 표현하고자 한다.

기계를 통해 예술작품을 창작하는 방식이 그 심미적 의미론적 결과(이미지에 대한 기존과 다른 인식, 해석 등)에 미치는 영향들도 함께 고찰해보고자 한다.

이 전시에서 작품은 크게 시각적인 시(Visual Poetry) 드로잉과 증강현실(AR)을 결합한 영상설치물, 음악의 가사와 음계의 분석을 결합하는 텍스트 애니메이션 영상, 무용수의 움직임 분석과 감정분석 데이터를 결합하는 모션인식 기반 영상설치물 등으로 구성된다. 문학, 음악, 회화, 무용 등 기존의 전통적인 예술작품의 감정분석을 통해 기계의 시각에서 본 새로운 형태로 재창조 되거나 더 나아가 감정표현에 어려움을 겪는 발달장애인들의 예술창작을 도와주고 이들의 심리분석 및 의사소통을 용이하게 해주는 교육및 창작플랫폼으로도 활용될 수 있을 것이다.