이 글은 모달리티란 무엇이며, 왜 중요한가에 대한 이야기 입니다.
인공지능 연구에서 자주 등장하는 용어 가운데 하나가 모달리티(Modality)이다.
모달리티란 인간이 세상을 인식하는 다양한 감각의 통로를 뜻한다. 시각, 청각, 후각, 촉각, 미각이 대표적이고, 언어 또한 하나의 모달리티로 간주된다.
오늘날 우리가 흔히 접하는 AI 기술은 대부분 단일 모달리티에 머물러 있었다. 예컨대 음성인식 AI는 ‘소리’를 받아 ‘텍스트’로 바꿔주고, 이미지 분류 AI는 ‘시각 정보’를 기반으로 고양이인지 강아지인지를 판단했다. 하지만 최근 몇 년간 AI가 급격히 발전하면서,
하나의 모달리티를 다른 모달리티로 바꾸는 ‘모달리티 전환(Multi-modal Translation)’ 연구가 활발해졌다.
이 변화의 대표적인 사례가 텍스트→이미지 생성 AI이다. 간단히 “파란 모자를 쓴 고양이가 피아노를 치는 장면”이라고 입력하면, DALL·E나 Stable Diffusion은 그에 맞는 이미지를 즉시 만들어낸다. 마찬가지로 텍스트→음성 합성도 이미 널리 쓰인다. 하지만 여기서 멈추지 않고, 연구자들은 언어를 음악으로, 그림을 냄새로, 심지어 뇌파를 텍스트로 바꾸는 실험까지 시도하고 있다.
이러한 전환은 단순한 기술적 재미거리가 아니라, 인간의 감각 세계를 확장하고, 표현 방식의 한계를 뛰어넘는 새로운 가능성을 열어준다.
모달리티 전환 AI의 현재와 미래
가장 먼저 주목받는 분야는 텍스트→음악 변환이다. 구글의 MusicLM은 “잔잔한 피아노 선율에 바람 소리가 섞인 듯한 음악”이라고 설명만 입력해도 해당 분위기의 곡을 만들어낸다. 이는 기존의 음악 작곡 AI보다 한 단계 나아간 것이다. 단순히 음을 조합하는 것이 아니라, 언어적 묘사를 해석해 감성적 맥락까지 음악에 반영하기 때문이다. 이 기술은 영화, 게임, 광고 음악 제작에 혁신을 불러올 수 있다.
또 다른 분야는 이미지→후각 데이터 전환이다. 아직 초기 단계지만, 과학자들은 화학 분자의 구조와 인간이 인지하는 냄새 사이의 상관관계를 모델링하고 있다. 예를 들어, 장미 이미지를 AI가 해석하면 ‘장미향에 해당하는 분자 패턴’을 추천해 디지털 향수나 가상현실(VR) 공간에서 구현하는 식이다. MIT와 구글 브레인 팀은 2020년대 들어 ‘냄새 예측 AI’를 공개하며, 분자 구조만 보고도 인간이 느낄 향을 상당히 정확히 예측할 수 있다고 발표했다.
여기서 멈추지 않고 뇌파→언어 전환도 활발히 연구 중이다. 캘리포니아대 샌프란시스코(UCSF)의 연구팀은 뇌 신호를 해독해 마비 환자가 말하지 않고도 의사소통할 수 있는 시스템을 개발했다. 이때 핵심은 뇌 신호라는 ‘모달리티’를 언어라는 또 다른 ‘모달리티’로 변환하는 것이다. AI가 없었다면 불가능했을 수준의 복잡한 연산이 이제는 현실이 되고 있다.
향후에는 이런 전환이 훨씬 더 과감해질 것이다. 예를 들어, 시각→촉각 전환을 통해 사진만 보고도 실제 질감을 느낄 수 있게 하거나, 음악→색채 전환을 통해 “파란색처럼 느껴지는 멜로디”를 만들어내는 식이다. 예술과 과학이 만나는 접점에서, 모달리티 전환은 새로운 창작 영역을 열어줄 수 있다.
모달리티 전환이 바꿀 사회와 문화
이러한 기술이 성숙하면 우리의 일상은 어떻게 바뀔까? 우선 예술과 창작 방식이 크게 변화할 것이다. 지금까지는 음악가가 음표를, 화가가 붓을, 작가가 언어를 통해 표현했다면, 앞으로는 “언어”라는 공통 인터페이스를 통해 음악·그림·향기를 동시에 만들어낼 수 있다. 즉, 누구나 다중 예술가가 될 수 있는 시대가 오는 것이다.
또한 교육 현장에서도 혁신이 일어날 수 있다. 예를 들어, 교사가 “화학 반응에서 발생하는 향”을 설명할 때, AI가 해당 반응을 이미지로 보여주는 동시에 실제 냄새까지 재현해 줄 수 있다면 학습 효과는 지금보다 훨씬 강렬할 것이다. 음악 교육에서도 학생이 쓴 시를 AI가 곡으로 만들어 주거나, 역사 교육에서 고대 축제 장면을 시각·청각·후각으로 동시에 체험할 수 있다면 몰입감은 상상 이상일 것이다.
하지만 동시에 철학적·윤리적 질문도 따라온다. 만약 AI가 만든 음악이 특정 작곡가의 작품과 너무 흡사하다면 저작권은 누구에게 귀속될까? 또, 가상의 냄새나 촉각이 실제 경험과 구분되지 않는다면, 인간의 감각 경험은 진짜와 가짜의 경계가 흐려질 것이다. 이는 현실과 가상의 구분을 더욱 어렵게 만들고, 문화적 충격을 불러올 수도 있다.
따라서 모달리티 전환 AI는 단순히 “새로운 기술”이 아니라, 감각·문화·법률을 아우르는 총체적 혁신이다. 우리가 미처 상상하지 못했던 방식으로 소통하고 창작하며, 동시에 새로운 문제를 마주하게 될 것이다.
AI는 이제 단순히 ‘정보를 계산하는 기계’에서 벗어나, 감각과 감정을 다루는 존재로 진화하고 있다. 언어를 음악으로, 그림을 냄새로, 뇌파를 언어로 바꾸는 기술은 인간이 가진 다섯 감각의 벽을 허물고 있다.
앞으로의 세계에서 중요한 질문은 단순히 “AI가 무엇을 할 수 있는가?”가 아니라, “AI를 통해 우리는 어떤 새로운 감각의 세계를 경험할 수 있는가?”가 될 것이다. 모달리티 전환은 인공지능이 인간의 표현 능력을 확장하고, 예술과 과학의 경계를 허무는 가장 강력한 도구가 될지도 모른다.