본문 바로가기

인터뷰

사진 필요 없어요, 너무 쉽게 아바타를 만든 한국인의 아이디어

음성 기반 AI 아바타 생성 솔루션 개발기

창업 기업은 한 번 쯤 자금 부족에 시달리는 등 큰 시행착오를 겪는 ‘데스밸리(죽음의 계곡)’를 지납니다. 이 시기를 견디지 못하면 아무리 좋은 기술력, 서비스를 갖고 있다 해도 생존하기 어려운데요. 잘 알려지기만 하면 시장에게 좋은 반응을 얻을 수 있는 중소기업이 죽음의 계곡에 빠지게 둘 순 없습니다. 이들이 세상을 바꿀 수 있도록 응원합니다.

카메라나 VR 기기 없이 목소리만으로 나를 닮은 아바타를 만들어 주는 기술을 개발한 플루언트 전예찬 대표. /더비비드

IT업계의 새 트렌드로 ‘메타버스(Metaverse)’가 떠오르면서 전 세계 메타버스 관련 시장이 급성장하고 있다. 문화체육관광부는 국내 실감형 콘텐츠 시장 규모가 2020년 2조8000억원에서 2022년 11조7000억원으로 약 5배가량 커질 것이라고 전망했다.

메타버스 생태계에 다양성을 더할 여러 스타트업이 등장하고 있다. '플루언트(FluenT)’는 음성 인식만으로 3D 아바타를 생성하는 인공지능(AI) 기반 기술을 개발했다. 카메라나 VR 기기 없이 목소리만으로 나를 닮은 아바타를 만들어 주는 기술이다. 플루언트의 전예찬(26) 대표를 만나 메타버스 시장에 주목한 이유를 들었다.

◇말로 세상을 바꾸는 기업가의 꿈

플루언트 전예찬 대표. /전예찬 대표 제공

어릴 적부터 창업이 꿈이었다. 자서전과 위인전을 끼고 다니며, 거장들의 명언을 가슴에 품고 살았다. 2015년에 한동대학교 ICT 창업학부에 진학해 부전공으로 제품 디자인을 공부했다. 졸업 직후인 2019년 첫 창업에 도전했지만 보기 좋게 실패했다.

-어떤 시도를 했나요.

“지그재그 같은 인공지능 기반의 패션 아이템 추천 플랫폼을 구축하려 했어요. 개발자까지 구한 상태였죠. 야심 차게 플랫폼을 준비하던 중 개발자가 다른 회사에 취업해서 프로젝트를 진행할 수 없는 상황에 처했어요. 개발 능력이 없는 저는 발만 동동 굴리다 결국 첫 창업 아이템을 내려놓아야 했죠.”

한동대학교 ICT 창업학부 재학 시절 전 대표의 모습. /전예찬 대표 제공

-속상했겠어요.

“제게 부족한 걸 깨달았던 계기였어요. 기술을 모르면 이런 일이 또 반복될 수도 있겠단 생각에 기술 공부를 하기로 결심했습니다. 2019년 HuStar(대경혁신 인재양성 프로젝트)에 참가했어요. 5개월간 소프트웨어와 인공지능을 공부한 후 포항공대 인공지능 연구원에서 3개월간 실무 인턴을 하는 코스였죠.

그곳에서 Python(파이썬), Java(자바) 등 프로그래밍 언어를 배우고 소프트웨어 품질 교육을 받았어요. 이후 연구원으로서 컴퓨터 비전(computer vision·컴퓨터를 활용해 인간의 시각적인 인식 능력을 재현하는 연구 분야), 자연어, 데이터 분석 방법 등을 연구했습니다.”

◇코로나 마스크 착용에서 떠올린 뜻밖의 창업 아이템

언어 치료 애플리케이션 ‘AVOCADO(아보카도)’의 개발 당시 모습. /전예찬 대표 제공

포항공대 인공지능 연구원에서 1년 5개월간 연구원으로 근무하며 호시탐탐 재기의 기회를 노렸다. 기회는 예상보다 일찍 찾아왔다. 2021년 7월 포항공대 인공지능 연구원의 사내벤처로 AI 기술 스타트업 ‘플루언트’를 발족해 언어 치료 애플리케이션 ‘AVOCADO(아보카도)’ 개발에 들어간 것이다.

-아보카도는 어떤 서비스인가요.

“메타버스 플랫폼상에서 특정 소리에 맞는 입 모양을 보여주는 서비스예요. 영유아의 언어 능력 향상을 위해 정확한 시각 정보를 제공하는 게 주 목적이죠. 예컨대, 부모가 ‘사랑해’라는 말을 하면 앱이 소리를 인식해서 부모님을 닮은 얼굴이나 아이들이 좋아하는 캐릭터가 그 입 모양을 따라 해요. 일종의 음성 인식 기반 아바타 생성 솔루션인 거죠.”

오바마 전 미국 대통령의 목소리를 인식해 아바타가 말하는 모습. /더비비드

-왜 언어 치료 아이템이었나요.

"거장들의 명언을 신조로 달고 사는 사람으로서 ‘언어’의 힘을 믿었어요. 다양한 행동이나 가치를 끌어내는 힘을 가진 언어로 창업을 하고 싶다고 생각했거든요. 때마침 코로나 19로 마스크 착용이 일상화되면서 아동의 ‘언어 학습’이 화두가 됐어요. 보통 아이들은 2~5세에 언어 학습 능력이 폭발적으로 성장해요. 그런데 많은 시간을 마스크를 쓴 채로 보내다 보니까, 아이들이 부모님의 입 모양을 자주 볼 수가 없잖아요. 그게 언어 발달에 큰 영향을 미칠 거라고 생각했어요. 시각적 정보 차단으로 인해 생기는 언어 능력 저해 문제를 해결하고 싶었어요.”

-어떤 기술을 기초로 했나요.

“표준화한 음성을 3D 아바타 얼굴의 특징에 맞게 변환하는 게 저희 기술의 기본 원리예요. 우선 카메라 없이 음성만으로 입 모양과 턱 모양을 추정하는 엔진부터 구축했어요. 이후 20분 정도의 영어와 한국어 데이터 세트(data set)를 인공지능에 학습시켜서 다양한 음성을 인공지능이 인식할 수 있도록 표준화하는 기술도 만들었습니다. 연기자가 소리를 내면, 인공지능 아바타가 음성에 맞는 하관 모양을 구현해요.”

◇언어치료에서 메타버스로 경로를 튼 계기

3D 아바타 구현 모습. /전예찬 대표 제공

아보카도의 프로토타입(prototype·시제품)까지 개발했다가 예상치 못한 문제점에 직면했다. 언어 치료 시장이 크지 않아 서비스의 확장성이 불투명했던 것이다. 아보카도의 공익성은 부정할 수 없지만 회사의 생존을 위해 노선 변경이 불가피했다. 2021년 하반기 피보팅(pivoting·사업 모델 전환) 단행을 결정했다.

-사업 모델을 어떻게 전환하기로 했나요.

“음성을 기반으로 AI가 메타버스 속 아바타를 생성하는 솔루션을 개발하기로 했어요. 메타버스 시장이 본격 확장하는 시점이라 출사표를 던져보기로 한 거죠. 아직 국내 메타버스 시장에 출시되지 않은 기술이어서 경쟁력이 있을 거라는 확신도 있었고요.

회사 자원을 효율적으로 활용하겠다는 전략적 판단이기도 했습니다. 기존의 음성 인식 기반 아바타 생성 솔루션을 언어치료 분야에서 메타버스 플랫폼으로 옮기기만 하면 되니까요. 배우는 그대론데 무대만 바뀌는 셈이죠. 아보카도의 프로토타입 모델을 메타버스 플랫폼에 맞게 최적화하는 작업부터 들어갔습니다.”

'플루언트'는 소리만으로 표정과 감정을 구현하는 3D 아바타 기술을 개발했다. /전예찬 대표 제공

-캐릭터가 음성에 맞춰서 입 모양을 바꾸는 기술은 어떤 경쟁력이 있나요.

“시중의 아바타 관련 기술은 디테일한 감정을 표현하지 못해서 현실감이 떨어지는 경우가 많아요. 예를 들어 제페토(ZEPETO)나 스노우(SNOW) 같은 경우 카메라로 얼굴의 특징점을 트래킹해서 비슷한 캐릭터를 만드는 수준이죠. VR 기기를 착용해서 가상현실에 접속할 경우엔 얼굴을 실시간으로 추적할 수 없다는 한계점이 있고요. 그래서 소리만으로 표정을 구현하는 방식을 택한 거예요. 음성으로 아바타의 입 모양, 턱 모양이 일치하게끔 대응하기 때문에 보다 현실감을 느낄 수 있죠. 카메라를 활용하지 않기 때문에 초상권 문제로부터 자유로웠고요.”

-플랫폼 전환의 효과는 어땠나요.

“타깃을 언어 치료 수요자가 아니라 메타버스 플랫폼 전반으로 바꾸니 활용도가 높아졌어요. 3D 아바타 시장뿐만 아니라 1인 미디어 시장, 온라인 강의 시장, 가상 비서 시장 등에도 접목할 수 있죠. 저희 기술을 보다 다양한 영역에 접목할 수 있도록 업계 표준값을 차용했어요. 애플의 증강 현실(AR) 기술에도 활용되는 값(Blendshape key)이죠.”

◇플랫폼 창업의 핵심은 ‘기술 선점’

은행권청년창업재단(디캠프)의 창업경진대회 '디데이' 당시 전 대표의 모습. /전예찬 대표 제공

6개월을 솔루션 개발에 쏟아 기술 데모 버전 개발을 완료했다. 영상 촬영 없이 음성만으로 아바타를 생성한다. 음성 시그널을 학습한 인공지능이 알아서 가장 적합한 아바타의 표정을 보여주는 식이다. 인간의 감정을 중립, 행복, 분노, 슬픔, 놀람, 혐오, 두려움의 7가지로 분류해 학습시켰다. 감정 분류 알고리즘을 적용해서 음성을 듣고 표준화된 감정을 분석한 뒤 캐릭터 표정에 반영할 수 있다.

아직 서비스를 상용화하지 않았음에도 불구하고 업계의 주목을 받고 있다. 지난 1월 ‘실재감 테크’를 주제로 한 은행권청년창업재단(디캠프)의 창업경진대회 ‘디데이’에서는 최종 6개사로 선정됐다.

-앞으로 계획은요.

“본격적으로 투자 유치를 받으려고 준비 중입니다. 2022년 상반기 안에 3억원 가량의 시드 라운드(창업 초기 단계) 투자를 유치하는 게 단기적인 목표예요. 인공지능 개발을 맡아줄 CTO(최고기술경영자) 영입 계획도 있습니다. 1년 내로 30억원 이상의 Pre-A 단계(프로토타입 개발부터 시장 공략 직전까지의 초기 기간) 투자 유치도 가능할 것으로 보고 있어요. 다른 국내외 기업들도 음성 기반 안면 애니메이션 생성 기술 연구를 진행하고 있지만, 아직 저희처럼 세부적인 감정 구현이 완료된 기술은 찾기 힘드니까요.

궁극적인 목표는 해외 진출이에요. 회사를 잘 키워서 3~4년 이내에 기업 인수 합병(M&A) 기회를 모색해 볼 예정이에요. 차근차근 단계를 밟아 해외 메타버스 플랫폼 및 애니메이션 기업에 저희 기술을 적용하고 싶어요.”

전예찬 플루언트 대표. /더비비드

-창업자로서 꼭 가져야 할 자세가 있다면요.

“포기하지 않는 정신과 철저한 준비가 무엇보다 중요하다고 생각해요. 회사에 다니면서 같은 루틴을 반복하는 일이 지겹고 무료할 수 있잖아요. 그것 때문에 일확천금을 노리고자 창업에 급하게 뛰어들면 보통은 실패해요. 모든 시장은 빠르게 변합니다. 플랫폼 혹은 기술 창업에 뛰어들 때는 시장 조사를 철저히 해서 남들이 쉽게 따라오지 못할 기술을 선점해야 해요. 끝까지 포기하지 않고 그 시장을 개척해 나가면 언젠가는 남들과 격차가 벌어져 있을 거라고 믿어요.”

/박지연 에디터

728x90