엔씨 이제희 CRO "디지털 휴먼 기술이 엔씨의 미래 비전"

게임와이 · 2022.05.16 13:15:22

엔씨소프트가 올해 4월 신규 영입한 이제희 CRO(Chief Research Officer, 최고연구책임자)와의 인터뷰 내용을 공식 블로그와 유튜브를 통해 공개했다. 인터뷰에서는 이제희 CRO가 학자로서 진행해온 연구와 엔씨(NC)에 합류하게 된 배경, 앞으로 나아갈 비전과 목표를 제시했다.

이제희 CRO는 컴퓨터 그래픽스 및 애니메이션 분야 석학으로 2003년부터 서울대학교 컴퓨터공학부 교수로 재직했다. 물리 기반 동작 제어, 데이터 기반 동작 학습 및 생성, 사실적인 인체 모델링 분야에서 세계적 수준의 연구 결과들을 발표했고, 한국컴퓨터그래픽스학회 회장 및 SIGGRAPH Asia 2022 Technical Papers 위원장 등을 역임했다. 2019년에는 세계 최초로 딥러닝 기술을 활용해 사람의 근골격계 움직임을 구현하는 데 성공했다. 2022년 4월 연씨(NC) 최고연구책임자(CRO)로 임명되어 애니메이션 및 AI 연구개발(R&D) 조직을 이끌고 있다.

Q. 서울대학교 컴퓨터공학부 교수로 오랜 기간 재직했다. 주요 연구 분야는 무엇이었는가?

A. 컴퓨터 그래픽스를 전공했다. 어릴 때부터 그림 그리는 것을 좋아했는데 재능이 없었다. 그림 그리는 것을 좋아하지만 재능은 없는 사람은 무엇을 해야 할까 고민하다 컴퓨터 그래픽스를 선택했다. 컴퓨터 그래픽스는 크게 모델링, 렌더링, 애니메이션 3개 분야로 나뉘는데, 나는 초창기부터 애니메이션 분야를 연구한 멤버 중 한 사람이었다.

처음에는 모션 캡처한 데이터로 어떤 새로운 것을 만들 수 있는지를 고민했고, 그 다음에는 두 발로 걷는 사람이 어떻게 넘어지지 않고 균형을 유지하며 걸을 수 있는지를 고민했다. 이후에는 사람의 모델을 깊이 연구하며 해부학적 구조를 파헤치기 시작했다. 뇌에서 시작해 근육과 뼈를 움직이는 시그널을 연구하고, 이를 기반으로 컴퓨터에서 걷고 뛰고 움직이는 복잡한 움직임을 구현했다. 약 30년간 다양한 연구를 수행해왔는데, 그 본질은 결국 '사람이 어떻게 움직이나'라는 주제에 대한 탐구였다.

Q. 딥러닝 등 AI 기술을 활용해 다양한 연구를 진행했다고 들었다.

A. 내가 수행했던 연구 중 사람의 해부학적 구조와 걸음걸이 간의 관계를 학습한 사례가 있다. 사람을 해부학적으로 모델링하여 각 뼈의 길이부터 틀어짐, 근육 하나하나의 길이와 발휘할 수 있는 힘을 전부 풀어내면 파라미터(parameter)가 몇천 차원이 나오는 굉장히 긴 벡터 스페이스(vector space)로 표현할 수 있다.

이때 딥러닝은 그 몇 천 차원과 사람의 걸음걸이 간의 매핑(mapping)을 학습하는 것이다. 오랫동안 수없이 많은 학습 과정을 반복하면 사람의 움직임을 사전 학습한(pretrained) 대형 네트워크를 얻을 수 있다. 이 프리 트레인드 네트워크를 활용하면 머신러닝 전문가가 아니더라도 의사나 재활의학 분야 종사자, 바이오 메카닉스 분야 등에서 무궁무진한 일을 수행할 수 있게 된다.

Q. 애니메이션 기술은 게임에서도 활발하게 연구되고 적용되고 있다. 게임 애니메이션은 어떻게 발전할 것이라고 생각하는가?

A. 앞서 컴퓨터 그래픽스는 크게 3개 분야로 나뉜다고 이야기했는데, 게임에서 모델링과 렌더링 분야는 지난 몇 십년간 꾸준히 새로운 기술을 도입하며 퀄리티가 계속 높아졌다. 반면 애니메이션 분야는 지난 20년간 기술이 크게 진전되지 않았다. 캐릭터를 움직이는 애니메이션은 메인 로직과 직접적으로 연결되어 있기 때문에 한 번 시도했다가 백업하는 것도 불가능하다. 그렇기에 기술적으로 새로운 시도를 하기가 어려웠다.

하지만 딥러닝을 포함한 AI 기술이 발전해서 게임에 적용되는 애니메이션 기술도 큰 변화를 앞두고 있다. 지금은 움직임(motion)을 캡처한 데이터를 애니메이터들이 하나하나 연결해서 움직임을 구현하고 있지만 앞으로는 머신러닝 기술을 통해 데이터를 수집하고 컴퓨터에서 구현하는 일련의 과정을 효율화할 수 있을 것이다. 이제 혁신의 바로 직전까지 도달했다. 그 터닝포인트에서 누가 먼저 도전을 시작하느냐가 문제인데, 내가 엔씨(NC)의 CRO로 온 만큼 엔씨(NC)가 변화를 이끄는 선두 주자(pioneer)가 되지 않을까 생각한다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 연구자에서 기업의 최고연구책임자(CRO)로 도전하기까지 많은 고민이 있었을 것 같다.

A. 엔씨(NC)에 갔다고 하면 의외라며 놀라는 주변 사람이 많다. 그동안 내가 수행한 연구가 게임과 관련 없다고 생각하기 때문인 것 같은데, 나는 오히려 관련이 많다고 생각했기에 큰 이질감이 없었다. 연구자로서 학계에서 해볼 수 있는 것들은 다 해봤다고 생각했고 앞으로 새로운 도전을 해보고 싶었기에, 엔씨(NC)로 오겠다고 결정하는 일이 크게 어렵지는 않았다.

Q. 엔씨(NC)의 비전 중에서 어떤 부분에 공감하였는지?

A. 컴퓨터 그래픽스를 공부해온 지난 29년간 나의 꿈이자 화두는 '사람을 어떻게 컴퓨터로 표현하고 재현할 수 있는가'라는 주제였다. 엔씨(NC)의 AI 센터는 내가 연구자로서 가져온 꿈과 동일한 목표를 가진 곳이기에 그 비전에 공감하고 결정을 내릴 수 있었다.

Q. 엔씨(NC)에서는 주로 어떤 업무를 수행할 것인가?

A. 대학 교수로 있을 때보다 할 수 있는 일의 범위가 넓어졌다. 대학 연구실에서는 학문적 배경이 비슷한 사람들이 모여서 연구를 수행했다. 엔씨(NC)는 AI 센터만 하더라도 게임 AI, 스피치 및 비전 AI 등 여러 분야 연구를 수행하고 있고, 그 작업을 연구 레벨에서 하는 사람, 그 연구 결과를 프로듀싱하는 사람 등 다양한 구성원이 모여 있다. 대학에서는 아이디어를 내고 그 가능성을 보여주는 것에 그쳤다면, 엔씨(NC)에서는 여러 사람의 능력과 수없이 많은 아이디어를 모아서 '디지털 휴먼'처럼 하나의 완성된 결과물을 만들어가려고 한다.

Q. R&D 기술의 관점에서 엔씨(NC)의 미래 성장 동력을 확보하는 데 중요한 분야 또는 키워드가 무엇이라고 생각하는지?

A. 게임은 현실을 가상 환경에서 사실적으로 재현하고 그 위에 우리의 창조적 상상력을 덧붙인 세계라고 할 수 있다. 지난 20년 동안 게임에서 중요했던 이슈는 캡처, 스캔 같은 재현 기술을 통해 현실의 세계를 얼마나 사실적으로 모델링하느냐였다. 하지만 앞으로의 20년은 가상 환경에 구축한 현실 세계와 그 위에 덧붙이는 상상력의 세계가 어떻게 상호작용할 수 있을지, 즉 어떻게 '인터랙션'을 모델링하느냐가 중요하다고 생각한다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 인터랙션은 게임이 가진 가장 큰 특징이다. 이 말인 즉, 인터랙션이라는 개념이 새롭진 않아 보인다. CRO님이 구현하려는 인터랙션은 무엇인가?

A. 어떤 대상이 단순히 화면 속에만 존재하는 것이 아니라 서로 대화하고 교감하고 물리적으로 상호작용하는 대상이 되고 현실과 상상의 결합이 중요해질 것이다. 인터랙션은 가상과 가상의 존재 간에, 또는 현실과 가상의 존재 간에 일어날 수도 있다. 인터랙션의 본질은 '불확실성'에 대한 자연스러운 반응이다. 예측하지 못한 수많은 변수에 자연스럽게 대응할 수 있는 것, 그것이 엔씨(NC)가 추구하는 인터랙션이다. 그러한 인터랙션을 구현하는 것 자체가 굉장한 일이 될 것이다.

가령 디지털 휴먼은 인터랙션의 정점이라고 할 수 있다. 진정한 의미의 디지털 휴먼은 사람의 외형을 닮고 고정된 화면 속에 존재하는 정도를 넘어서 '나'와 소통할 수 있고 나의 표정을 읽고 반응하며 나를 기억하고 인터랙션할 수 있는 대상이어야 한다고 생각한다.

Q. '디지털 휴먼'은 현재 산업계에서 가장 화두가 되는 키워드이다. 디지털 휴먼을 구현하는 데 가장 중요한 것은 무엇인가?

A. 디지털 휴먼을 구현하기 위해서는 단순히 한두 가지 기술에 집중하기보다는 여러 기술을 유기적으로 연결하는 시스템적 사고방식이 가장 중요하다. 딥러닝, 물리 시뮬레이션, 컴퓨터 비전, 음성 합성, 음성인식, 챗봇 등 다양한 기술을 복합적으로 구성하고 하나의 시스템으로 구축하는 과정이 기술적 도전이 될 것이다. 지난 몇 년 사이에 디지털 휴먼을 만드는 데 필요한 컴포넌트들이 엄청나게 발전했다. 딥러닝 기술이 가져온 영향 덕분이다. 이제는 '나'와 소통하고 교감할 수 있는 디지털 휴먼을 만들 수 있는 세상이 되었다고 믿고 있다.

Q. 엔씨(NC)가 만드는 디지털 휴먼은 어떤 모습일까?

A. 단순히 디지털 휴먼의 상에 대한 담론보다는, 디지털 휴먼 기술 자체가 엔씨(NC) 안에서 시사하는 바가 크다고 생각한다. 드라마를 예시로 든다면 출연하는 배우의 역량이 뛰어날수록 전체적 퀄리티가 높아지고 제작하는 데 드는 비용과 노력이 적어질 것이다. 게임 안의 캐릭터와 게임 간의 관계도 마찬가지다. 한마디로 말해서 고도화한 디지털 휴먼을 만들어낸다는 것은 곧 엔씨(NC)에서 만드는 모든 서비스의 퀄리티가 높아지고 비용과 노력은 절감된다는 것을 의미한다. 디지털 휴먼 기술은 엔씨(NC)의 미래 비전이자 중요한 기반 기술이 될 것이다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 게임 콘텐츠의 가능성에 대해서 어떻게 생각하는지?

A. 게임은 앞으로 절대 없어지지 않을 콘텐츠고 우리 사회에 꼭 필요하다고 생각한다. 게임 콘텐츠의 가능성은 무궁무진하다. 엔씨(NC)의 최고연구책임자로서 게임 콘텐츠가 어디까지 확장될 수 있을지를 끊임없이 탐구하고 그 경계를 넓히는 것이 AI 센터의 역할이라고 생각한다.

Q. 그럼 '게임의 한계를 넓히는 역할'이 R&D 조직의 비전인가?

A. R&D 부서는 엉뚱한 일을 벌이는 곳처럼 보이기도 하지만, 결국 궁극적으로는 다른 팀들에 영감(inspiration)을 주는 일을 한다. 단순히 게임 개발 프로세스를 효율화하는 것이 주요 목적은 아니다. 게임 개발 과정에서 가능할 것이라고 생각하지 못한 것을 보여주는 곳, 새로운 비전을 끊임없이 보여주고 개발 부서의 상상력을 한 차원 더 높여주는 역할을 수행하는 곳이 R&D 부서라고 생각한다. 게임 회사들 중에서 R&D 조직을 제대로 유지하고 있는 곳은 별로 없다. 국내 게임 회사들 중에서는 엔씨(NC)가 유일하지 않을까 싶다. 그것이 엔씨(NC)에 오게 된 이유 중 하나이기도 하다.

Q. 그 과정에서 CRO의 역할이 중요해 보인다.

A. 큰 도약을 이루기 위해서는 많은 시행착오를 거듭할 수밖에 없다. 그런 측면에서 R&D 조직에서 일하는 사람들에게 가장 필요한 것은 인내심이다. 도전을 격려하고, 무슨 일이 생겨도 괜찮으니 계속하라고 말해주는 것이 CRO의 임무라고 생각한다. 직원들이 더 길게 더 멀리 볼 수 있도록 여유와 용기를 주는 응원단장 같은 사람이 되려 한다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 마지막으로 엔씨(NC)에서 이루고 싶은 목표가 있다면?

A. 서울대학교에서 교수로 재직하며 아쉬웠던 점이 있다면 새로운 아이디어를 내고 연구한 결과가 논문을 내는 단계에서 끝난다는 것이었다. 엔씨(NC)는 그다음 단계까지 마음껏 도전할 수 있다는 점에서 기대하는 바가 크다. 현실의 문제를 해결하고 이로부터 가치를 창출하는 단계까지, 끝까지 가보고 싶다.

▶ 엔씨, 1분기 실적발표후 주가 급상승...최저치 찍고 '방긋'▶ 넥슨 서브브랜드 '민트로켓' 김대훤 총괄 부사장 "제품보다 사람을 믿기로 했다"▶ [플레이엑스포] LCK 역사에 길이남을 외인구단 '락스 타이거즈' 은퇴 인터뷰 ▶ [창간8] 게임와이가 주목한 2022년 기대작 톱8 ▶ [창간8] 대한민국 게임사의 새로운 도전과 의의 ▶ "리니지, 던파, 오딘?" 원스토어 이재환 대표 "톱5 게임 중 2개 입점 논의 중"▶ '소통 행렬' 이어받은 엔씨, 곧 TJ(김택진)도 나온다!▶ "웹 3.0은 C2E 가속화의 발판" 크래프톤 박형철 실장 ▶ [인터뷰] 카카오 기대작 '디스테라' 최현동 기획팀장, "여러 장르 혼합해 진화하는 것이 목표"

번호	제목	글쓴이	작성일	조회	추천
설문	힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는?	운영자	24/06/10	-	-
이슈	[디시人터뷰] 웃는 모습이 예쁜 누나, 아나운서 김나정	운영자	24/06/11	-	-
1512	닌텐도스위치용 모델 시뮬레이션 '모델 데뷔 2 니콜라' 한국어판 출시 결정!	게임와이	22.06.13	142	0
1511	더샌드박스, 이승희 대표이사 임명...5대게임사 출신	게임와이	22.06.13	112	0
1510	[리뷰] 머지(Merge) 게임 장르의 정점을 찍다...'머지쿵야 아일랜드' [1]	게임와이	22.06.12	162	0
1509	'미르M' 이장현 실장, "보편화된 BM이며 장비 파밍은 과하지 않다"	게임와이	22.06.10	171	0
1508	메타버스에서 제품을 알리는 방법...올림플래닛, 7월 '엘리펙스 써밋' 연다!	게임와이	22.06.10	119	0
1507	명품 게임은 우아하게 오케스트라를 연다 [9]	게임와이	22.06.10	775	0
1506	스타크래프트2 감독, 무료 RTS '스톰게이트' 발표	게임와이	22.06.10	257	0
1505	식인 상어 게임 '맨이터' 무료...웃긴 염소 '고트 시뮬레이터3' 나온다	게임와이	22.06.10	130	0
1504	마이크로소프트, PC Game Pass 체험 팝업 PC방 오픈 [1]	게임와이	22.06.10	131	0
1503	닥터 스트레인지, 아이언맨 다 나온다...2K, '마블 미드나잇 선즈' 출시 [4]	게임와이	22.06.10	2960	4
1502	라인게임즈, 엑소스히어로즈 '확률업'으로 재미UP [1]	게임와이	22.06.10	112	0
1501	사전등록자 100만명 돌파...헌터W·잇츠미·아터리 기어	게임와이	22.06.10	118	0
1500	6월 말 모바일 게임 시장은 '전쟁'...대형 모바일게임 6종 출시	게임와이	22.06.10	121	0
1499	위메이드, 위믹스 글로벌 생태계 확장 광속도...일주일 새 6곳에 투자	게임와이	22.06.10	99	0
1498	협곡에 등장한 공허의 여제 '벨베스'...차기 시즌 장악할까	게임와이	22.06.10	106	0
1497	[NDC2022] 게임회사 정년퇴직보다 중요했던 '이것'	게임와이	22.06.10	123	0
1496	[NDC2022] 넥슨, 신작 '제우스' 최초 공개....음악으로 알아보는 '제우스'의 분위기	게임와이	22.06.10	127	0
1495	[카드뉴스] 금주의 게임뉴스 탑5 - NDC 2022 개막	게임와이	22.06.10	88	0
1494	대세는 '버추얼 휴먼!'...'불쾌한 골짜기' 극복한 온마인드 '수아' [54]	게임와이	22.06.10	5597	4
1493	[NDC2022] 넥슨, 'NDC' 뿐만 아니라 다채로운 활동 영역 선보여...넥슨 소식 '종합'	게임와이	22.06.09	132	0
1492	[NDC2022] '공성전의 대중화'는 정말 가능할까?	게임와이	22.06.09	105	0
1491	[기획] 게이머는 행복해…6, 7월 대작의 향연 이어진다 [2]	게임와이	22.06.09	182	0
1490	[NDC2022] 블록체인 기술이 게임과 만나면 어떤 미래가 펼쳐질까?	게임와이	22.06.09	103	0
1489	하반기 신작 출격 기대감...엔씨·크래프톤 주가 회복하나?	게임와이	22.06.09	96	0
1488	'귀멸의 칼날 히노카미 혈풍담', 닌텐도스위치 버전 출시...특전은?	게임와이	22.06.09	138	0
1487	'사이쿄 슈팅 라이브러리 Vol.1' PS4 한국어 패키지판 10일부터 예약 판매	게임와이	22.06.09	75	0
1486	팔콤 '영웅전설 여의 궤적 II -CRIMSON SiN-' 한국어 버전 2022년 출시 [1]	게임와이	22.06.09	110	0
1485	캡콤 '몬스터 헌터 라이즈: 선브레이크' 아미보(피규어) 3종 세트 '예판'	게임와이	22.06.09	84	0
1484	[금주의 신작] '크리티카', P2O 게임으로 전 세계 출시 등	게임와이	22.06.09	103	0
1483	[핸즈온] 정감가는 그래픽, '씰M' 미리 즐겨보니...	게임와이	22.06.09	104	0
1482	컴투스 '크리티카 글로벌' 블록체인게임 출시	게임와이	22.06.09	114	0
1481	[NDC2022] 10분만에 둘러보는 넥슨 게임아트 메타버스 전시회	게임와이	22.06.09	85	0
1480	신작 '노아의 심장', 불, 바람, 번개에 오픈월드...'원신' 오마주? [34]	게임와이	22.06.09	2737	3
1479	블리자드, 디아블로 이모탈 굿즈 응모 이벤트 시작	게임와이	22.06.09	85	0
1478	[NDC2022] 엉덩이 반동으로 총 쏘는 게임 '니케' 이렇게 탄생했다! [61]	게임와이	22.06.09	7436	18
1477	獨 예거(Yager) 더 사이클: 프론티어' 프리 시즌 시작	게임와이	22.06.09	87	0
1476	리니지에 아이온, 신작까지...엔씨의 플랫폼ㆍ장르 다변화	게임와이	22.06.09	99	0
1475	[NDC2022] 게임에 따라 공통되는 부분을 자동화하여 시간과 비용을 절감하는 게임 QA	게임와이	22.06.09	91	0
1474	[NDC2022] '블루 아카이브' 지루한 '2D 시나리오', 갓게임으로 연출한 비결 [91]	게임와이	22.06.08	4176	21
1473	[LCK 미디어데이] '페이커' 이상혁, "MSI 참가 불리함 없다, 기대되는 선수는 쇼메이커"	게임와이	22.06.08	160	2
1472	위메이드 '미르M' 총력전...위믹스 날아오를까?	게임와이	22.06.08	91	0
1471	금강선 디렉터의 '마지막 인사'...로아 콘서트 '디어 프렌즈' 성료	게임와이	22.06.08	125	0
1469	엔드림·조이시티, 블록체인 기술 적용 신작 2종 공개	게임와이	22.06.08	74	0
1468	팡스카이, P2E게임 '림버스' 담을 '카이로스' 거버넌스 선보인다	게임와이	22.06.08	71	0
1467	넵튠도 메타버스에 탑승...컬러버스 공개 [10]	게임와이	22.06.08	2907	3
1466	2천만DL '고양이와 스프', 라인 스티커 나왔다	게임와이	22.06.08	93	0
1465	[NDC2022] 배그M 이용자 70명이 '모징어게임' 영상을 찍을 수 있었던 이유 [4]	게임와이	22.06.08	2313	3
1464	'쓰알(SSR)' 이순신을 원하는가...IGG, 방치형 RPG 신작 '미틱 히어로즈' 예약	게임와이	22.06.08	100	0
1463	[NDC2022] 넥슨 1호 블록체인 게임은 '메이플스토리'! [19]	게임와이	22.06.08	1901	3
1462	[NDC2022] 넥슨 신작 '프로젝트 제우스' 베일 벗는다...넥슨 신작 5종이 한 자리에	게임와이	22.06.07	155	0

갤러리 검색

최근 방문

즐겨찾기

즐겨찾기 갤러리

게임와이 갤러리

머리말∙꼬리말

머리말∙꼬리말

색상 설정

갤러리 정보

스포일러 경고 설정

제목에서 경고

본문에서 경고

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[게임와이 갤러리]

갤러리 본문 영역

엔씨 이제희 CRO "디지털 휴먼 기술이 엔씨의 미래 비전"

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

실시간 베스트

뉴스

디시미디어

디시이슈

개념글[국내야구]

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결