디즈니 플러스의 만달로리언 시리즈의 비하인더씬 영상을 보신분이라면 아실지도 모르겠지만, 기존의 그린스크린 제작방식을 탈피해 언리얼 게임엔진을 이용해 버츄얼 프로덕션이라는 제작방식에 대한 관심이 전세계적으로 뜨겁습니다. 코로나 바이러스의 영향으로 비대면 시대가 가속화 되면서 버츄얼 프로덕션에 대한 관심과 투자도 가속화 되어가고 있습니다. 이런 가운데 언리얼엔진에서 이번에 메타휴먼 생성기라는 툴을 내놓아 영화기술자들과 게임 개발자들에게 주목을 받고 있습니다. 

메타휴먼 생성기는 최근 베타테스팅을 마치고 드디어 초기 서비스를 시작했습니다. 인간과 꽤 흡사한 캐릭터를 쉽게 만들어 게임엔진이나 3D 프로그램에서 쓸 수 있게 만들어 놓았습니다. 온라인 앱에서 마치 게임 캐릭터를 생성하듯 정해진 프리셋이나 직접 모양을 조절해서 생성할 수 있기 때문에 모델링 지식이 전무하더라도 상관없습니다. 직접 한번 써보면 알 수 있지만 사람의 눈동자의 복잡한 패턴부터 다양한 피부, 얼굴의 미세한 근육까지 재현해놓았습니다.

언리얼엔진에서 베타테스팅 기간동안 제공한 두명의 메타휴먼입니다.

라이팅과 카메라 앵글에 따라 피부의 질감과 얼굴 근육등이 돋보이는 것을 볼 수 있습니다.

현재 언리얼엔진의 플러그인 메가스캔 브릿지 앱에서 다운받아 쓸 수 있는 프리셋 메타휴먼입니다

제가 온라인 메타휴먼 앱에서 커스텀으로 제작한 메타휴먼 파일입니다. 앱이 온라인이라 서버과부하 때문에 유저들 세션시간은 제한 해놓았습니다. 서두르다보니 스크린샷을 깜빡했네요. 마야 같은 프로그램에서 원하는대로 더 편집해서 쓸 수 있다고 합니다. 다운로드 받고 언리얼엔진으로 출력합니다. 다운로드 받을 때 꽤나 오래걸립니다, 거의 한 40분? 그냥 켜놓고 다른 것 하다보면 받아집니다. 

언리얼엔진에 처음 가져온 모습입니다. 셰이더 컴파일링도 좀 오래걸립니다. 아무래도 포함된 구성이 많다보니 그런것 같습니다. 

너무 휑하면 재미없으니 돌맹이라도 몇개 쌓아놓고 시작해봅니다. 

적당히 만들어놓고 시퀀서 열어서 메타휴먼을 추가해보니 딱봐도 움직임을 조절하는 슬라이더 같은 것들이 잔뜩 보입니다. 얼굴 근육만 수십가지 되고, 고개를 돌리고 드는 것부터 다섯 손가락 마디까지 전부 다 컨트롤 가능합니다. 컨트롤 리그 (Control Rig) 라는 이름이네요. 익숙해지는데에는 그리 오래 안걸립니다. 하지만 동작을 자연스럽게 하는 것은 저 같은 초심자에게는 좀 어렵습니다. 

찡그리는 표정 한번 해봤습니다.

https://youtu.be/P9B1pLGJxc4

대충 몇가지 간단한 동작을 만들고 라이팅에 좀 더 신경써서 영상클립으로 만들었습니다. 동작이나 표정은 시간을 별로 안써서 영 어색하네요. 네? 시간을 쓰면 나아지냐고요? ㅠㅠ

얼굴 동작을 아주 쉽게 자연스럽게 하는 방법이 있었습니다. 라이브 링크 페이스라는 앱인데 언리얼엔진의 라이브링크 플러그인이랑 연결이 가능해서 아이폰X 이상만 있으면 얼굴 표정 모션캡쳐가 가능합니다. 살다보니 제가 아이폰을 필요로 할 때가 오네요. 아무리 그래도 아이뻐를 살수야 없으니 와이프님 것을 잠시 빌려 썼습니다

앱 메뉴에 들어가서 라이브링크 누르고 

타겟설정에서 컴퓨터 아이피만 넣으면 된다고 튜토리얼들에서 그러던데…. 왜 저는 안될까요…. 한 두시간 동안 미치고 팔짝뛰다가 언리얼엔진에서 ARKit 이라는 플러그인도 켜야된답니다, 진작에 말좀…. 네? 제가 안읽은게 아니냐고요? ㅠㅠ 

어쨌든 우여곡절 끝에 성공입니다. 제 못난 얼굴을 무시하시고, 어쨌든 잘 되서 기분 좋아서 웃는 중입니다.

https://youtu.be/JZpf_NwvvX4

핸드폰은 와이파이고, 컴퓨터는 파워라인 어댑터이고, 랜네트워크로 작동하는 원리인데. 생각보다 랙이 별로 없네요. 아니 거의 없다고 봐도 좋을 정도로 실시간으로 동작이 전달됩니다. 

립싱크 노래방을 한번 해봤습니다. 이게 랙이 있었으면 어려웠을지도 모르겠는데, 아주 수월하게 했습니다. 얼굴 표정이 아주 다양하게 구현이 됩니다, 표정으로 연기하는 법을 배워야겠습니다. 다음에는 몸동작도 추가해서 만들어 봐야겠습니다.