3·2 버츄얼 싱어의 라이브를 지원하는 기술

여기서부터, 현실 회장에의 버츄얼 싱어의 라이브의 미래에 관한 기술적인 포인트를 제시한다. 구체적으로는, 실시간 렌더링과 버츄얼 프로덕션을 소개한다. 실시간 렌더링은, 게임엔진인 Unity를 채용하여 실시간으로 영상의 생성과 투영을 진행하는 것으로, 후술할 VALIS 『필연적 레종 데트르必然的レゾンデートル』와 카후 『불가해3(상)』 등에 도입하고 있다. 버츄얼 프로덕션은, 무대에 있어서 배경영상과 버츄얼 싱어의 배치를 현장에서 상세하게 실시할 수 있는 기술로, 『KAMITSUBAKI FES '23』에서는 disguise(d3 Technologies)를 활용하였다. 앞으로도 이러한 기술을 도입하여 XR LIVE의 연구개발을 진행할 예정이다.

§1 실시간 렌더링

렌더링이란 3차원의 모델이나 데이터를 영상으로써 투영할 수 있게 하는 공정이며, 실시간 렌더링은 높은 계산기 능력으로 그것을 실시간으로 진행하는 것이다. 카후의 라이브에서는 라이브 제작을 담당하는 팀에 의해 독자적으로 커스터마이즈된 아바타 표현 시스템을 활용하고 있어, 그것에 Unity에 의해 작성된 HD 렌더 파이프 라인(High Definition Render Pipeline, HDRP)를 도입하여 한 층 더 정밀화되는 것을 목표로 하고 있다. HDRP는 GPU의 퍼포먼스를 최적화하여, 정밀하고 고도화된 그래픽스를 렌더링할 수 있다. 서브서피스 스캐터링(Subsurface scattering)을 포함한 고도의 셰이더(Shader), 물리적으로 가능한 빛과 음영의 표현, 시네마틱한 효과 등이 가능해진다.

이러한 연구개발을 진행하여, 다인원에 대한 실시간 렌더링의 최고봉으로써 개최된 것이 VALIS의 『필연적 레종 데트르』이다. 2023년 1월 29일과 2월 4일에 각각 「Act.1」과 「Act.2」를 개최하여, 「Act.1」에는 버츄얼 아바타, 「Act.2」에는 현실의 오리진이 등장했다. 「Act.1」과 「Act.2」 양측에 대해, 기본적인 공연 구성을 통일하여, 「Act.1」의 라이브 방송용의 송출영상을 「Act.2」의 배경영상으로서 유용하는 것으로, 시간을 초월하여 버츄얼과 현실의 융합을 목표로 했다. 실시간 렌더링으로 진행한 버츄얼 라이브 「Act.1」을 배경으로 등진 오리진 라이브 「Act.2」에서는, 본인들이 「Act.1」과 완전히 일치하는 댄스 퍼포먼스를 피로했다. 그것은, 동시에 본인들의 댄스 퍼포먼스의 탁월성의 우수함을 증명하는 것으로 이어졌다.

실시간 렌더링을 활용한 라이브로써, 더욱 연출에 힘을 들인 것이 『불가해3(상)』이다. 카후의 3rd 원맨 라이브인 『불가해3(상)』은 3월 4일에 개최되어, 전편 온라인으로 송출을 진행했다. 이것은 일본 무도관에서 진행한 『불가해3(광)』의 재구축판으로, Unity 베이스의 버츄얼 라이브이다. 버츄얼 공간에 설치된, 현실의 무도관과 동일하게 제작된 개념 무도관이라고 하는 스테이지를 무대로 삼았다. 개념 무도관 이후에 카후는 거대한 엘레베이터에 탑승하여, 높이감을 느끼게 하는 다양한 스테이지를 이동하면서 카후 등이 퍼포먼스를 진행했다. 실시간 렌더링의 기술을 통해, 현장감과 실재감을 느낄 수 있는 연출을 목표로 했다.

§2 버츄얼 프로덕션

또한, 스크린에의 투영에 관해선, 스테이지에 맞춰 만들어진 배경영상을 시트에 배치해 나가는 프로젝션 매핑(Projection Mapping)을 사용한다. 여태까지는 이 배경영상과 배치를 만들어 두어야 할 필요가 있었던 것이, 버츄얼 프로덕션의 기술을 사용하여 영상편집소프트로 조정하는 것처럼 그 현장에서 레이아웃을 잡아갈 수 있게 된 것이 가장 큰 변화이다.

버츄얼 프로덕션은, 배경영상의 공간과 실제의 스테이지와 피사체를 실시간으로 동시에 촬영하여 합성하는 영상제작 플로우를 말한다. 예를 들자면, 디스플레이나 스크린에 배경을 투영하고, 그 앞에 연기자나 피사체를 두고 촬영하는 방법이 있다. 오브젝트의 추가나 변경, 이펙트를 사용한 연출 등도 가능하여, 촬영과 편집의 시간 축소, 이제는 라이브 스테이지의 설계시간의 축소까지 가능해졌다.

우리가 사용하고 있는 것은 버츄얼 프로덕션의 기술의 일부이지만, 「【조곡】 카후X타나카 #95 「비상하는 meme飛翔するmeme」【오리지널MV】」 등에서는, 버츄얼의 무대 세트를 만들고 거기에 맞추어 카메라 워크를 진행하면 세트가 따라오는 형태의 촬영을 진행했다. 또, 2023년 3월 30·31일에 개최한 KAMITSUBAKI FES '23에서도 버츄얼 프로덕션을 도입했다. KAMITSUBAKI STUDIO에 소속된 버츄얼 싱어, 싱어송라이터부터 음악적 동위체까지 많은 아티스트들이 출연했다. 이곳에서는, 버츄얼 프로덕션과 관련된 서버와 소프트웨어가 세트로 이루어진 disguise(d3 Technologies)를 사용했다. 뷰 포인트의 설정이나 연출효과의 타이밍까지, 영상자체의 레이아웃을 현장에서 진행할 수 있어, 스테이지의 최종 퀄리티 업에 불가결한 기술이었다.

구체적으로는, 앞의 사막(紗幕)에 밝은 타이포그라피가 있으면 아티스트의 얼굴이 너무 밝아진다는 문제가 있었지만, 그 타이포그라피를 현장에서 후면으로 변경하는 것 같은 수정을 가능하게 했다. 또, 앞의 사막과 1층의 디스플레이에 캐릭터가 비춰지고 있을 때, 이것들을 일체화시키는 것과 같은, 디테일한 부분까지 일치시키지 않으면 안 되는 어려운 연출도 조정하는 것이 가능하다. 이러한 기술을 발전해 나가서, 뮤직 비디오나 그 외의 용도를 위해 Unity로 미리 제작해둔 카미츠바키시라고 하는 무대를, 세트로써 현실의 회장에도 담아내어 배경으로써 투영하는 것도 가능하게 한다. 앞으로 예정되어 있는 XR LIVE(SINKALIVE 시리즈)에서는, 카미츠바키시의 모델과 스테이지의 연동을 도모할 예정이다.

4. 음악적 동위체의 개발과 프로모션의 전략

카후를 비롯한 V.W.P. 등 버츄얼 싱어의 프로듀스를 진행하는 와중에, 유저에 의한 창작의 가능성을 넓히기 위해 태어난 것이 「음악적 동위체」이다. KAMITSUBAKI STUDIO의 버츄얼 싱어의 목소리를 학습시켜 CeVIO AI(후술)의 인공 가창 소프트웨어를 개발하여, 그것을 중심으로 전개하는 다양한 기획을 종합하여 「음악적 동위체 프로젝트」로써 진행하고 있다.

본래, KAMITSUBAKI STUDIO의 버츄얼 싱어의 테마 중 하나에는, 「노래 부르는 것을 좋아하는 오리진의 소녀들의 가능성을 가상에서 확장시킨다」라고 하는 것이 있다. 그 목적을 향해 나아가는 가운데, 인간의 목소리를 기계학습시켜 인공 가창 소프트웨어인 CeVIO AI를 제작했다. 이 소프트웨어는, 소녀들을 넘어서, 많은 유저에게 있어서, 창작의 가능성을 확장할 수 있게 하는 파트너가 될 수 있다. 후술할 유저 생성 콘텐츠(UGC : User Generated Contents)의 범위를 넓혀가는 것으로, 버츄얼 싱어로서의 V.W.P.의 인지도를 넓히는 것으로도 이어진다.

이하에서는, 음악적 동위체 프로젝트의 개요, 음성 합성 소프트웨어의 내용, 그것들의 프로모션에도 관련된 유저 생성 콘텐츠의 확산과 전략 등에 대해 서술한다.

여기서 말하는 음악적 동위체 프로젝트의 동위체란, 버츄얼 싱어 그룹인 V.W.P.에 대응하는 형태로 디자인된 합성 음성 소프트 유닛.

카후의 목소리를 좀 더 많은 사람들에게 알리기 위해, 프로모션의 관점에서 시작된 프로젝트였지만, 예상을 넘는 히트작이 수없이 많이 만들어진 것으로, 유저 생성 콘텐츠를 확산시키는 전개로 이어져, 음악적 동위체를 중심으로 하는 V.I.P가 시작되었다.

4·1 음성 합성 소프트(CeVIO AI)에 대하여

음악적 동위체는, 전술한 것과 같이 KAMITSUBAKI STUDIO의 버츄얼 싱어를 모방하여 디자인된 캐릭터 집단이며, 그 중심에는 오리진의 목소리를 학습시킨 인공 가창 소프트웨어 CeVIO AI가 있다.

CeVIO AI는 나고야 공업대학에서 개발된 딥 러닝을 채용한 음성합성기술을 바탕으로 하여, 실재의 싱어의 목소리를 학습시킨 소프트로 대사나 악보의 데이터를 입력하면, 본인같은 특징이나 가창방법을 재현한다. 피치 패턴이나 타이밍을 GUI로 지정하는 것이 가능하며, 많은 보컬로이드 음악 유저들에게 사용되고 있다.

이 학습에는 싱어의 가창 데이터 등을 제공하지만, 싱어에 따라서 여러가지 기능의 추가도 진행하고 있다. 이세계정서는 차분한 저음의 가창 방법부터 보컬로이드스러운 고음의 가창 방법까지, 다채로운 목소리의 특성을 표현해내는 가창 방법을 살려, 음악적 동위체인 세카이(星界)에게는 여러 가창 방법을 조정할 수 있는 「감정 파라미터」라고 하는 기능이 탑재되어 있다. 또, 랩 싱어인 하루사루히에 대응하는 하루(羽累)는, 보컬로이드 등의 음성 합성 소프트웨어로서는 처음으로 퀄리티가 높은 랩을 노래할 수 있는 기능이 탑재되어 있다.

전부 보컬로이드 음악의 발전과 수요를 고려하여, 오리진 본인의 가창보다는 다소 기계스러운 분위기를 남긴 음성으로 제공하고 있지만, 기술적으로는 보다 본인스럽게 개발하는 것도 가능하다. 굳이 보컬로이드스러운 분위기를 남긴 것은, 버츄얼 싱어와 그 가창 소프트의 듀엣 등이 가능하게 되는 것을 의도하고 있다.

4·2 유저 생성 콘텐츠의 확산과 전략

보컬로이드 음악에서 채용되는 음성 합성 소프트웨어에 대해서는, 이미 여러 가수의 음성이 라인업되어 있어, 오랫동안 새로운 가창용의 소프트를 발매할만한 시장의 타이밍이 없었다. 카후(可不)는 작곡가 유저층 사이에서, 이런저런 기업의 주도적인 대응을 거쳐 캐릭터성이 커뮤니티에 정착되어, 음성 합성 소프트의 본체와 더불어, 하츠네 미쿠의 굿즈가 팔리는 것과 유사한 존재감을 확립하고 있다.

KAMITSUBAKI STUDIO에 있어서 음악적 동위체의 IP를 육성하는 전략으로는, 예를 들어 2022년 7월부터 V.I.P.를 등장인물로 하는 공식 4컷 만화 「동위체 관찰 일기」를 Twitter에서 전달하고 있다. 니코니코 초회의 등의 현실 회장을 수반하는 이벤트 등에서도, 각각의 음악적 동위체의 캐릭터성을 의식할 수 있는 전개를 시도하여 UGC를 유인하고 있으며, 최근에는 캐릭터(IP)로서의 굿즈도 판매되고 있다.

5. 마치며

여기까지, 버츄얼 싱어를 실재화하기 위한 기술과 연출이라고 하는 관점에서, 엔터테인먼트의 현장에서의 아이디어와 사례를 소개했다.

버츄얼 싱어의 실재감을 시청자가 느끼게 하기 위한 프로듀스에 관하여, 오리진 본인의 성격이나 경험을 7할 살리고, 아바타나 크리에이티브의 연출을 3할 반영하여 밸런스를 취하는 것, V.W.P.와 같은 그룹에서는 멤버의 목소리 특성의 밸런스를 맞추고, 오랫동안 일할 수 있는 팀으로 부담을 분산시키는 운영을 하는 것, 아이돌 그룹 VALIS의 현실의 오리진과 버츄얼의 아바타 양방향에서 활약하는 연출을 진행하는 것 등, 다양한 아이디어와 연출을 소개했다.

음악 라이브는 실재감의 연출이 기대받는 현장이다. 밴드의 라이브 연주와 버츄얼 싱어를 현실 회장과 버츄얼 공간 양측에서 잘 어울리기 위한 연출과 기술에 관해 소개했다. 불가해 Q1:RE와 Q2:RE에서부터 무도관 라이브에까지, 디스플레이와 스크린을 복잡하게 조합한 스테이지의 구성을 진화시켜 왔다. 무도관의 스테이지 2층에 현실의 아티스트와 버츄얼 아티스트의 콜라보레이션용의 세트라던지, 카후의 퍼포먼스의 배경에 실시간으로 회장의 관객을 비쳐 합성해내는 영상의 투영 등, 다양한 고민을 소개했다. 또, 실시간 렌더링과 버츄얼 퍼포먼스 등은, 버츄얼 라이브의 연출을 보다 리얼하고 정밀하게 구현하는 것을 가능하게 하는 기술이었다.

마지막으로, KAMITSUBAKI STUDIO의 버츄얼 싱어의 목소리를 학습시킨 인공 가창 소프트웨어를 중심으로 하는 「음악적 동위체 프로젝트」에 관해 소개했다. 음성 합성 소프트는 많은 유저들에게 이용되는 것이 중요하여, UGC를 확산시키는 전략에 관해 설명하였다. 공식의 데모송을 다양하게 제작하는 것, 콘테스트 등을 개최하는 것, 음악적 동위체를 등장인물로 하는 공식만화를 공개하는 것 등에 의해, UGC의 범위를 넓혀갈 수 있다.

이상과 같이, 데뷔 이래 매일의 활동을 프로듀스하여 연출하고 있는 포인트, 음악 라이브에서 실재감을 느끼게 하기 위한 연출과 기술, 음성 합성 소프트의 개발과 UGC를 확산시키는 전략 등, 버츄얼 싱어를 중심으로 하는 중요한 토픽을 보고했다. 버츄얼 싱어는 버츄얼 빙의 사회에서의 구현의 중요한 사례이다. 대학 연구기관에서 버츄얼 빙의 연구와 개발을 하는데에 있어서, 이러한 엔터테인먼트 현장의 실천적인 지식과 견문이 힌트가 되길 바란다.

2023년 5월 22일

사쿠마 히로시 (佐久間洋司) (학생회원) 오사카 대학 대학원 기초공학연구과 박사 후기 과정, (주) 후카이카 이사회 멤버. 2025년 일본국제박람회(오사카·간사이 박람회) 오사카 파빌리온 추진위원회 디렉터 등을 맡음. 일본학술진흥회특별연구원DC1, 손 마사요시 육영재단 제2기생. 일본 오픈 이노베이션 대상, 문부과학대신상 등을 수상. 문샷(moonshot)형 연구개발사업 밀레이어·프로그램 팀 리더, 오사카부 새로운 전략 책정을 위한 지식인 간담회 어드바이져 등을 역임. 도쿄 대학 대학원 종합 문화 연구과 석사 과정을 수료. 석사(학술). 일본 SF 작가 클럽 회원. 본 학회 산업계 연계 회원, 학생편집위원장.

PIEDPIPER (주) THINKR 소속. Web3 시대의 IP 개발을 진행하는 스토리 프로토타입 컴퍼니 「(주) 후카이카」 창업자. YouTube발의 크리에이티브 레이블 KAMITSUBAKI STUDIO의 총괄 프로듀서이며, 후카이카의 창업자. 버츄얼 싱어인 카후, 리메, V.W.P., 음악적 동위체 시리즈, 카미츠바키시 건설중, SINSEKAI STUDIO의 프로듀스 등을 담당, 새로운 아티스트를 발굴하는 한편, 프로듀스를 직접 맡지 않는 소속 아티스트들의 감수 등을 실시. 「음악에서 이야기로」 이어지는 다양한 기획개발에 매일 도전하고 있다.