원문 : https://www.jstage.jst.go.jp/article/jjsai/38/4/38_494/_article/-char/ja/

갈무리 : https://www.bilibili.com/read/cv25561694/

저자 정보

사쿠마 히로시

오사카 대학, (주) 후카이카(深化)

PIEDPIPER

(주) THINKR, (주) 후카이카(深化)

2023년 38권 4호 p. 494-501

버츄얼 싱어를 실재화하는 기술과 연출의 실천적 보고

Technology and Innovation to Bring Virtual Singers to Real Existence

1. 개요

버츄얼 빙(Virtual being)이 사회에서 구현된 예로써 언급할 수 있는 주요 사례 중 하나로 「버츄얼 싱어」가 있다. 본고에서는, 엔터테인먼트의 현장에서의 버츄얼 싱어의 프로듀스에 관한 실천적 보고를 수행한다. 버츄얼 싱어란, 3D 모델링된 아바타를 사용하여 활동하는 아티스트를 가르키며, 뮤직비디오의 제작이나 라이브의 출연 등을 아바타를 사용한 가상의 존재로서 수행한다. 동일하게 캐릭터로서의 아바타를 사용하여 동영상 투고나 스트리밍 방송을 행하는 「버츄얼 유튜버 (Vtuber)」가 젊은층을 중심으로 인기를 모으는 흐름 속에서, 같이 발전해온 아티스트로서의 하나의 활동의 방법이다.

크리에이티브 프로덕션인 THINKR에는, 다수의 버츄얼 싱어와 작곡가가 소속되어 있다. 그들에 대한 콘텐츠 프로듀스나 크리에이터의 매니지먼트를 수행하고 있는 것이 「KAMITSUBAKI STUDIO」이다. 이 스튜디오에서는, 버츄얼 싱어의 문화를 대표하는 한 사람인 카후花譜의 프로듀스를 진행했다. 카후의 YouTube에서의 동영상의 총 재생회수는 2억회를 넘어, 국내외의 열광적인 팬 커뮤니티를 형성하고 있다.

전례가 적은 버츄얼 싱어라고 하는 새로운 가능성을 개척하기 위하여 연구개발은 필수이다. 음악제작이나 매일의 연출에 관련된 프로듀스는 물론, 신형 코로나 바이러스의 영향에 의한, 현실의 회장이 없는 버츄얼 라이브를 실시하는 필연성도 생겨나, 버츄얼 싱어를 실재화하기 위해 다양한 대응을 실시해왔다. 본고에서는 이러한 버츄얼 라이브 등을 지원하는 기술과 아이디어에 관해 소개한다.

2. 버츄얼 싱어의 프로듀스

KAMITSUBAKI STUDIO를 대표하는 아티스트는 버츄얼 싱어인 카후이다. 카후는 2018년 10월 18일에 『카후#01』이라고 하는 동영상을 업로드한 시점으로부터 데뷔하였지만, 당시에는 지방에 사는 13세의 중학생이었다. 음악 어플에서 방송하고 있던 카후의 연기자(원문 : 演者)(이하, 오리진이라고 부른다)에게 음악활동에 흥미가 없는지 문의하여, 아티스트로서 데뷔할 방법을 모색하는 와중에, 학업과 생활을 양립하면서, 지방에서도 활동이 가능하고 오리진 본인이 얼굴을 드러내지 않아도 좋은 방법으로서, 버츄얼 싱어를 찾아냈다. 앞에서 언급됐듯이, 연령이나 생활, 장소를 구애받지 않고 목소리를 세상에 닿게할 수 있는 유연한 활동이 가능한 것이, 버츄얼 싱어의 강점이다.

또한, 버츄얼 싱어로서의 활동은, 현실의 아티스트와 달리, 맥락의 설계, 아바타의 디자인이나 3D 모델링, 뮤직 비디오나 라이브 등의 영상제작이 복잡하게 얽혀있다. 그렇기에, 「카후」는 한 사람의 아티스트로서 존재함과 동시에, 팀워크로 만들어지는 종합예술 프로젝트와 같은 측면도 있다.

카후가 데뷔할 당시에는, 키즈나 아이キズナアイ나 카구야 루나輝夜月 등의 3D 모델링된 아바타를 조작하여 짧은 영상을 투고하는 VTuber가 주류였으며, 그 당시에도, 애니메이션과 성우의 문맥을 내포하는 롤플레이성이 시청자들로부터 기대되고 있었다. 반면, 현재 가장 흥행하고 있는 VTuber는 스트리머처럼 생방송이나 동영상 업로드를 반복하는 V라이버가 있고, 9할 이상의 내용을 본인의 경험으로부터 연출하는 다큐멘터리성이 높은 콘텐츠가 담겨져 있다. KAMITSUBAKI STUDIO에서는, 버츄얼 빙을 활용하면서도 어디까지나 아티스트를 프로듀스하는 입장으로서, 오리진 본인의 성격이나 경험을 7할 이상 살리고, 거기에 아바타나 크리에이티브한 연출을 3할 반영하는 밸런스를 의식해서 프로듀스하고 있다.

ChatGPT 등의 대규모 언어 모델이나 이미지 생성 AI 등, 인공지능이 발전하는 가운데에서 여러 창의성이나 직업이 대체되어가고 있다고 생각하지만, 최후까지 남는 것은 감정을 자극하는 엔터테인먼트에 있다고 생각한다. 그 감정의 공유성이 높아지는 것은, 롤플레잉이 아니라, 본인의 본연같은 고유의 경험을 공유하는 다큐멘터리적 기법에 있으며, 그것을 크리에이티브한 측면에서 지탱해주는 것이 버츄얼 빙의 실천에 있어 중요한 사고 방식이다. 

여기에서는, 전술한 카후, 카후를 포함한 버츄얼 싱어 그룹인 「Virtual Witch Phenomenon (V.W.P.)」, 현실과 버츄얼의 신체 양측에서 활동하는 아이돌 그룹 「VALIS」에 대해 각각 소개한다.

2·1 카후의 프로듀스

카후는 데뷔 당시 13세의 중학생이라는 신분으로서, 퍼스트 원맨 라이브의 시점에서는 15세가 되었다. 지방 거주였던 점, 얼굴을 드러내고 활동하기에는 연령이 낮았던 점 등을 포함한 여러 요인으로부터, 본래는 음악 씬의 한 가운데에 등장할 수 없었을지도 모를 재능이었다. 그렇기에 버츄얼 싱어라고 하는 형태로서 데뷔하여 현재의 활동에 이른다. 메인 작곡가로서 젊은 세대에 소구력이 있는 칸자키 이오리カンザキイオリ를 불러들여, 카후의 대표곡 「마녀魔女」에서 이어지는 일련의 악곡을 발표하여, YouTube에 공개돼 있는 MV는 전부 밀리언 재생을 기록했다. 카후의 퍼스트 원맨 라이브 「불가해不可解」에서는, 클라우드 펀딩의 지원도 받아 라이브를 실시했고, 목표금액의 8배가 되는 4,000만엔의 지원이 모여, CAMPFIRE CROWDFUNDING AWARD 2019를 수상했다.

전술했듯이, 버츄얼 싱어의 프로듀스에는 크리에이티브와 다큐멘터리의 밸런스를 세심하게 맞추는 것이 가장 중요하다. 크리에이티브에 관하여, 카후의 아바타의 디자인은 일러스트레이터인 PALOW 씨를 기용, 애니메 문화를 답습한 디자인의 형태지만, 극단적인 비율의 체형으로 한다던지, 피부의 노출이 지나치지 않도록 주의하고 있다. 또한, 뮤직 비디오(MV)의 촬영은 카와사키 켄지川サキケンジ 씨가 담당, 실사의 영상과 캐릭터를 겹쳐서 표현하는 기법을 사용하여, 「카후가 이 거리에 있을지도 모른다」라고 하는 감각을 갖게하는 표현을 실현해왔다.

반면, 카후는 중학생 시절부터 대학생이 될 때까지, 수험 등의 시기에 활동휴지나 단기 유학 등 다큐멘터리성이 강한 「솔직한 설명」도 실시했다. 그렇기에, 팬은 부모나 자매같은 시선에서 카후의 성장을 지켜봐온 과정도 있다. 픽셔너블한 설정이나 창의성이 있으면서, 논픽션의 요소나 라이브 방송 등을 겹치는 것으로 버츄얼 싱어의 매력을 최대한으로 끌어 올리고 있다.

2·2 V.W.P.의 프로듀스

또, KAMITSUBAKI STUDIO에서는 카후 이외의 4인의 버츄얼 싱어, 리메理芽, 하루사루히春猿火, 이세계정서ヰ世界情緒, 코코幸祜들과 5인의 전뇌의 버츄얼 아티스트 그룹 V.W.P.를 프로듀스하고 있다. 카후가 데뷔하고 1년 후부터 그룹을 만드려는 아이디어가 있어서, 이세계정서나 하루사루히가 데뷔하기 얼마 전부터 구상되고 있었다. 버츄얼 싱어의 그룹을 만들 때에는, 멤버의 목소리 특징이나 음악성이 겹치지 않도록 밸런스를 잡는 것에 유의하고 있다.

카후, V.W.P. 양측 다 다큐멘터리성과 크리에이티브의 밸런스에 관해서는, 대부분이 다큐멘터리라는 인식으로 프로듀스를 진행한다. 각 라이브의 연출이나 IP 프로젝트인 「카미츠바키시 건설중神椿市建設中」 등에서는 창작의 요소가 드러나지만, 큰 라이브 연출에서의 시나리오는 기획이라고 해도, 디테일은 오리진으로부터 얻은 것을 상호작용(インタラクティブ, Interactive)으로서 반영하는 형태로 제작을 진행하고 있다. 그러한 점에서, 물론 현실의 아티스트와 다르지만, 애니메의 캐릭터가 라이브를 진행하는 연출방침 또한 아니다. 임프로비제이션(インプロビゼーション, Improvisation, 즉흥연출)이나 프리 재즈(フリージャズ, Free jazz, 즉흥연주)와 유사한 밸런스의 제작을 진행한다. 이에 대해, 구체적인 라이브의 연출방법에 관해서는 후술하기로 한다.

크리에이티브한 요소가 있는 아바타에 관해서는, 캐릭터를 제작한 다음에 연기자의 오디션을 진행하는 것이 아니라, 오리진을 우선시한다. 본인에게 어떠한 아바타나 캐릭터성이 어울리는지를 목소리나 성격을 분석하면서 검토하여, 최종적으로 판단을 진행한다. 이 과정에서, 버츄얼 싱어는 본인의 활동이 이어지는 한 크리에이티브의 병행이 필요시되기에, 필연적으로 장기운용형태의 프로젝트가 된다. 일러스트레이터에 대해서도 장기적으로 일을 진행할 수 있는 분을 고려하여 의뢰한다. 또한, 개인의 재능에 의존하여 나아가기보다, 팀의 부담이 특정한 쪽으로 몰리지 않도록 운영해갈 필요가 있다.

2·3 VALIS의 프로듀스

또한, 현재 KAMITSUBAKI STUDIO에 소속되어 있는 버츄얼 걸즈 그룹인 VALIS에 대해서는, 좀 더 특징적인 프로듀스를 진행하고 있다. VALIS는 버츄얼 아이돌로서 전술한 것과 동일한 라이브나 방송의 활동을 진행하면서, 동시에, 현실의 신체를 가진 아이돌 그룹으로서도 댄스 퍼포먼스나 가창을 진행하고 있다. 아바타와 오리진의 신체의 형태 양측으로 퍼포먼스를 수행하는 특별한 그룹이다.

VALIS의 멤버는 본래부터 오리진(현실의 신체)의 아이돌 그룹으로서 활약할 수 있는 비쥬얼과 댄스의 역량을 가지고 있다. VALIS로 활동하기 이전에 오리진으로서 활동을 진행해 보았고, 카후나 V.W.P.의 프로듀스로 쌓아올린 스튜디오의 능력을 살려, 버츄얼의 가능성도 조합함으로써, 상승효과를 기대할 수 있다고 생각하여 프로듀스를 진행했다.

실제로, 후술할 라이브의 연출 등에서, 오리진으로서의 댄스 퍼포먼스와 버츄얼한 아바타로서의 라이브 퍼포먼스가 연동되는 형태로 등장한다. 라이브 감각과 존재감을 연출할 때에 이러한 형태의 중첩은, 새로운 가능성이 존재한다. 더욱이, 버츄얼과 현실을 넘나드는 구조는, 애니메의 캐릭터와 현실의 성우의 라이브의 관계성과도 유사성이 있다. 고정된 캐릭터를 통하여 인터넷 상에서 활동하지만서도, 라이브 퍼포먼스는 본인이 수행하는 복면 아티스트 등과도 이어지는 흐름이다.

또한, 장기적인 파트너십을 맺어, 다른 VTuber와 차별화되는 방법으로써, VTuber 업계에 아직 기용되지 않은 일러스트레이터에게 의뢰하는 것을 시도하고 있다. VALIS의 캐릭터 디자인은 네코스케ねこ助 씨에게 의뢰하여, 고양이 캐릭터와 같은 아바타를 베이스로 삼고, 오리진의 라이브 의상 등을 디자인과 일치시키는 것으로 현실과 버츄얼의 연속성을 연출하고 있다.

3. 음악 라이브에서의 버츄얼 아티스트의 존재감의 연출

버츄얼 싱어 등의 버츄얼 아티스트의 존재감을 연출할 필요가 있는 현장으로써, 가장 중요한 것인 음악 라이브가 있다. 본래 버츄얼 아티스트는 아바타를 통해 활동하고 있기에, 버츄얼 라이브(인터넷에서 송출하는 라이브)나 현실 회장에서의 라이브 어느쪽도, 현실의 공간에 자유롭게 실재할 수 있는 것이 아니다. 스크린에서의 투영이나, 디스플레이에 띄우는 등의 인터페이스를 사용하는 것으로는 실재감을 느끼게 하기 어려워지는 것을 피할 수 없다.

그렇기에 버츄얼 아티스트를 정말로 실재하게 만들기 위해서는, 다양한 기술·연출의 고민이 필요하다. VOCALOID나 인터넷 문화에 친밀한, 젊은 시청자들 정도는 실재감을 느끼고 있지만, 그러한 문화에 익숙하지 않은 성인들까지 포함하여 실재를 느낄 수 있게끔 무도관 라이브(카후 3rd ONE-MAN LIVE 『불가해3(광)不可解参(狂)』) 등의 설계를 작업해 왔다.

지금까지 KAMITSUBAKI STUDIO에서는, 카후의 음악 라이브 시리즈인 『불가해』를 필두로 다양한 음악 라이브를 개최해 왔다. 여기에서는, 불가해 시리즈 라이브의 바탕에 있는 기술과 연출에 대한 고민에 대해 소개한다. 또한, 전술했던 VALIS의 라이브에 대해서는, 현실과 버츄얼의 경계를 넘어서는 것 등의, 특기해야할 연출에 대해 보고한다.

3·1 버츄얼 라이브와 존재감의 연출

버츄얼 싱어인 카후에 대해, 2019년 8월 1일에 처음으로 개최한 라이브는 카후 1st ONE-MAN Live 『불가해』이다. 도쿄·에비스에 위치한 LIQUIDROOM에서, 배경의 스크린에 투영된 영상의 연출과, 그 앞에 투영되어 등장한 카후, 이와 함께 라이브 연주를 하는 밴드를 조합하는 구성으로 개최했다. 이전에도 반투과 스크린(사막紗幕)을 활용한 버츄얼 캐릭터의 라이브는 개최됐었지만, 이 라이브에서는 배경영상과 라이브 연주를 하는 밴드, 가사의 타이포그래피와의 정합을 세심하게 다루며 제작했다. Twitter에서는 「#카후불가해」가 세계 트렌드 1위에 랭크인하고, 이 성공이 커다란 반환점이 되어, 2019년 10월 18일의 KAMITSUBAKI STUDIO의 시작으로 이어진다.

다만, 이 후에 이어지는 불가해 시리즈의 라이브 연출에 비하면, 이 시점에서는 영상이 특별히 뛰어났던 것도 아니고, 본 적 없던 기술을 채용했던 것도 아니다. 이번의 버츄얼 라이브는, CG영상을 제작하여 투영하는 형태에 가까웠고, 최초의 불가해에서 이어진 불가해2 Q1과 불가해2 Q2에서의 Unreal Engine을 통한 고도의 구현에서부터 경험이 쌓이기 시작했다.

§1 완전한 온라인 송출의 버츄얼 라이브

버츄얼 라이브의 연출에 관하여, 신형 코로나 바이러스 감염증의 상황 속에서 커다란 전환점이 있었다. 2020년 3월에 개최예정이었던, 불가해의 재연이었던 『불가해(재)不可解(再)』의 개최가 중지되어, 무관객 라이브와 전편 온라인 송출만으로 개최되었다. 그 후, 2020년 10월의 불가해2 Q1과 2021년 3월의 불가해2 Q2도 완전한 버츄얼 라이브로서 개최되었다.

본래 불가해는, 실제로 현실 공간에 있는 밴드의 라이브 연주와 어우러진 음악성의 훌륭함과 생생함으로부터, 버츄얼 싱어의 실재감을 느끼게 하였다. 그것이 온라인 송출만으로 보게되는 경우에는, Unreal Engine에서 렌더링된 영상이 기반이 되어, 디스플레이 너머의 완전한 영상작품으로 밖에 보이지 않게 된다. 실재감을 느끼게 하는 것은, 더욱 어렵게 된다. 그래서, 버츄얼 싱어인 카후를 현실 공간에 존재하게 하는 것이 아니라, 밴드 멤버를 버츄얼 공간에 존재하게 하는 영상을 목표로 구성했다. 

이러한 구성과 스테이지 세부에 대한 연출의 집념을 실현하기 위해, 버츄얼 라이브의 제작은 가상의 음악 라이브를 송출하는 범용성의 플랫폼이 아니라, 전부 오더메이드로 제작을 진행했다. 디자이너인 야마자키 히로카즈ヤマザキヒロカズ 씨와 함께, 멸망한 이세계 문명의 교회터를 테마로 하는 버츄얼 라이브 하우스 「PANDORA」를 디자인하여, 밴드 멤버가 버츄얼의 라이브 하우스에 등장하는 라이브를 온라인 송출하는 것으로, 카후의 존재감을 연출하는 것을 시도했다. 

첨언하면, PANDORA에서 개최된 카후 2nd ONE-MAN LIVE 『불가해2 Q2』는 YouTube Live에서 전편 무료 송출을 진행해, 동시 접속 시청자가 4만명, 국내외에서 누계 40만명 이상이 시청해, 「#불가해2 Q2」가 10만건을 넘는 트윗으로 Twitter 트렌드 세계 1위가 되었다.

버츄얼 라이브는 유저에 의해 시점의 이동 등이 가능한 몰입형(イマーシブ, Immersive) 라이브에도 응용가능한 형태의 라이브이며, KDDI와 KAMITSUBAKI STUDIO에서 개발중인 차세대형 3D 라이브 시청 체험 서비스 「αU Live」에서도 연구개발을 진행중에 있다.

§2 현실 회장에서의 버츄얼 라이브

Q1과 Q2의 버츄얼 라이브를 거쳐, 코로나 재난이 지속되는 어려운 사회 정세 가운데, 2021년 6월에 토요스PIT에서 카후 2nd ONE-MAN LIVE 『불가해2 REBUILDING』을 2일간에 걸쳐서 개최하였다.

불가해2 REBUILDING은 불가해2 시리즈의 완결편적으로써, 실재감을 보여주기 위해 Q1·Q2의 기술과 연출을 현실 회장에도 도입하는 것을 실행했다. Q1과 Q2는 각각 Q1:RE와 Q2:RE로서 현실 회장에서의 연출에 맞추어 재구성하여, 카메라워크를 자유롭게 조종하는 버츄얼 라이브가 아닌, 현실 회장의 라이브 특유의 영상으로써 재구성했다.

불가해2 REBUILDING은 엔드롤을 포함하면 67곡, 7시간 이상의 악곡을 피로하였고, 그 전부에 배경영상과 타이포그라피 등의 제작, 밴드에 의한 라이브 어레인지가 존재하고 있어, 종합예술로서의 버츄얼 싱어의 음악 라이브를 구현한 것이었다.

또한, 이어진 2022년 4월 15일과 16일에는 V.W.P.에 의한 음악 라이브 이벤트 『마녀집회魔女集会』와 『현상現象』을 개최하였다. 전경의 스크린에 카후 등 5명이 등장하고, 밴드용의 스테이지는 전경의 스트린 앞의 1층과 배경 디스플레이 앞의 2층에 나뉘어 설치되어, 8명의 뮤지션이 라이브 연주를 했다. 이 두 음악 라이브에의 반응을 보고, 카후와 V.W.P.의 현실 회장에서의 버츄얼 라이브의 연출에 확신을 가졌다.

이는 버츄얼 싱어 최초인 일본 무도관에서의 원맨 라이브 『불가해3 (광)不可解参(狂)』의 성공으로 이어졌다. 일본 무도관은 아레나석과 1층석, 2층석으로 배치되어 있다. 이에 대응하여, 좌석의 일부를 스테이지에 포함하는 형태로 전경에 다수의 데스플레이, 스테이지 2층에 디스플레이, 배경의 스크린, 머리 위의 스테이지 좌우에 디스플레이를 배치하는 구성을 취했다. 원래는, 버츄얼 싱어를 선명하게 볼 수 있는 좌석의 배치를 생각해보면, 좌우의 에어리어나 2층석에서의 시청은 상성이 좋지 않다. 스테이지측에도 턱을 만들고, 머리 위에도 디스플레이를 배치하는 등을 통하여 많은 좌석들에서 볼 수 있게끔 커버했다.

특기해야할 점으로써는, 스테이지 2층에는 현실의 아티스트와 콜라보레이션할 수 있는 세트를 제작하여, 타나카たなか 씨나 오모리 세이코大森靖子 씨들과 카후가 교대로 퍼포먼스를 하는 장면을 실현했다. 또한, 카후의 퍼포먼스의 배경에 실시간으로 회장의 관객이 비춰지도록 합성한 영상이, 스테이지 머리 위의 디스플레이에 투영되는 등의 기술적인 고민도 진행하였다. 회장에는 7,000명을 동원하고, Twitter에는 3만건을 넘는 투고가 있어서, Twitter 트렌드에서 일본 1위를 달성했다.