올해 넥슨 개발자 컨퍼런스 (NDC) 에서 블루아카이브의 머신러닝 개발자의 발표가 있어서 리뷰 남겨봄

그렇다 이 게임엔 사실 R&D가 있다.

넥슨이 블아에 재투자를 안한다는 주장은 거짓이었던 것이다.

항상 감사하십시오 ちょうせんじん.

이 세션에서 발표된 항목은 3가지가 있었는데

* 아로나의 TTS 개발 및 개선 (인게임 적용된 사항)

* 메모리얼 등 라이브2D 캐릭터 이미지의 유저 시선 추적 (연구중, 인게임 적용 일시 미정)

* 모션 캡쳐 및 리깅을 사용한 3D모델 애니메이션 제작 효율화 (아직 연구중이며 실제 개발 프로세스에 적용되지 않음)

이중에서 시선 추적 연구가 재밌어 보여서 리뷰해봤다.

캐릭터가 유저와 눈을 마주치려면 휴대폰의 전면카메라로 촬영한 영상에서 유저의 얼굴 (혹은 눈)을 찾아낼 수 있어야 한다.

이를 위해서는 SSD라는 머신러닝 모델을 사용했다고 한다.

간단하게 설명하자면, 이미지에서 찾고자 하는 물건을 담은 사각형 범위 (bounding box)를 찾는 방식이다.

위 스샷에서 자동차 주위에 딱 맞게 빨간색 테두리를 친 것과 같다. 

캐릭터 눈이 유저 눈을 실시간으로 따라가려면 서버가 아니라 클라이언트 (즉 휴대폰)에서 계산을 처리해야 한다.

블루아카 돌리다가 휴대폰에 불나는 사태를 방지하기 위해,

간단한 구조를 갖고 있어 다른 모델에 비해 연산량이 훨씬 적게 드는 MobileNet 모델을 함께 사용했다고 한다.

2017년에 나온 MobileNet 논문의 자료다.

GoogleNet과 비교하면 연산량은 1/3로 줄면서 정확도는 오히려 늘었고,

VGG16과 비교하면 정확도는 큰 차이가 없으면서 연산량은 1/30 수준으로 줄였다.

그렇게 해서 나온 중간 결과물이

이 움짤이라고 한다.

카메라 이미지를 분석해서 사람 시선이 모이는 곳을 계산한 위치가 움직이는 페로로고,

이 위치를 코하루 눈이 따라다니고 있는 것으로 보인다. (현재 방식으로 치면 터치하는 부분이 페로로인 것)

사내 테스트에서 의견을 받아본 결과 어색하다는 의견이 많았고,

눈 외에 얼굴이나 상체가 함께 움직이면 어떻겠냐는 피드백이 있었다고 한다.

대충 이런 느낌이었는듯?

그래서 현재는 눈 뿐만 아니라 얼굴과 몸이 함께 움직이는 방향으로 선회한 듯하다.

그렇다면 넥슨 외에 다른 곳에서는 비슷한 연구가 없었을까?

Disney Research Hub의 2020년 영상을 찾아보았다.

이쪽은 아예 로봇을 제작해서 시선 추적을 시키고 있다.

상체는 고정된 채, 목과 머리만 움직이고 있는데도 상당히 자연스럽다.

다른 동작을 하다가 사람이 다가오니 눈을 마주치고 인사하는 모습이다.

사람이 멀리 있으면 힐끔힐끔 바라보기도 하나보다.

지금까지 블루아카이브 머신러닝 개발자의 시선처리 연구를 리뷰해보았다.

어차피 스토리 다보고 ap는 소탕돌리고 나면 할것은 쓰담쓰담밖에 없으니

캐릭터 상호작용이 강화된다면 유저 경험이 크게 개선될 것 같다.

블루아카이브 개발자들의 건투를 빈다.