디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

NDC22 블루아카 리뷰 - 시선 추적

날자꾸나갤로그로 이동합니다. 2022.06.25 23:10:01
조회 16655 추천 183 댓글 216



viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a4f7eb9a4460d032f012962a9


올해 넥슨 개발자 컨퍼런스 (NDC) 에서 블루아카이브의 머신러닝 개발자의 발표가 있어서 리뷰 남겨봄


그렇다 이 게임엔 사실 R&D가 있다.

넥슨이 블아에 재투자를 안한다는 주장은 거짓이었던 것이다.

항상 감사하십시오 ちょうせんじん.


이 세션에서 발표된 항목은 3가지가 있었는데

* 아로나의 TTS 개발 및 개선 (인게임 적용된 사항)

* 메모리얼 등 라이브2D 캐릭터 이미지의 유저 시선 추적 (연구중, 인게임 적용 일시 미정)

* 모션 캡쳐 및 리깅을 사용한 3D모델 애니메이션 제작 효율화 (아직 연구중이며 실제 개발 프로세스에 적용되지 않음)



이중에서 시선 추적 연구가 재밌어 보여서 리뷰해봤다.



viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a4079eaf2155b022e40b1bf96


캐릭터가 유저와 눈을 마주치려면 휴대폰의 전면카메라로 촬영한 영상에서 유저의 얼굴 (혹은 눈)을 찾아낼 수 있어야 한다.

이를 위해서는 SSD라는 머신러닝 모델을 사용했다고 한다.

간단하게 설명하자면, 이미지에서 찾고자 하는 물건을 담은 사각형 범위 (bounding box)를 찾는 방식이다.

위 스샷에서 자동차 주위에 딱 맞게 빨간색 테두리를 친 것과 같다. 



viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a127eebf5470857221cf9ae4f


캐릭터 눈이 유저 눈을 실시간으로 따라가려면 서버가 아니라 클라이언트 (즉 휴대폰)에서 계산을 처리해야 한다.

블루아카 돌리다가 휴대폰에 불나는 사태를 방지하기 위해,

간단한 구조를 갖고 있어 다른 모델에 비해 연산량이 훨씬 적게 드는 MobileNet 모델을 함께 사용했다고 한다.



24b0d768f5dc3f8650bbd58b368771691aba

2017년에 나온 MobileNet 논문의 자료다.

GoogleNet과 비교하면 연산량은 1/3로 줄면서 정확도는 오히려 늘었고,

VGG16과 비교하면 정확도는 큰 차이가 없으면서 연산량은 1/30 수준으로 줄였다.





그렇게 해서 나온 중간 결과물이



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ac78fcd1559b2bd67cface1b862aa13476001eb6


이 움짤이라고 한다.


카메라 이미지를 분석해서 사람 시선이 모이는 곳을 계산한 위치가 움직이는 페로로고,

이 위치를 코하루 눈이 따라다니고 있는 것으로 보인다. (현재 방식으로 치면 터치하는 부분이 페로로인 것)




viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a172ae8f4155c0425de82e6d8



사내 테스트에서 의견을 받아본 결과 어색하다는 의견이 많았고,

눈 외에 얼굴이나 상체가 함께 움직이면 어떻겠냐는 피드백이 있었다고 한다.



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ad78fcd1559b2bd67cface9427b4b1501ebe43


대충 이런 느낌이었는듯?




28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ae78fcd1559b2bd67cfacec9baf103b56b9ffa


그래서 현재는 눈 뿐만 아니라 얼굴과 몸이 함께 움직이는 방향으로 선회한 듯하다.




그렇다면 넥슨 외에 다른 곳에서는 비슷한 연구가 없었을까?

Disney Research Hub의 2020년 영상을 찾아보았다.



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6a978fcd1559b2bd67cface70b7cc073d8b499a34


이쪽은 아예 로봇을 제작해서 시선 추적을 시키고 있다.

상체는 고정된 채, 목과 머리만 움직이고 있는데도 상당히 자연스럽다.



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ab78fcd1559b2bd67cface267f87cba820921025


다른 동작을 하다가 사람이 다가오니 눈을 마주치고 인사하는 모습이다.




28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6aa78fcd1559b2bd67cface1caa357b506b6c5f1f


사람이 멀리 있으면 힐끔힐끔 바라보기도 하나보다.





지금까지 블루아카이브 머신러닝 개발자의 시선처리 연구를 리뷰해보았다.

어차피 스토리 다보고 ap는 소탕돌리고 나면 할것은 쓰담쓰담밖에 없으니

캐릭터 상호작용이 강화된다면 유저 경험이 크게 개선될 것 같다.

블루아카이브 개발자들의 건투를 빈다.





출처: 블루 아카이브 갤러리 [원본 보기]

추천 비추천

183

고정닉 108

20

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 손절없이 오랫동안 우정 지킬 것 같은 스타는? 운영자 22/08/15 - -
공지 실시간베스트 갤러리 이용 안내 [639/2] 운영자 21.11.18 330484 192
70868 [블갤] 방과후 디저트부와 함께하는 네루 생일케익 만들기 [10] 두번우린홍차티백갤로그로 이동합니다. 08:50 849 35
70866 [월갤] 기억나는 양덕들 [40] Ajar갤로그로 이동합니다. 08:40 1825 43
70864 [인갤] [개발일지] 양교단갤에 올리는 씹덕 동숲 개발 근황 [97] 9Ha갤로그로 이동합니다. 08:30 2773 47
70861 [군갤] 군대에서 똥간이 중요한 이유 (엉덩이 나옴 후방주의) [58] 밀리터리맨갤로그로 이동합니다. 08:10 11159 93
70859 [싱갤] 훌쩍훌쩍 '34세, 지방대, 학점 2점대, 스펙과 경력 없음' [280] 그냥갤로그로 이동합니다. 08:00 28908 360
70858 [디갤] 요 며칠 찍은 서울의 일상속 모습들~!! [39] 유동교토갤로그로 이동합니다. 07:50 2400 19
70856 [싱갤] 알쏭달쏭 자동차 코너링의 세계.gif [132] ㅇㅇ(183.109) 07:40 9669 46
70854 [주갤] 서른여섯이 제일 예쁠 나이라는 여초카페...ㄹㅇ [504] 스완슨(223.33) 07:30 23044 598
70853 [공갤] 오랜만에 다시 옵니다. 감사합니다. [106] 7호선공익갤로그로 이동합니다. 07:20 9762 408
70851 [싱갤] 슬픔슬픔 키 작은 여자들의 현실 [672] ㅇㅇ(14.43) 07:10 32589 151
70849 [야갤] 숭례문 복구 근황.jpg [624] ㅇㅇ(223.38) 07:00 29762 540
70848 [기음] 주초에 머근거(잠봉,파스트라미등) [250] AMPU갤로그로 이동합니다. 01:55 6718 26
70846 [군갤] 여의도 공군전투비행단 이야기 [100] 시안갤로그로 이동합니다. 01:45 13501 94
70844 [싱갤] 대만에서 한국 엿먹이려고 시도한 사건.jpg [1171] 백골단갤로그로 이동합니다. 01:35 59112 951
70841 [만갤] [스압] [흑역사!] 학생 시절 때부터 첫 데뷔작까지의 기록! [125] [신세기]갤로그로 이동합니다. 01:15 8450 78
70839 [여갤] 필리핀 생활 5년차가 느끼는 점 5탄 - 교민사회 [153] oo갤로그로 이동합니다. 01:05 16228 127
70838 [중갤] 게이밍 톤파에 대해 아라보자.........WEBP [274] -쓰-갤로그로 이동합니다. 00:55 25616 118
70836 [그갤] 컬러 낙서임니다 [101] 새싹맨(172.226) 00:45 11929 115
70834 [야갤] 사고로 팔을 잃은...전직 경찰관 ㄹㅇ...jpg [534] Adidas갤로그로 이동합니다. 00:35 39597 940
70833 [싱갤] 싱글벙글 800만원피티호갱 후기 [453] 파퀴벌래갤로그로 이동합니다. 00:25 48499 424
70831 [디갤] [나의사진] 평범한 일상 속 [36] 감성프리미엄갤로그로 이동합니다. 00:15 3581 31
70829 [오갤] ㅈ망해버린 교꾸를 되살려보자! [97] ㅇㅇ(125.177) 00:05 15552 106
70828 [싱갤] 싱글벙글 요즘 떠오르는 마블 여캐 [350] ㅇㅇ(183.105) 08.18 34938 154
70824 [주갤] 사주 때문에 결혼 못하겠다는 한국 여성 [516] 주갤현자갤로그로 이동합니다. 08.18 30239 166
70820 [싱갤] 아이패드 구걸 레전드...jpg [777] IVE_레이갤로그로 이동합니다. 08.18 56726 626
70818 [카연] 차가운 눈이 시리게 - 1화 [27] zeulgong갤로그로 이동합니다. 08.18 3468 18
70816 [제갤] 조센차 일본수출 653대의 진실 [414] lFA갤로그로 이동합니다. 08.18 20043 402
70814 [도갤] 한국의 사찰은 스케일이 크다 ㄷㄷㄷ [583] 가라! 飛鳥(175.193) 08.18 28045 224
70812 [싱갤] 싱글벙글 화석하나로 정보가 계속 나오는 공룡 [336] ㅅㅇ,갤로그로 이동합니다. 08.18 46904 469
70810 [장갤] 장문)번역이 어려운 이유를 알아보자 + 예견된 결과 [200] 입맛까다로움갤로그로 이동합니다. 08.18 19141 146
70808 [디갤] 힛갤 가도 욕 안 먹는 사진들 [190] 스앟갤로그로 이동합니다. 08.18 24743 104
70806 [판갤] 싱글벙글 의외로 군부대에서 운영하는거.jpg [348] 콩돌이갤로그로 이동합니다. 08.18 43305 285
70804 [국갤] 충격..오열.. 스토킹 범죄자들 실시간 상황..ㄷㄷ.JPG [722] ㅇㅇ갤로그로 이동합니다. 08.18 43728 1217
70802 [싱갤] 싱글벙글 기분좋게 야스하는 법 [337] 나무미끄럼틀갤로그로 이동합니다. 08.18 68517 759
70798 [미갤] [스압, 장문] 사이버펑크 네온 도시, 시구안 건설기 [66] 호볼랄라지나갤로그로 이동합니다. 08.18 8531 82
70796 [L갤] 한일 게이커뮤를 폭파시켜버린 인물 레전드 [1064] ㅇㅇ(106.102) 08.18 56717 420
70794 [중갤] 중갤에서 ㅈ도 관심없는 게임 업계 오늘자 큰 소식.jpg [210] 반다인갤로그로 이동합니다. 08.18 32358 107
70792 [바갤] (스압)4박5일 전국일주 보구가! 1~2일차 [56] 육병갤로그로 이동합니다. 08.18 4430 53
70790 [싱갤] 싱글벙글 황제출신 총리 [127] ㅇㅇ갤로그로 이동합니다. 08.18 29377 187
70788 [자갤] 한문철 레전드 양심도없는 오토바이 제보자.gif [356] ㅇㅇ(223.39) 08.18 27921 277
70786 [갤갤] 플립4 콜라보 굿즈라는데 [276] ㅇㅇ(106.101) 08.18 32363 162
70784 [야갤] 팩트체크)) 녹음금지법 발의한 국힘 의원들을 알아보자 [716] ㅇㅇ(59.27) 08.18 27062 1605
70782 [싱갤] 와들와들 부자촌 [469] ㅇㅇ(221.161) 08.18 45302 213
70780 [주갤] 언제 이렇게 컸지…'짝퉁' 비아냥 듣던 中에 역전 당했다 [777] 레오나팬갤로그로 이동합니다. 08.18 40763 228
70776 [카연] 기독교 까는.Manhwa (5) - 야훼의 성품 [583] 백전도사갤로그로 이동합니다. 08.18 12599 200
70774 [F갤] 용량,스압) 100 400 엪붕이 FE R16 사진 대방출(3/4) [50] 국산세이프티카갤로그로 이동합니다. 08.18 3200 22
70772 [바갤] 강남 분노의 질주 비키니녀 경찰조사 근황 [842] 내가누구듀크오너갤로그로 이동합니다. 08.18 64209 1020
70770 [싱갤] 분노분노 어이 없는 주먹구구식 제도 때문에 일어나는 일들.jpg [456] ㅇㅇ(27.100) 08.18 29815 475
70768 [이갤] [단독]이원석 검찰총장 내정자, '정운호 게이트' 수사기밀 누설 의회 [139] chanho61갤로그로 이동합니다. 08.18 8449 57
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

힛(HIT)NEW

그때 그 힛

1/3

뉴스

디시미디어

디시이슈

1/2