스마트폰 사진 몇 장으로 나를 복제한다, 메타의 3D 아바타 기술

aimatters · 2026.04.13 11:00:00

스튜디오 촬영 없이 스마트폰 사진 몇 장만으로 완성도 높은 3D 아바타를 만들 수 있다면 어떨까. 지금까지는 두 가지 중 하나를 포기해야 했다. 정밀한 아바타를 원하면 고가의 다중 카메라 스튜디오가 필요했고, 일반 사진으로 만들면 품질이 낮았다. 메타(Meta) 코덱 아바타 연구소가 2026년 4월 발표한 논문 '대규모 코덱 아바타(Large-scale Codec Avatars, 이하 LCA)'는 이 오랜 딜레마를 정면으로 깬다. 누구든 자신의 3D 아바타를 갖는 시대가 기술적으로 가능해졌다는 것을 보여주는 연구다.

그림1. 사전 학습과 사후 학습으로 완성한 고품질 전신 3D 아바타의 생성·애니메이션·확장 기능 비교

스튜디오 vs. 일상 사진, 10년 묵은 딜레마의 핵심

3D 아바타 연구에는 오래된 갈등 구조가 있다. 한쪽에는 200대의 고해상도 카메라가 설치된 전문 스튜디오가 있다. 이 환경에서 만든 아바타는 눈썹 하나, 손가락 마디 하나까지 정밀하게 재현된다. 그러나 스튜디오를 쓸 수 있는 사람은 극소수다. 반대쪽에는 일반인이 찍은 수백만 장의 일상 사진과 영상이 있다. 데이터는 풍부하지만, 이것만으로 만든 아바타는 얼굴이 뭉개지고 팔다리 형태가 틀어지는 문제가 생긴다.

쉽게 설명하면 이렇다. 전문 스튜디오는 한 사람을 360도 모든 각도에서 동시에 찍어 3D 정보를 완벽하게 확보한다. 반면 일상 영상은 대부분 한 방향에서만 찍혀 있어, AI가 보이지 않는 뒷면이나 측면을 추측으로 채워야 한다. 추측이 많아질수록 아바타의 품질은 낮아진다. LCA 논문이 발표되기 전까지, 이 두 세계를 동시에 잡는 방법은 없었다.

그림 2. 이미지 토큰·기하 토큰 융합 구조와 사전·사후 학습 데이터 비교

챗GPT처럼 '먼저 많이 보고, 나중에 깊이 배운다'

LCA가 이 문제를 해결한 방법은 의외로 언어 AI의 학습 전략을 그대로 빌려온 것이다. 챗GPT(ChatGPT)나 클로드(Claude) 같은 대형 언어 모델은 두 단계로 학습한다. 먼저 인터넷에 있는 방대한 텍스트를 통해 언어의 전반적인 패턴을 익힌다(사전 학습). 이후 사람이 선별한 고품질 데이터로 더 정밀하게 다듬는다(사후 학습). LCA는 이 방식을 3D 아바타에 처음으로 적용했다.

구체적으로, LCA는 먼저 100만 개의 일상 영상으로 사전 학습을 진행했다. 이 단계에서 AI는 사람의 몸이 어떻게 생겼는지, 다양한 체형·피부색·헤어스타일·의상이 어떻게 다른지에 대한 폭넓은 '상식'을 쌓는다. 다음으로 200대 카메라를 갖춘 전문 스튜디오에서 촬영한 2,737명의 고품질 데이터로 사후 학습을 진행했다. 이 단계에서는 얼굴 표정, 손가락 움직임, 눈의 방향 같은 섬세한 동작까지 정밀하게 재현하는 능력을 갖춘다. 논문에 따르면 이 두 단계를 결합한 LCA의 화질 지표(PSNR)는 30.5를 기록했고, 일상 환경 테스트에서는 28.2를 기록해 기존 방식인 혼합 학습(각각 30.0, 28.0)을 모두 앞섰다.

한 번도 본 적 없는 안경을 쓴 아바타를 만들다

LCA에서 가장 주목할 만한 현상은 연구팀이 '창발적 일반화(Emergent Generalization)'라고 부르는 능력이다. 창발(創發)이란 부분들의 합을 넘어서는 새로운 능력이 저절로 생겨나는 현상을 말한다. LCA는 학습 데이터에 단 한 번도 포함되지 않았던 안경, 모자, 복잡한 헤어스타일을 쓴 인물을 입력해도 정확하게 아바타를 생성했다. 심지어 만화 캐릭터처럼 스타일화된 이미지에서도 제대로 된 3D 아바타를 만들어냈는데, 이런 유형의 이미지는 사전 학습과 사후 학습 모두에서 의도적으로 제외했음에도 불구하고 가능했다.

비유하자면, 수능 시험에서 한 번도 본 적 없는 유형의 문제를 푸는 것과 같다. 기존 방식의 AI는 반드시 그 유형을 한 번 이상 학습해야 했다. LCA는 100만 편의 일상 영상을 통해 '사람의 외모'에 대한 깊은 이해를 쌓았기 때문에, 본 적 없는 외모 요소도 논리적으로 추론해 처리할 수 있게 됐다. 100만 개에서 100만 개로 사전 학습 데이터를 단계적으로 늘렸을 때, 일상 환경 재현 오차(L1)가 0.0109에서 0.0096으로 꾸준히 줄어든 것도 데이터 규모 자체가 이 능력의 핵심임을 보여준다.

1초 안에 생성, 실시간으로 움직이는 디지털 나

LCA는 화질만 뛰어난 게 아니다. 속도도 실용 수준에 도달했다. 아바타 생성 자체는 사진 몇 장을 입력하면 수 초 내에 완료된다. 생성된 아바타는 이후 실시간으로 구동된다. 논문에 따르면, 아바타 생성 이후 동작을 구현하는 단계는 고성능 GPU(A100) 기준 초당 586 프레임(FPS)으로 동작한다. 초당 30프레임이면 영화 수준의 자연스러운 움직임을 구현할 수 있다는 점을 감안하면, 586FPS는 실시간 구동에 필요한 속도를 20배 가까이 초과하는 수치다. 화상회의, 메타버스 공간에서 내 아바타가 내 표정과 몸짓을 실시간으로 따라오는 것이 기술적으로 완전히 가능해졌다는 의미다.

여기에 더해 LCA는 원피스·치마처럼 몸에 달라붙지 않는 헐렁한 의상도 자연스럽게 움직이며, 조명 환경을 바꿔도 피부와 옷 질감이 현실감 있게 반응하는 '리라이팅(Relighting)' 기능도 지원한다. 직접 촬영한 일반 스마트폰 사진에서 시작했는데도, 스튜디오 조명 아래 있는 것처럼 아바타의 피부 반사와 그림자가 바뀐다.

'모두를 위한 아바타'의 현실적 거리

논문은 "모든 사람을 위한 진정한 커뮤니케이션 서비스"를 목표로 명시하고 있다. 기술적 완성도는 상당히 높은 수준에 도달한 것으로 보인다. 다만 논문 자체가 몇 가지 한계를 솔직히 인정한다. 자수나 정교한 무늬가 있는 의상은 아직 재현이 어렵고, 머리카락의 흔들림이나 가방 같은 소품의 움직임은 구현되지 않는다. 빠른 움직임이나 물체에 가려지는 상황도 품질이 떨어진다.

또한 이 연구가 메타 내부의 대규모 스튜디오 인프라(200대 카메라, 2,737명의 피험자)를 기반으로 사후 학습을 진행했다는 점은 눈여겨볼 필요가 있다. 일반 사용자나 중소 규모 개발사가 동일한 수준의 사후 학습 데이터를 확보하기 어렵다는 구조적 격차가 존재한다. 기술이 제품으로 전환될 때 이 격차가 어떻게 좁혀질지는 두고 볼 필요가 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 대규모 코덱 아바타(LCA)란 무엇인가요? 대규모 코덱 아바타(LCA)는 메타가 개발한 3D 아바타 생성 기술로, 스마트폰으로 찍은 사진 몇 장만으로 얼굴 표정과 전신 동작이 가능한 고품질 디지털 아바타를 수 초 안에 만들어 줍니다. 100만 개의 일상 영상으로 사전 학습하고, 전문 스튜디오 데이터로 정밀하게 보완하는 2단계 학습 방식이 핵심입니다.

Q. 기존 3D 아바타 기술과 어떻게 다른가요? 기존 기술은 '품질'과 '범용성' 중 하나를 포기해야 했습니다. 전문 스튜디오에서 만든 아바타는 품질이 높지만 일반인이 접근하기 어려웠고, 일상 사진으로 만든 아바타는 얼굴이 흐릿하거나 팔다리 형태가 왜곡되는 문제가 있었습니다. LCA는 두 가지를 동시에 달성한 첫 번째 모델로, 논문에서 화질 측정 지표인 PSNR 기준 기존 최고 수준 대비 최대 9.8dB 향상을 기록했습니다.

Q. 이 기술이 실생활에서 활용될 수 있나요? 아바타 생성 후 실시간 구동 속도가 초당 586 프레임에 달해 화상회의, 메타버스, 게임 등에서 내 분신을 실시간으로 움직이는 것이 기술적으로 가능합니다. 다만 현재 논문 단계이며, 자수 등 복잡한 의상과 빠른 동작에는 아직 한계가 있어 실제 서비스 적용까지는 추가 개발이 필요합니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.

리포트명: Large-scale Codec Avatars: The Unreasonable Effectiveness of Large-scale Avatar Pretraining

이미지 출처: AI 생성 콘텐츠

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

번호	제목	글쓴이	작성일	조회	추천
설문	팀 탈퇴를 가장 후회할 것 같은 스타는?	운영자	26/05/04	-	-
2676	구글 계정 하나로 PPT·웹페이지·팟캐스트 뚝딱…제미나이 무료버전의 진짜 위력	aimatters	05.08	29	0
2675	[에이-아이랑] 매일이 어린이날 같기를 - AI 시대의 또 다른 놀이터	aimatters	05.08	12	1
2674	에이서, 지마켓 '빅스마일데이'서 게이밍·AI 노트북 최대 36% 할인	aimatters	05.08	23	0
2673	AMD, 기존 데이터센터 그대로 쓰는 엔터프라이즈 AI GPU '인스팅트 MI350P PCIe' 출시	aimatters	05.08	64	0
2672	픽스AI, 자연어로 캐릭터·텍스트·배경 수정하는 AI 이미지 편집 모델 'Edit Pro' 공개	aimatters	05.08	12	1
2671	오픈AI, GPT-5.5 기반 사이버 보안 접근 확대… 검증된 방어자에 'TAC·GPT-5.5-Cyber' 프리뷰 제공	aimatters	05.08	11	0
2670	수학 잘하는 GPT와 수학 못하는 LSTM의 차이	aimatters	05.08	28	0
2669	구글,이 AI 이미지 모델을 4분의 1로 줄였다, 같은 부품을 반복해서 쓰는 기술의 비밀	aimatters	05.08	13	0
2668	"AI 정책의 진짜 권력은 워싱턴에 있다"… 오픈AI·앤트로픽, 2026 1분기 로비 지출 사상 최대	aimatters	05.08	14	0
2667	Genesis AI, 'GENE-26.5' 공개… 인간 수준 손 조작 가능한 모델 타사도 쓸 수 있게 한다	aimatters	05.08	12	0
2666	"AI 후퇴인가, 정리인가"… 마이크로소프트, 윈도우 11 코파일럿 버튼 대거 제거	aimatters	05.08	64	0
2665	구글, Fitbit 앱을 'Google Health'로 리브랜드… 제미나이 헬스 코치·화면 없는 'Fitbit Air' 동시 공개	aimatters	05.08	60	0
2664	오픈AI, 자해 위험 감지 시 가족·친구에게 알리는 'Trusted Contact' 기능 출시	aimatters	05.08	10	0
2663	메타코리아·디지털리터러시협회, '2026 미래교육 심포지엄' 성료… 아시아 8개국 'AI 리터러시' 백서 발간	aimatters	05.08	8	0
2662	DJI, 프로급 프레이밍·추적 'Osmo Mobile 8P' 글로벌 출시… ActiveTrack 8.0·Apple DockKit 지원	aimatters	05.08	12	0
2661	오픈AI, '챗GPT 광고 파일럿' 한국 포함 5개국 신규 확대… 무료·고(Go) 요금제 성인 대상	aimatters	05.08	24	0
2660	모질라 "클로드 미토스가 찾은 파이어폭스 취약점 271개, 진짜였다"고 밝혀	aimatters	05.08	13	0
2659	구글 '시간 끌기' 실패… 법원 "검색 데이터 지금 바로 공개하라"	aimatters	05.08	61	0
2658	美 대학용 학습 관리 시스템 'Canvas' 사이버 사고 — "3.65TB·8천여 기관 데이터 탈취" 주장	aimatters	05.08	24	0
2657	미국 AI 시대 전력난에 '발코니 태양광' 허용키로… 콜로라도, 플러그인 솔라 합법화	aimatters	05.08	26	0
2656	"유럽판 오픈AI"… a16z, 스웨덴 AI 스타트업 'Pit'에 234억 원 투자	aimatters	05.08	12	0
2655	오픈AI, 음성 API에 'GPT-Realtime-2' 등 신모델 3종 공개… 70개 언어 동시통역까지	aimatters	05.08	12	0
2654	[AI와 인간 사이] Ontology Again, 왜 온톨로지는 AI와 함께 다시 돌아왔을까?	aimatters	05.07	29	0
2653	오픈AI·데이원컴퍼니, 어버이날 맞아 시니어 '챗GPT 교육' 행사 개최 — 일상·세컨드 커리어까지	aimatters	05.07	18	0
2652	스페이스X, '팰컨 9 시대' 마무리 단계 진입 — 앤트로픽과 우주 컴퓨팅 협력하나	aimatters	05.07	758	3
2651	마이크로소프트, '청정 에너지 약속' 무기한 연기 검토 — AI 데이터센터 붐이 ESG 흔든다 [2]	aimatters	05.07	918	4
2650	스냅, 퍼플렉시티와 4억 달러 통합 계약 '우호적 종료' — AI 검색 직접 결합 백지화	aimatters	05.07	16	0
2649	솔트웨어, 'AI EXPO 2026' 참가 — '사피가디언' 앞세워 생성형 AI 보안 전략 제시	aimatters	05.07	18	0
2648	드롭박스, 사우스베이스 컨스트럭션 디지털 전환 지원 — 'Dropbox Dash'로 건설사 AX 지원한다	aimatters	05.07	24	0
2647	세일즈포스 태블로, '에이전틱 애널리틱스 플랫폼' 공개 — 3,300만 시맨틱 모델로 분석도 에이전트가	aimatters	05.07	13	0
2646	코엑스에 등장한 'AI 신당' — 에이전트 스테이션, AI 무당 '연아' 첫 공개	aimatters	05.07	33	0
2645	Modo AI, 제품 사진 1장으로 스튜디오 사진 무한 생성	aimatters	05.07	32	0
2644	미루웨어, AI EXPO 2026서 기가바이트·인피니틱스 AI 솔루션 대거 공개	aimatters	05.07	28	0
2643	AI 트레이딩 모델 대결 — "최신 모델도 대부분 손실 입어"	aimatters	05.07	35	0
2642	코닝-엔비디아 5억 달러 광섬유 공급 계약 — 광섬유 전송 병목도 해결한다	aimatters	05.07	98	0
2641	NIST CAISI, 딥시크 V4 Pro 평가 결과 발표 — "미국 최신 모델들과 8개월 격차"	aimatters	05.07	21	0
2640	MS, 간호사 주간 맞아 'Dragon Copilot for Nurses' 발표 — 환자와 대화하면 자동으로 차트 작성한다	aimatters	05.07	31	0
2639	삼성전자 시총 1조 달러 돌파 — AI 칩 수요 폭발에 KOSPI 사상 최고	aimatters	05.07	82	0
2638	클로드, MS 365 전면 통합 — 엑셀·파워포인트·워드·아웃룩 앱 간 데이터 공유 클로드에서 가능해	aimatters	05.07	16	0
2637	앤트로픽 'Code with Claude 2026' 키노트... 멀티 에이전트 오케스트레이션·드리밍·아웃컴 공개	aimatters	05.07	15	0
2636	앤트로픽-스페이스X, 콜로서스 1 데이터센터 컴퓨팅 파트너십 체결... 엔비디아 칩 22만장 확보했다	aimatters	05.07	14	0
2635	한국 수출기업 78%가 "AI 필요하다" 인정했지만, 실제로 쓰는 곳은 17%뿐인 이유 [3]	aimatters	05.07	356	0
2634	사람은 100점, 최첨단 AI는 60점, 시야각 회전시키면 못 푸는 비전 LLM 머릿속 들여다보니	aimatters	05.07	21	0
2633	한 번 날리면 끝, 찍고 나서 화각 바꾸는 DJI 아바타 360… '드론 혁명'	aimatters	05.06	20	0
2632	AIWORKX, AI EXPO KOREA 2026 참가... '업무 완결형' AxDC 적용으로 업무 끝낸다	aimatters	05.06	19	0
2631	투비소프트, 5월 27일 코엑스서 'Grand Seminar 2026' 개최 — 차세대 AI 로우코드 'N Pangea' 공개	aimatters	05.06	28	0
2630	펜실베이니아서 Character.AI 첫 제소... 챗봇이 '면허 정신과 의사' 행세	aimatters	05.06	27	0
2629	판탈라사, 1.4억 달러 유치... 태평양에 떠 있는 'AI 데이터센터' 2026년 시범 가동	aimatters	05.06	34	0
2628	AMD '데이터센터 매출 57%↑'에 사상 최고가 근접... 2분기 가이던스도 컨센 상회	aimatters	05.06	18	0
2627	슈퍼마이크로, AI 열풍 타고 수익성까지 잡았다…주가 시간외 급등... 분기 매출 11.2~12.5억	aimatters	05.06	26	1

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[AI 매터스 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

대왕디시콘 사용중

대왕디시콘

즐겨찾기 추가 안내

즐겨찾기 추가 안내

색상 설정

즐겨찾기 편집

폴더명

즐겨찾기 편집

디시콘