동영상 만드는 인공지능 ‘런웨이 GEN-2’의 실력은?

IT동아

2023.03.22 09:33:50

조회 1221 추천 2 댓글 4

[IT동아 차주경 기자] 달리 2(DALL-E 2)와 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney) 등 사람이 입력한 문장의 내용을 사진이나 그림으로 만드는 인공지능은 세계에 큰 반향을 일으켰다. 나아가 사람이 입력한 문장의 내용을 동영상으로 만드는 인공지능이 등장했다. 런웨이(Runway) GEN-2다.

런웨이 GEN-2의 동작 원리는 다중 모달(Multi Modal, 다양한 수단과 방식을 써서 정보를 주고 받는 구조)이다. 먼저 풍부한 분량의 사진과 동영상 데이터를 분석하고 기억한다. 사람이 문장이나 사진, 동영상을 입력하면 내용을 분석하고 기존 데이터를 참고해 알맞은 내용을 창작하는 원리다.

런웨이 GEN-2가 사람이 입력한 문장, 사진을 토대로 만든 동영상. 출처 = 런웨이 연구 블로그

덕분에, 이 인공지능은 사람이 입력한 문장의 내용을 고스란히 동영상으로 만든다. 문장과 사진을 함께 입력해도 동영상을 만든다. 위 예제 사진은 한 남자의 인물 사진(왼쪽위 )과 함께 ‘거리를 걷는 남자를 로우앵글로, 배경에는 네온사인 조명’이라는 문장(왼쪽 아래)을 입력한 결과(오른쪽)다.

런웨이 GEN-2가 사람이 입력한 사진, 동영상을 토대로 만든 새로운 동영상. 출처 = 런웨이 연구 블로그

사람이 입력한 사진을 동영상으로 만드는 능력, 원본 동영상의 피사체와 배경에 임의의 사진을 합성해 새로운 동영상을 만드는 능력도 갖췄다. 위 예제 사진은 현실 세계에서 남성이 춤을 추는 동영상(왼쪽)에 게임 속 캐릭터의 사진(가운데)을 합성, 동영상의 느낌을 게임처럼 바꾼(오른쪽) 사례다.

런웨이 GEN-2가 사람이 입력한 문장을 토대로 만든 기존 동영상을 수정한 사례. 출처 = 런웨이 연구 블로그

문장을 입력해서 동영상 속 피사체의 일부 요소만 제거하거나 수정하는 것, 동영상의 느낌을 실사나 애니메이션 화풍으로 조절하는 것도 가능하다. 위 예제 사진은 개가 산책하는 동영상(왼쪽 위)에 ‘흰 털에 검은 반점이 있는 개’라는 문장(왼쪽 아래)을 입력해서 동영상 속 개의 모습을 바꾼 사례(오른쪽)다. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔 동영상으로 만드는 능력도 가졌다. 런웨이의 연구 블로그에서 위 사례들의 동영상을 확인 가능하다.

아직 한계는 있다. 런웨이 GEN-2로 만든 동영상은 해상도와 선명도가 낮고 프레임 수도 적다. 그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보인다. 동영상 결과물의 길이도 아직은 4초 남짓으로 짧다.

하지만, 런웨이는 2022년 9월 이 기술의 개념을 공개한 후 불과 반 년여 만에 GEN-2를 선보였다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대한다.

런웨이는 다중 모델 인공지능 기술을 더욱 고도화, GEN-2의 성능을 강화할 예정이라고 밝혔다. 단, 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없다.

글 / IT동아 차주경(racingcar@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ 사무실 AI 혁명 일어나나…마이크로소프트, GPT4 품은 오피스 공개 ▶ GPT-4, 사진 알아보고 변호사·대입 시험 성적도 우수 ▶ [스타트업-ing] 드랩 “쇼핑몰 상품 사진, AI로 순식간에 만들 수 있습니다”

고정닉 0

원본 첨부파일 3본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	연인과 헤어지고 뒤끝 작렬할 것 같은 스타는?	운영자	24/04/22	-	-
3728	[스타트업-ing] 더길 “e커머스 초보자도 ‘상생’하며 함께 성장하는 플랫폼”	IT동아	20:49	4	0
3727	세일즈포스, '데이터, AI, CRM, 신뢰가 디지털 혁신의 열쇠'	IT동아	17:02	8	0
3726	윌리엄앤코, 영유아 영어교육 키트 ‘텔리’ 조달청 등록 추진	IT동아	16:39	9	0
3725	시향 플랫폼 기업 ‘퍼퓸투데이’…BM 확장 및 투자 유치 나서	IT동아	14:36	12	0
3724	[IT신상공개] 실시간 온체인 데이터 분석·시각화로 업무 효율 높인다, 쟁글ERP	IT동아	13:36	862	0
3723	안창욱 GIST AI연구소장 “이노디테크 AI 시스템, 합성형 AI로 구축했습니다”	IT동아	10:39	23	0
3722	CRT게임즈, 서울과기대 초기창업패키지 최우수 기업 선정	IT동아	10:14	29	0
3721	[리뷰] 애플 M3로 실성능 끌어올린 '애플 맥북에어 13'	IT동아	04.22	235	0
3720	[시승기] 브랜드 첫 쿠페형 SUV…’제네시스 GV80 쿠페’	IT동아	04.22	30	0
3719	IBM “ESG 솔루션으로 지속가능성·비즈니스 성과 높인다”	IT동아	04.22	178	0
3718	[리뷰] ‘AI 시대’가 낳은 차세대 TV, 2024 LG 올레드 evo G4 [3]	IT동아	04.22	1112	1
3717	오렌지바이오메드, 품질경영시스템 ISO 9001 인증 획득	IT동아	04.22	30	0
3716	[주간투자동향] 비즈플레이, 30억 원 규모 전략적 투자 유치	IT동아	04.22	24	0
3715	레몬사운드, 콘테스트 기반 음악 제작∙제공 서비스로 게임 업계 ‘성과’	IT동아	04.22	30	1
3714	AI 품은 LG전자 에어컨, 판매량 청신호	IT동아	04.19	192	0
3713	[생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’ [8]	IT동아	04.19	7647	7
3712	god의 길·촛불하나 M/V, 영국서 리메이크로 재탄생 [1]	IT동아	04.19	161	1
3711	나띵프로젝트, 캐릭터로 더 친근해진 '플랍플랍 버블바스' 입욕제 출시	IT동아	04.19	77	0
3710	[KESIA 시드팁스] 메이커런스 “아이와 부모, ‘반차’로 함께 힐링하세요” [1]	IT동아	04.19	803	0
3709	디지포레 “대기업 위주 디지털트윈 생태계, 중소기업 확산 위한 교두보 마련”	IT동아	04.19	795	0
3708	아웃도어 플랫폼 '데얼스', 2024 스포츠산업 창업 도약 기업 선정	IT동아	04.19	69	0
3707	클랫폼, 스마트팜 활용 도농 융복합단지 조성 추진	IT동아	04.19	67	0
3706	박스테이션, 주차 요금 핸즈프리결제 솔루션 상용화에 박차	IT동아	04.19	66	0
3705	제이쓰리씨, 해양 시뮬레이터 개발로 ‘대한민국 우수기업’ R&D 대상 수상	IT동아	04.19	68	0
3704	단독질주 엔비디아, 추격나선 인텔·AMD... '변수는 1nm 파운드리'	IT동아	04.19	379	0
3703	[농업이 IT(잇)다] 팜비오스 “LED 조명·인도어팜 솔루션으로 기후·인력난 문제 해결”	IT동아	04.19	54	0
3702	AI가 이끄는 설계·엔지니어링 혁신…’카티아 유저데이’ 현장	IT동아	04.18	82	0
3701	블록체인 산업 트렌드·발전 방향 확인하는 자리, 2024 BCMC	IT동아	04.18	71	0
3700	핀카(FINCA), 3D 초개인화 서비스 '마리테'로 침구 시장 공략	IT동아	04.18	699	1
3699	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 7	IT동아	04.17	103	0
3698	[뉴스줌인] LPDDR5X 시장, 삼성전자 신제품 개발로 경쟁 ‘후끈’	IT동아	04.17	170	0
3697	모니터암·전동식 책상·의자가 사무실 '필수'로 떠오르는 이유는? [1]	IT동아	04.17	1511	1
3696	[스타트업-ing] 씨지인사이드 “법률·규제 인공지능 도우미 전파”	IT동아	04.17	115	0
3695	'성능ㆍ휴대성' 겸비한 고성능 노트북 PC들이 온다 [1]	IT동아	04.17	674	1
3694	[자동차와 法] 공공기관의 친환경차 의무구매제도 현황에 대하여 [1]	IT동아	04.16	356	0
3693	티맵에 숨어 있는 유용한 기능 활용해 보니	IT동아	04.16	110	0
3692	로보락 “품질·편의성으로 고객 중심 가치 구현할 것” [3]	IT동아	04.16	884	0
3691	[뉴스줌인] RDIMM 메모리 출시한 커세어, 일반 메모리와의 차이점은?	IT동아	04.15	128	0
3690	인공지능 활용한 게임 내 그래픽 가속, 현재와 미래	IT동아	04.15	138	0
3689	[월간자동차] 24년 3월, 신차·중고차 판매 모두 상승…기아 쏘렌토 1위 고수	IT동아	04.15	912	0
3688	‘카드부터 신분증까지’ 갤럭시 스마트폰 쓴다면 지갑 말고 이렇게![이럴땐 이렇게!] [4]	IT동아	04.15	1259	3
3687	“전통주 번개배송은 새로운 경험의 시작이 될 것” 박준형 술담화 CSO	IT동아	04.12	213	0
3686	[생성 AI 길라잡이] 애플이 만들 인공지능 서비스, 어떤 모습일까?	IT동아	04.12	241	0
3685	2024년은 온디바이스 AI 시대, 왜 'AI PC'는 지금 주목받나? [3]	IT동아	04.12	7205	4
3684	‘낭만국시’ 우승완 공동대표 “춘천 원도심 상권르네상스로 스마트 비즈니스 발돋움”	IT동아	04.12	178	0
3683	[인터뷰] 유니버설 로봇 “글로벌 1위 협동로봇 앞세워 韓 시장 공략”	IT동아	04.12	923	1
3682	영상 촬영의 세계를 넓혀주는 파트너, DJI RS 4	IT동아	04.12	173	0
3681	[KESIA 시드팁스] 하와이컴퍼니 “수포자 문제 해결할 교육 솔루션, 여기 있습니다”	IT동아	04.12	168	0
3680	이더리움 상승세 'ETF 승인 기대감·네트워크 업그레이드' 영향	IT동아	04.12	1149	0
3679	[농업이 IT(잇)다] 투마루, "푸드 업사이클링으로 김천 호두 진심 전할 것"	IT동아	04.12	169	0

갤러리 리스트

번호

제목

글쓴이

작성일

조회

추천

설문

연인과 헤어지고 뒤끝 작렬할 것 같은 스타는?

운영자

24/04/22

3728

[스타트업-ing] 더길 “e커머스 초보자도 ‘상생’하며 함께 성장하는 플랫폼”

IT동아