디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

동영상 만드는 인공지능 ‘런웨이 GEN-2’의 실력은?

IT동아갤로그로 이동합니다. 2023.03.22 09:33:50
조회 1156 추천 2 댓글 4
[IT동아 차주경 기자] 달리 2(DALL-E 2)와 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney) 등 사람이 입력한 문장의 내용을 사진이나 그림으로 만드는 인공지능은 세계에 큰 반향을 일으켰다. 나아가 사람이 입력한 문장의 내용을 동영상으로 만드는 인공지능이 등장했다. 런웨이(Runway) GEN-2다.

런웨이 GEN-2의 동작 원리는 다중 모달(Multi Modal, 다양한 수단과 방식을 써서 정보를 주고 받는 구조)이다. 먼저 풍부한 분량의 사진과 동영상 데이터를 분석하고 기억한다. 사람이 문장이나 사진, 동영상을 입력하면 내용을 분석하고 기존 데이터를 참고해 알맞은 내용을 창작하는 원리다.


런웨이 GEN-2가 사람이 입력한 문장, 사진을 토대로 만든 동영상. 출처 = 런웨이 연구 블로그



덕분에, 이 인공지능은 사람이 입력한 문장의 내용을 고스란히 동영상으로 만든다. 문장과 사진을 함께 입력해도 동영상을 만든다. 위 예제 사진은 한 남자의 인물 사진(왼쪽위 )과 함께 ‘거리를 걷는 남자를 로우앵글로, 배경에는 네온사인 조명’이라는 문장(왼쪽 아래)을 입력한 결과(오른쪽)다.


런웨이 GEN-2가 사람이 입력한 사진, 동영상을 토대로 만든 새로운 동영상. 출처 = 런웨이 연구 블로그



사람이 입력한 사진을 동영상으로 만드는 능력, 원본 동영상의 피사체와 배경에 임의의 사진을 합성해 새로운 동영상을 만드는 능력도 갖췄다. 위 예제 사진은 현실 세계에서 남성이 춤을 추는 동영상(왼쪽)에 게임 속 캐릭터의 사진(가운데)을 합성, 동영상의 느낌을 게임처럼 바꾼(오른쪽) 사례다.


런웨이 GEN-2가 사람이 입력한 문장을 토대로 만든 기존 동영상을 수정한 사례. 출처 = 런웨이 연구 블로그



문장을 입력해서 동영상 속 피사체의 일부 요소만 제거하거나 수정하는 것, 동영상의 느낌을 실사나 애니메이션 화풍으로 조절하는 것도 가능하다. 위 예제 사진은 개가 산책하는 동영상(왼쪽 위)에 ‘흰 털에 검은 반점이 있는 개’라는 문장(왼쪽 아래)을 입력해서 동영상 속 개의 모습을 바꾼 사례(오른쪽)다. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔 동영상으로 만드는 능력도 가졌다. 런웨이의 연구 블로그에서 위 사례들의 동영상을 확인 가능하다.

아직 한계는 있다. 런웨이 GEN-2로 만든 동영상은 해상도와 선명도가 낮고 프레임 수도 적다. 그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보인다. 동영상 결과물의 길이도 아직은 4초 남짓으로 짧다.

하지만, 런웨이는 2022년 9월 이 기술의 개념을 공개한 후 불과 반 년여 만에 GEN-2를 선보였다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대한다.

런웨이는 다중 모델 인공지능 기술을 더욱 고도화, GEN-2의 성능을 강화할 예정이라고 밝혔다. 단, 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없다.

글 / IT동아 차주경(racingcar@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ 사무실 AI 혁명 일어나나…마이크로소프트, GPT4 품은 오피스 공개▶ GPT-4, 사진 알아보고 변호사·대입 시험 성적도 우수▶ [스타트업-ing] 드랩 “쇼핑몰 상품 사진, AI로 순식간에 만들 수 있습니다”



추천 비추천

2

고정닉 0

2

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 '현타' 오게 하는 고가의 부동산을 구매한 스타는? 운영자 23/06/05 - -
2701 탄소중립 향해 달리는 세계, ‘수소경제’가 마지막 퍼즐?[K비즈니스 가이드] IT동아갤로그로 이동합니다. 06.08 17 0
2700 [먹거리+IT] 농업회사법인 상생 임종순 대표, “쌀은 우리나라의 토종 자원입니다” IT동아갤로그로 이동합니다. 06.08 19 0
2699 [리뷰] 1.17kg대 14인치 가성비 노트북, 레노버 아이디어패드 슬림 5 라이트 [5] IT동아갤로그로 이동합니다. 06.08 1138 1
2698 [스타트업-ing] 퍼밋 "월드 퍼밋 센터, 농산업·스마트팜 상생 터전" IT동아갤로그로 이동합니다. 06.08 16 0
2697 CIT “5G·6G 통신 위한 PTFE·구리 증착 기술 독자 개발” [1] IT동아갤로그로 이동합니다. 06.08 885 1
2696 [SCS] 시설관리 시스템 '메타 세이프티'를 도입한 강릉물류센터 IT동아갤로그로 이동합니다. 06.07 31 0
2695 [WWDC23] iOS 17, 워치OS 10, 맥OS 소노마 등장··· 핵심은 '사용자 경험' IT동아갤로그로 이동합니다. 06.07 49 0
2694 [WWDC23] 애플, M2 울트라 기반 맥프로, 15인치 맥북 에어로 라인업 확충 [3] IT동아갤로그로 이동합니다. 06.07 889 0
2693 [동국대학교 캠퍼스타운] 스포잇 “스포츠로 사회적 가치 실현한다” IT동아갤로그로 이동합니다. 06.07 18 0
2692 차세대 주연산장치 속속...스마트폰 성능·효율 좋아진다. [9] IT동아갤로그로 이동합니다. 06.07 1088 0
2691 [메타버스에 올라타자] 5. 메타버스 세상에서의 '소통' IT동아갤로그로 이동합니다. 06.07 21 0
2690 [뉴스줌인] 에이수스 비보북 16X에 탑재된 MUX 스위치, 용도는? IT동아갤로그로 이동합니다. 06.05 47 0
2689 [IT애정남] 10년 기다린 디아블로 IV, 제 노트북으로도 되나요? IT동아갤로그로 이동합니다. 06.05 68 0
2688 충전 속도 빠른 충전기 구분하려면 이렇게![이럴땐 이렇게!] [42] IT동아갤로그로 이동합니다. 06.05 6799 28
2687 [주간투자동향] 비욘드뮤직, 2,000억 원 규모의 추가 투자 유치 IT동아갤로그로 이동합니다. 06.05 70 0
2686 [뉴스줌인] NAS 제조사 시놀로지에서 출시한 HDD, 뭐가 다를까? [49] IT동아갤로그로 이동합니다. 06.03 7538 1
2685 '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은? IT동아갤로그로 이동합니다. 06.02 67 0
2684 [리뷰] 국산 반도체의 진면모를 파헤치다, 퓨리오사AI 워보이 NPU IT동아갤로그로 이동합니다. 06.02 127 0
2683 [농업이 IT(잇)다] 아케미 “우리 쌀 디저트로 건강과 맛을 함께” IT동아갤로그로 이동합니다. 06.02 53 0
2682 모토롤라 '레이저 40' 공개, 갤럭시Z 플립과 맞대결 [19] IT동아갤로그로 이동합니다. 06.02 2369 3
2681 NAS만이 아니다? 시놀로지, 컴퓨텍스에서 다양한 솔루션 선보여 IT동아갤로그로 이동합니다. 06.01 102 1
2680 인텔, 차세대 CPU에 인공지능 전용 처리 장치, 'VPU' 심는다 [10] IT동아갤로그로 이동합니다. 06.01 1489 1
2679 음향기기의 활발한 콜라보레이션 ‘소비자 구매욕 자극’ IT동아갤로그로 이동합니다. 06.01 937 0
2678 '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아 [1] IT동아갤로그로 이동합니다. 06.01 810 2
2677 LG U+·KT ‘PASS’ 주의, 약관 전체동의 시 부가 서비스에 가입 [15] IT동아갤로그로 이동합니다. 05.31 2457 19
2676 인공지능, 전염병·핵 전쟁 수준의 위협 되기 전 관리해야 [10] IT동아갤로그로 이동합니다. 05.31 1157 2
2675 신산업 기술 개발하는 딥테크… 정부가 나서 육성한다 IT동아갤로그로 이동합니다. 05.30 82 0
2674 파손·침수된 스마트폰 데이터 복원하려면 이렇게![이럴땐 이렇게!] [1] IT동아갤로그로 이동합니다. 05.30 1513 0
2673 경쟁 심화·규모 감소에 스마트폰 기업 철수 연이어 [7] IT동아갤로그로 이동합니다. 05.30 3591 15
2672 [주간투자동향] IPX, BRV캐피탈로부터 1,200억 원 규모의 투자 유치 IT동아갤로그로 이동합니다. 05.30 53 0
2671 니콘 Z8 수석 개발자, "니콘 Z8, 플래그십 Z9보다 더 도전적인 카메라" [2] IT동아갤로그로 이동합니다. 05.30 531 2
2670 사고에 취약한 1인 가구, IoT로 극복 가능? [1] IT동아갤로그로 이동합니다. 05.26 1050 2
2669 [리뷰] 소형 TV를 위한 인테리어 스탠드, 카멜마운트 SMB32 이동형 스탠드 IT동아갤로그로 이동합니다. 05.26 165 0
2668 [농업이 IT(잇)다] 와일드웨이브 “우리나라만의 사워 맥주 보급” [6] IT동아갤로그로 이동합니다. 05.26 937 1
2667 음악 감상 경험 높이는 음질·ANC 개인 최적화 기술 IT동아갤로그로 이동합니다. 05.26 118 0
2666 가짜뉴스 잡으려는 AI 업계…. 관건은 ‘정확도’ [11] IT동아갤로그로 이동합니다. 05.25 1859 1
2665 ‘코로나 특수’ 맞았던 글로벌 게임시장, 왜 중국만 역성장?[K비즈니스 가이드] [21] IT동아갤로그로 이동합니다. 05.25 1835 6
2664 건설 현장 논란 ‘근로자 경력 관리’로 보완한다 [10] IT동아갤로그로 이동합니다. 05.25 1017 3
2663 배달비 인상에 주목받는 ‘배달비 무료 배달앱’ [25] IT동아갤로그로 이동합니다. 05.25 1649 1
2662 샘 워너 IBM 부사장 “효율성, 보안성까지 잡은 IBM 스토리지, 한국 시장에서 호응” IT동아갤로그로 이동합니다. 05.24 97 1
2661 [IT 신상공개] 가장 작고 가벼운 EOS, 캐논 EOS R100 IT동아갤로그로 이동합니다. 05.24 1224 0
2660 [농업+IT=스마트팜] 6. 나만의 스마트팜 본격 구축하기 (1) IT동아갤로그로 이동합니다. 05.24 99 0
2659 콘텐츠 소비자, 몰입감 위해 지갑 연다 [3] IT동아갤로그로 이동합니다. 05.24 2938 0
2658 종합소득세 신고, 국세청 모두채움으로 간편하게 [7] IT동아갤로그로 이동합니다. 05.24 4260 6
2657 노스노비 “리울프 플랫폼과 친환경 종이 화병으로 화훼업계 ‘배민’ 노린다” [스타트업-ing] IT동아갤로그로 이동합니다. 05.23 83 0
2656 구글, 인공지능으로 장애인 접근성 높인다 IT동아갤로그로 이동합니다. 05.23 122 0
2655 중국, 美 반도체 기업 '마이크론' 제재··· '기로에 선 한·미 반도체 기업들' [2] IT동아갤로그로 이동합니다. 05.22 267 0
2654 서울과기대, 예비창업자 돕는 '2023년 메이커스페이스 제조창업교육' 실시 IT동아갤로그로 이동합니다. 05.22 102 0
2653 다른 노트북 충전 어댑터를 사용하고 싶을 땐 이렇게![이럴땐 이렇게!] [63] IT동아갤로그로 이동합니다. 05.22 3764 3
2652 [IT신상공개] 비행 편의와 내후성 좋아진 산업용 드론 DJI M350 RTK [1] IT동아갤로그로 이동합니다. 05.22 948 1
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2

힛(HIT)NEW

그때 그 힛

1/3