디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

동영상 만드는 인공지능 ‘런웨이 GEN-2’의 실력은?

IT동아갤로그로 이동합니다. 2023.03.22 09:33:50
조회 1225 추천 2 댓글 4
[IT동아 차주경 기자] 달리 2(DALL-E 2)와 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney) 등 사람이 입력한 문장의 내용을 사진이나 그림으로 만드는 인공지능은 세계에 큰 반향을 일으켰다. 나아가 사람이 입력한 문장의 내용을 동영상으로 만드는 인공지능이 등장했다. 런웨이(Runway) GEN-2다.

런웨이 GEN-2의 동작 원리는 다중 모달(Multi Modal, 다양한 수단과 방식을 써서 정보를 주고 받는 구조)이다. 먼저 풍부한 분량의 사진과 동영상 데이터를 분석하고 기억한다. 사람이 문장이나 사진, 동영상을 입력하면 내용을 분석하고 기존 데이터를 참고해 알맞은 내용을 창작하는 원리다.


런웨이 GEN-2가 사람이 입력한 문장, 사진을 토대로 만든 동영상. 출처 = 런웨이 연구 블로그



덕분에, 이 인공지능은 사람이 입력한 문장의 내용을 고스란히 동영상으로 만든다. 문장과 사진을 함께 입력해도 동영상을 만든다. 위 예제 사진은 한 남자의 인물 사진(왼쪽위 )과 함께 ‘거리를 걷는 남자를 로우앵글로, 배경에는 네온사인 조명’이라는 문장(왼쪽 아래)을 입력한 결과(오른쪽)다.


런웨이 GEN-2가 사람이 입력한 사진, 동영상을 토대로 만든 새로운 동영상. 출처 = 런웨이 연구 블로그



사람이 입력한 사진을 동영상으로 만드는 능력, 원본 동영상의 피사체와 배경에 임의의 사진을 합성해 새로운 동영상을 만드는 능력도 갖췄다. 위 예제 사진은 현실 세계에서 남성이 춤을 추는 동영상(왼쪽)에 게임 속 캐릭터의 사진(가운데)을 합성, 동영상의 느낌을 게임처럼 바꾼(오른쪽) 사례다.


런웨이 GEN-2가 사람이 입력한 문장을 토대로 만든 기존 동영상을 수정한 사례. 출처 = 런웨이 연구 블로그



문장을 입력해서 동영상 속 피사체의 일부 요소만 제거하거나 수정하는 것, 동영상의 느낌을 실사나 애니메이션 화풍으로 조절하는 것도 가능하다. 위 예제 사진은 개가 산책하는 동영상(왼쪽 위)에 ‘흰 털에 검은 반점이 있는 개’라는 문장(왼쪽 아래)을 입력해서 동영상 속 개의 모습을 바꾼 사례(오른쪽)다. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔 동영상으로 만드는 능력도 가졌다. 런웨이의 연구 블로그에서 위 사례들의 동영상을 확인 가능하다.

아직 한계는 있다. 런웨이 GEN-2로 만든 동영상은 해상도와 선명도가 낮고 프레임 수도 적다. 그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보인다. 동영상 결과물의 길이도 아직은 4초 남짓으로 짧다.

하지만, 런웨이는 2022년 9월 이 기술의 개념을 공개한 후 불과 반 년여 만에 GEN-2를 선보였다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대한다.

런웨이는 다중 모델 인공지능 기술을 더욱 고도화, GEN-2의 성능을 강화할 예정이라고 밝혔다. 단, 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없다.

글 / IT동아 차주경(racingcar@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ 사무실 AI 혁명 일어나나…마이크로소프트, GPT4 품은 오피스 공개▶ GPT-4, 사진 알아보고 변호사·대입 시험 성적도 우수▶ [스타트업-ing] 드랩 “쇼핑몰 상품 사진, AI로 순식간에 만들 수 있습니다”



추천 비추천

2

고정닉 0

2

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는? 운영자 24/04/29 - -
3766 [농업이 IT(잇)다] “두부 맛있고 간편하게 먹을 수 있어요” 더블헬스케어 정윤미 대표 IT동아갤로그로 이동합니다. 05.03 21 0
3765 [시승기] 마세라티와 스트릿 패션의 만남…‘기블리 프라그먼트 에디션’ [11] IT동아갤로그로 이동합니다. 05.03 715 1
3764 빗썸 “편의성 개선 프로젝트로 한층 편하고 안전해졌습니다” IT동아갤로그로 이동합니다. 05.03 32 0
3763 차트분석 도구 ‘트레이딩뷰’ 파고들기 - 9 [2] IT동아갤로그로 이동합니다. 05.03 258 2
3762 금감원·DAXA, 가상자산 투자사기 예방 위해 종합 홍보 나선다 IT동아갤로그로 이동합니다. 05.02 40 0
3761 韓 진출 앞둔 中 패션 플랫폼 쉬인, '자본력보다 노련한 유통 전략 세워야' IT동아갤로그로 이동합니다. 05.02 56 0
3760 '협동로봇'으로 효율 제고 나선 車 업계 [2] IT동아갤로그로 이동합니다. 05.02 284 1
3759 KT클라우드 "파트너 생태계 강화로 시장 전체 파이 키울 것" [1] IT동아갤로그로 이동합니다. 05.02 643 0
3758 서울시·KB증권·모두의1층이니셔티브 이동약자 접근성 높인다 IT동아갤로그로 이동합니다. 05.02 35 0
3757 [리뷰] 해외 직구 초저가 디지털 제품, 쓸 만할까? IT동아갤로그로 이동합니다. 04.30 143 0
3756 [자동차와 法] 배기량 기준 자동차세 부과의 문제점 IT동아갤로그로 이동합니다. 04.30 79 0
3755 [자동차 디자人] 벤틀리 코리아 에디션 그려낸 추상화가 ‘하태임’ IT동아갤로그로 이동합니다. 04.30 148 0
3754 HP, AI로 비용∙속도∙보안성까지 개선한 ‘AI PC’ 제품군 공개 IT동아갤로그로 이동합니다. 04.30 86 0
3753 [마인드테크 시대가 온다] 8. 모두가 행복한 사회를 위하여 IT동아갤로그로 이동합니다. 04.30 84 0
3752 [KESIA 시드팁스] 벳플레이스 "수의사가 만든, 수의사를 위한 플랫폼입니다" IT동아갤로그로 이동합니다. 04.30 77 0
3751 마이크로소프트 ‘코파일럿 한국어 지원’ 앞세워 국내 인공지능 서비스 지원 강화 나선다 IT동아갤로그로 이동합니다. 04.30 78 0
3750 AWS, '전략적 협업 계약'으로 클라우드 동맹 늘린다 IT동아갤로그로 이동합니다. 04.30 4412 1
3749 클레이튼·핀시아, 통합 브랜드 ‘카이아’ 공개···프로젝트 합병도 순조로워 IT동아갤로그로 이동합니다. 04.30 72 0
3748 인공지능 서비스 기업의 투자 확대, 시장 흐름은? IT동아갤로그로 이동합니다. 04.29 87 0
3747 자동차 번호판 교체를 원한다면, 가능한 조건 확인하기! [이럴땐 이렇게!] [5] IT동아갤로그로 이동합니다. 04.29 1069 0
3746 [스타트업-ing] CIT “ASE 증착 기술, 다양한 활용도에 국내외 산업계 주목” IT동아갤로그로 이동합니다. 04.29 92 0
3745 [생성 AI 길라잡이] ‘정부용 생성 AI’ 활용 방안 살펴보니 IT동아갤로그로 이동합니다. 04.26 184 0
3744 [리뷰] 10G SFP+ 지원 비관리형 이더넷 스위치, 넷기어 GS108X IT동아갤로그로 이동합니다. 04.26 173 0
3743 [농업이 IT(잇)다] “농가와 기업, 구성원과 함께 성장하고 싶어” 강경훈 키움바이오 대표 [1] IT동아갤로그로 이동합니다. 04.26 1118 0
3742 서울과기대 창업지원단, 예창패·초창패 기업 지원 '선순환' 만든다 IT동아갤로그로 이동합니다. 04.26 171 0
3741 차트분석 도구 ‘트레이딩뷰’ 파고들기 - 8 IT동아갤로그로 이동합니다. 04.25 189 0
3740 써드웍스, 신규 수입 상품 소싱 위한 ‘수입상품 소싱 플랫폼’ 선보여 IT동아갤로그로 이동합니다. 04.25 193 0
3739 [리뷰] 미국/영국 청소기 시장 1등 '샤크'의 무선 진공청소기 '클린 센스 IQ+' [2] IT동아갤로그로 이동합니다. 04.25 1124 0
3738 퀄컴, '스냅드래곤 X 플러스'로 라인업 확장··· AI PC 시장 정조준 IT동아갤로그로 이동합니다. 04.25 186 0
3737 [KESIA 시드팁스] 디써클, AI 기반 R&D 플랫폼 ‘알앤디써클’로 전 세계 기업과 연구간 가교 꿈꾼다 IT동아갤로그로 이동합니다. 04.24 200 0
3736 TG삼보, 인포플라와 AI 분야 MOU 체결 IT동아갤로그로 이동합니다. 04.24 189 0
3735 메타, 라마 3 LLM도 오픈소스로 공개··· '시장 장악력 더 높아질 듯' IT동아갤로그로 이동합니다. 04.24 183 0
3734 더길, 상위 10% 프리미엄 셀러 위한 지원 솔루션 선보인다 IT동아갤로그로 이동합니다. 04.24 4417 0
3733 카파바이오사이언스, 신소재 ‘Vita-SPMD’ 글로벌 시장 공급 발판 마련 IT동아갤로그로 이동합니다. 04.24 166 0
3732 플러스닷, NIPA 호치민IT지원센터 2024년 입주기업에 선정 IT동아갤로그로 이동합니다. 04.24 179 0
3731 교수창업기업 ‘럭스바이옴’, 마이크로바이옴 기반 신제품 출시 임박 IT동아갤로그로 이동합니다. 04.24 171 0
3730 ‘체계적인 e스포츠 대면 강의 제공할 것’ 게임프로, e스포츠 오프라인 강의실 5월 말 개소 [8] IT동아갤로그로 이동합니다. 04.24 2139 1
3729 삼성전자, 업계 최초 '9세대 V낸드' 양산 IT동아갤로그로 이동합니다. 04.23 256 0
3728 [스타트업-ing] 더길 “e커머스 초보자도 ‘상생’하며 함께 성장하는 플랫폼” IT동아갤로그로 이동합니다. 04.23 161 0
3727 세일즈포스, '데이터, AI, CRM, 신뢰가 디지털 혁신의 열쇠' IT동아갤로그로 이동합니다. 04.23 162 0
3726 윌리엄앤코, 영유아 영어교육 키트 ‘텔리’ 조달청 등록 추진 IT동아갤로그로 이동합니다. 04.23 158 0
3725 시향 플랫폼 기업 ‘퍼퓸투데이’…BM 확장 및 투자 유치 나서 [1] IT동아갤로그로 이동합니다. 04.23 1803 0
3724 [IT신상공개] 실시간 온체인 데이터 분석·시각화로 업무 효율 높인다, 쟁글ERP IT동아갤로그로 이동합니다. 04.23 4492 0
3723 안창욱 GIST AI연구소장 “이노디테크 AI 시스템, 합성형 AI로 구축했습니다” IT동아갤로그로 이동합니다. 04.23 169 0
3722 CRT게임즈, 서울과기대 초기창업패키지 최우수 기업 선정 IT동아갤로그로 이동합니다. 04.23 175 0
3721 [리뷰] 애플 M3로 실성능 끌어올린 '애플 맥북에어 13' IT동아갤로그로 이동합니다. 04.22 404 0
3720 [시승기] 브랜드 첫 쿠페형 SUV…’제네시스 GV80 쿠페’ IT동아갤로그로 이동합니다. 04.22 171 0
3719 IBM “ESG 솔루션으로 지속가능성·비즈니스 성과 높인다” IT동아갤로그로 이동합니다. 04.22 319 0
3718 [리뷰] ‘AI 시대’가 낳은 차세대 TV, 2024 LG 올레드 evo G4 [3] IT동아갤로그로 이동합니다. 04.22 1450 1
3717 오렌지바이오메드, 품질경영시스템 ISO 9001 인증 획득 IT동아갤로그로 이동합니다. 04.22 159 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2