디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[정보/뉴스] StoryDiffusion : 일관된 이미지, 코믹스, 비디오 생성앱에서 작성

ㅇㅇ­갤로그로 이동합니다. 2024.05.06 01:31:56
조회 2671 추천 26 댓글 14
														

78e88305bd851c8423edf2e3329c701c50410dabf4bc310bc75fa7dbd69dc9f7cf83f640779217ac588bdf47188679108f44e721de


StoryDiffusion: 장거리 이미지 및 비디오 생성을 위한 일관된 Self-Attention의 공식 구현입니다.

? 주요 기능:

StoryDiffusion은 일관된 이미지와 비디오를 생성하여 마법 같은 이야기를 만들 수 있습니다. 우리의 작업은 주로 두 부분으로 구성됩니다:

1. 장거리 시퀀스에 걸쳐 캐릭터 일관성 있는 이미지 생성을 위한 일관된 self-attention입니다. 이는 hot-pluggable하며 모든 SD1.5 및 SDXL 기반 이미지 diffusion 모델과 호환됩니다. 현재 구현에서는 사용자가 일관된 self-attention 모듈에 대해 최소 3개의 텍스트 prompt를 제공해야 합니다. 더 나은 레이아웃 배치를 위해 최소 5 - 6개의 텍스트 prompt를 권장합니다.

2. 장거리 비디오 생성을 위한 motion predictor로, 압축된 이미지 의미 공간에서 Condition Images 사이의 motion을 예측하여 더 큰 motion 예측을 달성합니다.

OpenAI Sora와는 달리 오픈소스로 공개되서 매우 장점이 있음

현재는 코믹 생성 소스코드까지만 공개돼 있고 
곧 비디오 생성 모델 소스코드 및 pretrain된 모델 공개 예정인듯

기존 SD와 호환된다 하니 좋네
자동등록방지

추천 비추천

26

고정닉 17

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2863 설문 시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는? 운영자 24/05/27 - -
475735 AI창 거의 다 그린 그림 AI가 마지막 보정만 살짝 해줌 [48] ㅇㅇ(211.109) 05.16 6795 51
475603 일반 gpt4o 현재까지 공개된 벤치로 제미니, 클로드, 4t와 비교 [8] ㅇㅇ갤로그로 이동합니다. 05.16 3830 25
475377 정보/ 잠잘때 뇌 노폐물 청소? “딱히 그렇지 않아” [48] ㅇㅇ(182.230) 05.15 5856 27
475470 정보/ OpenAI 공동창립자 겸 과학자 "내 직업 대체? 5년정도 걸릴듯" [26] ㅇㅇ(59.17) 05.16 4645 28
475551 정보/ 돼지 뇌, 몸에서 분리된 채 5시간 동안 생존 [34] ㅇㅇ(182.230) 05.16 4760 35
475219 일반 챗GPT-4o 미친것같다 진심;;; [17] 불곰적위대갤로그로 이동합니다. 05.15 8004 44
475180 일반 gpt-4o 이년 진짜 미쳤네 [45] 도서관킬러갤로그로 이동합니다. 05.15 4354 26
475173 일반 GPT-4ㅇ한테 태양계 공전 시스템 코딩시켜봄 [47] ㅇㅇ(221.155) 05.15 5545 41
475023 일반 gpt4o으로 10분만에 만든 하노이탑 시뮬레이션 [14] et갤로그로 이동합니다. 05.15 4265 33
475017 일반 일리야와 초정렬팀이 근본인 이유...factos [15] ㅇㅇ(118.37) 05.15 3644 39
474896 일반 지금 특갤 상황보니까 완장들은 운영 이렇게해야할거같음 ㅇㅇ [25] ㅇㅇ(61.97) 05.15 2845 42
474882 일반 gpt-4o 개오져서 갤순위 높아지니까 유입 분탕충새끼들 개지랄을 하네 [9] ㅇㅇ(125.137) 05.15 2768 44
474787 정보/ Super Alignment 프로젝트 사실상 붕괴 [6] ㅇㅇ(119.77) 05.15 649 17
474775 일반 현재 특이점 갤러리 상황 요약.....jpg [15] ㅇㅇ(59.9) 05.15 5431 34
474618 정보/ 새로운 언어모델 벤치마크 MMLU-Pro [15] 특갤용갤로그로 이동합니다. 05.15 507 16
474562 일반 gpt4o 이거 코드 천줄 넘어가도 잘 인식 하는데 머임? [10] lightvector갤로그로 이동합니다. 05.15 4066 41
474535 정보/ Google I/O 2024에서 발표된 모든 것들 [6] 니지카엘갤로그로 이동합니다. 05.15 511 15
474343 일반 속보) 일리야 큰거온다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [8] ㅇㅇ(118.37) 05.15 5324 30
474294 일반 안전, 초정렬, 일리야 내치고도 점진적 발전 ㅇㅈㄹ ㅋㅋ [5] ㅇㅇ(115.22) 05.15 3489 37
474251 일반 Sam Altman 오늘자 인터뷰 요약 [42] ㅇㅇ(58.123) 05.15 5518 59
474137 정보/ OAI 안전 정렬 팀, 다수 퇴사 혹은 해고 [3] ㅇㅇ(119.77) 05.15 480 12
474088 정보/ 일리야, OAI와 결별 및 프로젝트 공개 예고 [12] ㅇㅇ(119.77) 05.15 3934 38
473930 일반 ??? : 흠.... [22] ㅇㅇ(211.200) 05.15 4570 50
473884 정보/ 오늘 공개된 '제미니 1.5 플래쉬'의 혁신성 [5] ㅇㅇ(119.77) 05.15 534 16
473681 일반 내가 느낀 openai와의 차이점 [24] ㅇㅇ(116.123) 05.15 4411 32
473461 일반 여기서 GPT-4o 메디컬 개 미친 성능 [18] Spark갤로그로 이동합니다. 05.15 5261 39
472895 일반 gpt4o이새끼 좀 지리는데 [6] ㅇㅇ(121.151) 05.15 2118 24
472667 일반 GPT-4o vs GPT-4 풍경 이미지 인식 비교 [18] elryiop갤로그로 이동합니다. 05.14 5460 37
472656 일반 gpt4o는 상상력도 풍부하네 [16] 친근한게이브갤로그로 이동합니다. 05.14 4765 43
472472 일반 진짜 나만 다른 세상인건가 4o 코딩성능 ㅈ되는거같은데 [11] ㅇㅇ(175.213) 05.14 5244 32
472439 일반 GPT4O 갓 패치 ㅇㅈ한다 ㅇㅇ(118.235) 05.14 3515 30
472362 정보/ 오픈AI 직원 : 사람들이 GPT-4o에 대해 오해하고 있다 [43] rtOS갤로그로 이동합니다. 05.14 7061 53
471494 정보/ 처음으로 mathvista에서 인간을 능가한 gpt4o [24] 특술람갤로그로 이동합니다. 05.14 4070 32
472057 정보/ OAI 이벤트 초대남이 우연히 들은 말 [10] ㅇㅇ(119.77) 05.14 613 16
472054 일반 "숨죽였던 치타가 달리기 시작한다" [19] ㅇㅇ(118.37) 05.14 4446 36
471541 일반 ■완장들은 특갤계엄령 선포해라 분탕들 좆지랄떠는거 안보이나 [24] ㅇㅇ(61.97) 05.14 2681 44
471512 일반 GPT-4o 실체.jpg (특슬람, 선형충 멸망) [13] ㅇㅇ(218.238) 05.14 7053 32
471475 일반 념글 사과문제 영어로 하니까 맞추는데? [14] ㅇㅇ(119.192) 05.14 3993 29
471384 일반 념글GPT4도 리롤하면 사과문제 못맞추잖아 [7] ㅇㅇ(121.184) 05.14 3147 17
471376 일반 4o에 왜 열광하는지 모르겠음 [61] 비닌갤로그로 이동합니다. 05.14 6533 37
471362 일반 gpt 4o 빠른대신 구리네 [24] ㅇㅇ(175.125) 05.14 6057 25
471328 토의 하도 근들갑 떨어대길래 공식영상 보고 왔는데 [21] ㅇㅇ(103.212) 05.14 3761 31
471293 일반 솔직히 살짝 짜치면 개추... [8] ㅇㅇ(183.98) 05.14 5513 40
471208 일반 gpt4o 이미지 인식 미쳤네 ㅋㅋㅋㅋ [27] 비오는날의개구리갤로그로 이동합니다. 05.14 6093 24
471167 정보/ 개쩌는 오픈AI, GPT-4o 음성 모델 영상 모음 [22] 월코존버갤로그로 이동합니다. 05.14 5283 37
471082 일반 ㄹㅇ TTS, stt 모델 갖다 버렸네 도약이노 [16] ㅇㅇ(220.71) 05.14 4185 21
471058 일반 오늘새벽 광란의 특갤 실전 요약.jpg [10] ㅇㅇ갤로그로 이동합니다. 05.14 4688 39
471035 일반 GPT-5 진행상황 곧 공개? [12] ㅇㅇ(59.5) 05.14 4610 24
470838 일반 이미지 인식능력 돌았다 [9] ㅇㅅㅇ(210.91) 05.14 3831 22
470819 일반 Gpt4o 이미지 인식능력 장난아니네 [7] ㅇㅅㅇ(210.91) 05.14 4137 19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2