디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[정보/뉴스] StoryDiffusion : 일관된 이미지, 코믹스, 비디오 생성앱에서 작성

ㅇㅇ­갤로그로 이동합니다. 2024.05.06 01:31:56
조회 2690 추천 26 댓글 14
														

78e88305bd851c8423edf2e3329c701c50410dabf4bc310bc75fa7dbd69dc9f7cf83f640779217ac588bdf47188679108f44e721de


StoryDiffusion: 장거리 이미지 및 비디오 생성을 위한 일관된 Self-Attention의 공식 구현입니다.

? 주요 기능:

StoryDiffusion은 일관된 이미지와 비디오를 생성하여 마법 같은 이야기를 만들 수 있습니다. 우리의 작업은 주로 두 부분으로 구성됩니다:

1. 장거리 시퀀스에 걸쳐 캐릭터 일관성 있는 이미지 생성을 위한 일관된 self-attention입니다. 이는 hot-pluggable하며 모든 SD1.5 및 SDXL 기반 이미지 diffusion 모델과 호환됩니다. 현재 구현에서는 사용자가 일관된 self-attention 모듈에 대해 최소 3개의 텍스트 prompt를 제공해야 합니다. 더 나은 레이아웃 배치를 위해 최소 5 - 6개의 텍스트 prompt를 권장합니다.

2. 장거리 비디오 생성을 위한 motion predictor로, 압축된 이미지 의미 공간에서 Condition Images 사이의 motion을 예측하여 더 큰 motion 예측을 달성합니다.

OpenAI Sora와는 달리 오픈소스로 공개되서 매우 장점이 있음

현재는 코믹 생성 소스코드까지만 공개돼 있고 
곧 비디오 생성 모델 소스코드 및 pretrain된 모델 공개 예정인듯

기존 SD와 호환된다 하니 좋네
자동등록방지

추천 비추천

26

고정닉 17

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2864 설문 비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는? 운영자 24/06/03 - -
476614 정보/ OAI 사임한 초정렬팀 Jan Leike, 장문의 입장문 발표 [42] ㅇㅇ(119.77) 05.18 4122 32
476235 정보/ 낸드플래시에 특이점이 왔다 [59] ㅇㅇ(118.39) 05.17 5034 53
476206 일반 데이터분석V2의 아다였네 [11] 도서관킬러갤로그로 이동합니다. 05.17 2310 24
476188 정보/ OpenAI 그렉 브록만 "모두 AI 초능력을 얻게 될 것" [35] 특술람갤로그로 이동합니다. 05.17 5060 27
476174 정보/ 알파모델 ADA V2 코딩 특화 미쳤다네 [24] 초존도초갤로그로 이동합니다. 05.17 3308 24
476164 정보/ 최신 AI 연구의 큰 두가지 흐름 정리 [56] 나일론마스크갤로그로 이동합니다. 05.17 4860 34
476145 정보/ 최근 OAI 안전, 정렬팀 해고 및 사임 총 정리 [7] ㅇㅇ(119.77) 05.17 756 14
476078 일반 GPT-4o 로 태양계 구현한 게시물을 나도 GPT-4o 웹으로 구현해봄 [8] 특스타갤로그로 이동합니다. 05.16 2540 32
475956 정보/ OAI 스프링 업데이트, 프론티어 모델 예고 ppt [23] ㅇㅇ(119.77) 05.16 4018 36
475764 정보/ 플라톤적 표현 가설 [23] 특술람갤로그로 이동합니다. 05.16 584 16
475750 일반 전독시 AI로 게임처럼 하니까 ㅈㄴ 재밌노 ㅋㅋㅋ [23] ㅇㅇ갤로그로 이동합니다. 05.16 4469 40
475735 AI창 거의 다 그린 그림 AI가 마지막 보정만 살짝 해줌 [48] ㅇㅇ(211.109) 05.16 7218 51
475603 일반 gpt4o 현재까지 공개된 벤치로 제미니, 클로드, 4t와 비교 [8] ㅇㅇ갤로그로 이동합니다. 05.16 4047 25
475377 정보/ 잠잘때 뇌 노폐물 청소? “딱히 그렇지 않아” [48] ㅇㅇ(182.230) 05.15 6027 28
475470 정보/ OpenAI 공동창립자 겸 과학자 "내 직업 대체? 5년정도 걸릴듯" [26] ㅇㅇ(59.17) 05.16 4757 28
475551 정보/ 돼지 뇌, 몸에서 분리된 채 5시간 동안 생존 [34] ㅇㅇ(182.230) 05.16 4845 35
475219 일반 챗GPT-4o 미친것같다 진심;;; [17] 불곰적위대갤로그로 이동합니다. 05.15 8174 45
475180 일반 gpt-4o 이년 진짜 미쳤네 [45] 도서관킬러갤로그로 이동합니다. 05.15 4481 26
475173 일반 GPT-4ㅇ한테 태양계 공전 시스템 코딩시켜봄 [47] ㅇㅇ(221.155) 05.15 5623 41
475023 일반 gpt4o으로 10분만에 만든 하노이탑 시뮬레이션 [14] et갤로그로 이동합니다. 05.15 4319 33
475017 일반 일리야와 초정렬팀이 근본인 이유...factos [15] ㅇㅇ(118.37) 05.15 3674 39
474896 일반 지금 특갤 상황보니까 완장들은 운영 이렇게해야할거같음 ㅇㅇ [25] ㅇㅇ(61.97) 05.15 2865 43
474882 일반 gpt-4o 개오져서 갤순위 높아지니까 유입 분탕충새끼들 개지랄을 하네 [9] ㅇㅇ(125.137) 05.15 2792 45
474787 정보/ Super Alignment 프로젝트 사실상 붕괴 [6] ㅇㅇ(119.77) 05.15 670 17
474775 일반 현재 특이점 갤러리 상황 요약.....jpg [15] ㅇㅇ(59.9) 05.15 5521 35
474618 정보/ 새로운 언어모델 벤치마크 MMLU-Pro [15] 특갤용갤로그로 이동합니다. 05.15 529 16
474562 일반 gpt4o 이거 코드 천줄 넘어가도 잘 인식 하는데 머임? [10] lightvector갤로그로 이동합니다. 05.15 4129 41
474535 정보/ Google I/O 2024에서 발표된 모든 것들 [6] 니지카엘갤로그로 이동합니다. 05.15 530 15
474343 일반 속보) 일리야 큰거온다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [8] ㅇㅇ(118.37) 05.15 5358 30
474294 일반 안전, 초정렬, 일리야 내치고도 점진적 발전 ㅇㅈㄹ ㅋㅋ [5] ㅇㅇ(115.22) 05.15 3505 37
474251 일반 Sam Altman 오늘자 인터뷰 요약 [42] ㅇㅇ(58.123) 05.15 5568 60
474137 정보/ OAI 안전 정렬 팀, 다수 퇴사 혹은 해고 [3] ㅇㅇ(119.77) 05.15 491 12
474088 정보/ 일리야, OAI와 결별 및 프로젝트 공개 예고 [12] ㅇㅇ(119.77) 05.15 3956 38
473930 일반 ??? : 흠.... [22] ㅇㅇ(211.200) 05.15 4597 50
473884 정보/ 오늘 공개된 '제미니 1.5 플래쉬'의 혁신성 [5] ㅇㅇ(119.77) 05.15 547 16
473681 일반 내가 느낀 openai와의 차이점 [24] ㅇㅇ(116.123) 05.15 4445 32
473461 일반 여기서 GPT-4o 메디컬 개 미친 성능 [18] Spark갤로그로 이동합니다. 05.15 5325 39
472895 일반 gpt4o이새끼 좀 지리는데 [6] ㅇㅇ(121.151) 05.15 2161 24
472667 일반 GPT-4o vs GPT-4 풍경 이미지 인식 비교 [18] elryiop갤로그로 이동합니다. 05.14 5535 37
472656 일반 gpt4o는 상상력도 풍부하네 [16] 친근한게이브갤로그로 이동합니다. 05.14 4819 43
472472 일반 진짜 나만 다른 세상인건가 4o 코딩성능 ㅈ되는거같은데 [11] ㅇㅇ(175.213) 05.14 5293 32
472439 일반 GPT4O 갓 패치 ㅇㅈ한다 ㅇㅇ(118.235) 05.14 3550 30
472362 정보/ 오픈AI 직원 : 사람들이 GPT-4o에 대해 오해하고 있다 [42] rtOS갤로그로 이동합니다. 05.14 7140 53
471494 정보/ 처음으로 mathvista에서 인간을 능가한 gpt4o [24] 특술람갤로그로 이동합니다. 05.14 4095 32
472057 정보/ OAI 이벤트 초대남이 우연히 들은 말 [10] ㅇㅇ(119.77) 05.14 646 16
472054 일반 "숨죽였던 치타가 달리기 시작한다" [19] ㅇㅇ(118.37) 05.14 4478 36
471541 일반 ■완장들은 특갤계엄령 선포해라 분탕들 좆지랄떠는거 안보이나 [24] ㅇㅇ(61.97) 05.14 2689 44
471512 일반 GPT-4o 실체.jpg (특슬람, 선형충 멸망) [13] ㅇㅇ(218.238) 05.14 7094 32
471475 일반 념글 사과문제 영어로 하니까 맞추는데? [14] ㅇㅇ(119.192) 05.14 4015 29
471384 일반 념글GPT4도 리롤하면 사과문제 못맞추잖아 [7] ㅇㅇ(121.184) 05.14 3162 17
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2