디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[정보] TransformerFAM: 피드백 주의는 작업 메모리입니다.

특술람갤로그로 이동합니다. 2024.04.17 12:50:09
조회 1007 추천 14 댓글 12
														

Transformers는 딥 러닝에 혁명을 일으켰지만 2차 주의 복잡성은 무한히 긴 입력을 처리하는 능력을 방해합니다. 우리는 피드백 루프를 활용하여 네트워크가 자체 잠재 표현에 주의를 기울일 수 있도록 하는 새로운 Transformer 아키텍처인 FAM(Feedback Attention Memory)을 제안합니다. 이 설계는 Transformer 내에서 작업 메모리의 출현을 촉진하여 무한정 긴 시퀀스를 처리할 수 있도록 합니다. TransformerFAM은 추가 가중치가 필요하지 않으므로 사전 훈련된 모델과 원활하게 통합할 수 있습니다. 우리의 실험에서는 TransformerFAM이 다양한 모델 크기(1B, 8B 및 24B)에 걸쳐 장기 컨텍스트 작업에서 Transformer 성능을 크게 향상시키는 것으로 나타났습니다. 이러한 결과는 LLM(대형 언어 모델)이 무제한 길이의 시퀀스를 처리할 수 있는 잠재력을 보여줍니다.



0a91e123fdc32e9e4f9ef7e730fc147332ac40b7eace2fd72d94421c321d


0a91e124cff11c9e3e9ef79732dd3373835b40b82f8b2f03f169f160a153



자동등록방지

추천 비추천

14

고정닉 6

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2856 설문 주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는? 운영자 24/04/29 - -
461339 일반 GPT2의 세단계 더 앞선 모델이 GPT5라는 썰 재밌네 ㅋㅋ [2] ㅇㅇ(118.37) 04.30 371 2
461338 일반 님들 지금 행복회로 돌리는 거임? ㅇㅇ(125.137) 04.30 69 1
461337 일반 Gpt2가 gpt-5 맞는거 같은데? [3] ㅇㅇ(58.29) 04.30 399 0
461336 일반 코딩 테스트는 어떰?? [1] ㅇㅇ(121.151) 04.30 60 0
461335 일반 번역 머신으로 뭐가 좋음?? [2] ㅇㅇ(61.105) 04.30 70 0
461334 일반 그래서 오늘 큰 거 온다는 거지? [1] 초존도초갤로그로 이동합니다. 04.30 121 0
461333 일반 지금 떡밥이 뭐임? [1] ㅇㅇ(218.155) 04.30 193 0
461332 일반 gpt2가 차세대 모델이면 대공황이지 [1] ㅇㅇ갤로그로 이동합니다. 04.30 282 2
461330 일반 가장 단순한 설명: gpt5라고 내면 ai 버블 터지니까 간보는거다 [5] ㅇㅇ(211.59) 04.30 407 11
461329 일반 세종대왕 맥북던짐 GPT2 VS GPT-4 [9] dd갤로그로 이동합니다. 04.30 529 7
461327 일반 gpt-4-turbo가 이제 GPT2에서는 gpt1인거네 ㅇㅇ(182.211) 04.30 106 0
461326 일반 이새끼 그냥 신이면 개추 ㅋㅋ [2] ㅇㅇ(175.116) 04.30 448 10
461325 일반 특갤 감다뒤 뭐냐 ㅋㅋ [3] ㅇㅇ(121.151) 04.30 202 0
461324 일반 근데 3d 프린터 주택은 한국에 상용화 됫어? [1] ㅇㅇ(114.201) 04.30 51 0
461323 일반 아키텍처 변경이랑 gpt5랑 뭔 상관임 ㅇㅇ(221.157) 04.30 44 0
461321 일반 Gemma 세종대왕 테스트 결과 dd갤로그로 이동합니다. 04.30 158 0
461320 일반 큐스타 드디어 출시했냐? [1] 네덕근첩갤로그로 이동합니다. 04.30 241 2
461319 일반 gpt2 새로나온거 요약좀 [2] ㅇㅇ(182.211) 04.30 146 0
461318 일반 이미 gpt가 나보다는 똑똑한데 왜 노동대체가 업냐 ㅇㅇ(218.157) 04.30 64 0
461317 일반 이게 정말 관건이네... ㅇㅇ(222.103) 04.30 66 0
461316 일반 니들 어떻게 쓰고 있는거냐 [1] ㅇㅇ(211.214) 04.30 87 0
461315 일반 노가다판에서 ai가 반드시 필요한경우 ㅇㅇ(110.145) 04.30 65 0
461314 일반 오... gpt2 가 4보다 똘똘하긴 하네 [4] 적절한김대기(221.141) 04.30 375 2
461313 일반 속도보면 경량화는 아닌듯 [2] ㅇㅇ(221.157) 04.30 190 1
461311 일반 Gpt2 ㄹㅇ 1.5b 모델이냐? [1] ㅇㅇ(58.29) 04.30 191 0
461310 일반 노가다 현장 알바 뛰고옴 [3] 퐁칸8갤로그로 이동합니다. 04.30 163 0
461309 일반 뤼튼 맛이 간듯 ㅋㅋㅋㅋ 야설 쓰고 있다 [2] ㅇㅇ(220.116) 04.30 249 0
461308 일반 그래서 gpt2 어케 씀 [3] Samus갤로그로 이동합니다. 04.30 279 0
461307 일반 gpt2 이 새끼 혹시 제목학원 수료했냐 ㅇㅇ(220.116) 04.30 168 1
461306 일반 사실.. 미래가 두렵소 [4] ㅇㅇ갤로그로 이동합니다. 04.30 125 0
461305 일반 윈도우즈2가 나온거랑 비슷한건가 et갤로그로 이동합니다. 04.30 61 1
461304 일반 gpt4에서 싸가지없게 짧게 말하던 거 없어져서 좋네 [3] ㅇㅇ(116.125) 04.30 176 0
461303 일반 Gpt2 실망이네 ㅇㅇ(58.29) 04.30 150 2
461302 일반 저는 이제 소멸합니다 (진심입니다) [8] ㅇㅇ갤로그로 이동합니다. 04.30 250 0
461301 일반 다르다 ㄹㅇ 이제 휴머노이드랑 잘 합치면 게임 끝 xdxd333갤로그로 이동합니다. 04.30 139 2
461300 일반 gpt2 유니콘 테스트 [5] ㅇㅇ갤로그로 이동합니다. 04.30 471 4
461299 일반 방금왔는데 gpt2라는게 체험만 가능하단거? [4] ㅇㅇ갤로그로 이동합니다. 04.30 344 0
461297 일반 니들 겨우 이정도로 만족함?? 특갤 실망이다 [1] ㅇㅇ(117.110) 04.30 170 1
461295 일반 뭔가다르네 [3] ㅇㅇ(14.53) 04.30 205 0
461293 일반 인간처럼 글 쓰는건 존나 좋아진듯. gpt스러움이 없음 [6] lightvector갤로그로 이동합니다. 04.30 379 2
461291 일반 트위터 아가리 터는 놈들 반응 뒤져보니까 gpt2가 다르긴 하네 [6] ㅇㅇ(211.59) 04.30 333 0
461290 일반 추론 좋아진거 같은데 세입압갤로그로 이동합니다. 04.30 91 0
461289 일반 gpt2 테스트 [17] ㅇㅇ갤로그로 이동합니다. 04.30 680 9
461288 일반 알트만 애착인형 gpt2 [9] ㅇㅇ(168.131) 04.30 381 4
461287 일반 근데 의외네 [1] ㅇㅇ(14.35) 04.30 123 0
461286 일반 진짜 뭔가 다르긴하네 [6] ㅇㅇ(112.186) 04.30 296 1
461285 정보 파운데이션 모델 개발 끝, agi 2~3년 내 도달이 학계 중론 [3] ㅇㅇ(211.214) 04.30 229 4
461284 일반 왜 이름을 gpt2로 지었는지 알겠노 [6] ㅇㅇ(39.124) 04.30 512 7
461283 일반 GPT2 = GPT4.5 고 [2] dd갤로그로 이동합니다. 04.30 314 0
461282 정보 마이크로소프트-오픈AI "GPT-4, 한국어 토큰 효율화 달성" [8] 연맛갤로그로 이동합니다. 04.30 296 5
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2