디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[일반] 기존GPT4 파라미터 1760B썰 지오핫이 누설한거네

e/linear갤로그로 이동합니다. 2024.05.19 01:33:18
조회 232 추천 2 댓글 1
														

1ebec223e0dc2bae61abe9e7479f3433cd100477d0a3760d39d15f36e363




지오핫 요즘 뭐하고 사나 아직도 comma.ai 팔아먹고 있나 궁금해서 나무위키 좀 보는데

API만 공개하고 상세한 정보는 외부에 알리지 않아서 정확한 매개변수 개수를 알 수 없는 GPT-4에 대해, 조지 호츠는 2,200억 개의 파라미터를 분야별로 8개의 모델에 나누어 훈련 시키고 게이트를 통해 가중치를 조정하는 MoE(Mixture of Experts)라는 방식의 구조로 1조 개인 척 트릭을 썼다고 주장한다. 그의 말이 사실이라면, GPT-3와 GPT-4의 차이는 파라미터 개수가 아니라 MoE 구조의 유무 차이다. 2020년대에 들어서 트랜스포머의 한계점이 점차 드러나는 상황이라 학계의 관심을 받고 있다.

https://namu.wiki/w/%EC%A1%B0%EC%A7%80%20%ED%98%B8%EC%B8%A0



맞나 싶어 영문 자료도 좀 찾아보니 얘가 젤 첨 발언한 거 맞는듯.



0ba7f700efc32f9e3e9effe543f6127346a8fd15df321f85d4bc623f099230


George: 그래, 그래, 우리는 구축할 수 있어. 그래서 오늘날 가장 큰 훈련 클러스터처럼, 나는 GPT-4가 어떻게 훈련되었는지에 대해 잘 알고 있어. 나는 가중치와 관련된 몇 가지 대략적인 숫자를 알고 있어, 하지만 Lama-


Swyx: 1조 개의 매개변수? [00:43:30]


George: 음, 그래, 그래서 GPT-4는 각 헤드에 2200억 개의 매개변수를 가지고 있고, 그리고 그것은 8방향 MoE야. 그래서 혼합 모델은 아이디어가 고갈되었을 때 사용하는 것이야. 그래서, 알다시피, 그것은 혼합 모델이야. 그들은 같은 모델을 8번 훈련시키고, 그리고 작은 트릭을 사용해. 실제로 그들은 16번의 추론을 하지만, 아니, 그것은 그런 식이 아니야- [00:43:45]



1ebec223e0dc2bae61abe9e7449f3433f5d80ef8d094b3e0e6d3d30365



지오핫이 말한 게 정설인게 웃기네. 쟤 천재해커인데 아무 서버나 아무도 모르게 들락거릴듯.. 진짜 들어갔다 나온거면 겁나 웃긴건데 ㅋㅋㅋ


아는사람한테 들었다고 둘러대는데 얘 말고는 누설한 사람이 아무도 없어 ㅋㅋㅋ

자동등록방지

추천 비추천

2

고정닉 1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기
자동등록방지

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2868 설문 힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는? 운영자 24/06/10 - -
490367 일반 Math note 말곤 와닿는게 없네요.. 오바도쥬갤로그로 이동합니다. 06.11 56 0
490366 일반 대황젠ㅋㅋㅋㅋㅋㅋㅋ 나히다남편갤로그로 이동합니다. 06.11 29 0
490365 일반 마소 킹파일럿이 더 감동인데 [1] ㅇㅇ(106.101) 06.11 76 0
490364 일반 젠모지 진짜 젠모지 ㅇㅇ(112.186) 06.11 25 0
490363 일반 결국 openai랑 관련없는거네 Dd(119.64) 06.11 39 0
490362 일반 아니 그냥 4o 보이스라도 내놓으라고 ㅇㅇ(121.156) 06.11 24 0
490361 일반 자 게이 듀오 나와주세요~ ㅇㅇ(121.178) 06.11 22 0
490360 일반 맥으로 디시질 하면... ㅇㅇ(121.186) 06.11 38 0
490359 일반 아직 안봤는데 아이폰 살만 해? [1] ㅇㅇ(106.101) 06.11 54 0
490358 일반 wwdc 봤는데 애플 별거 없네 ㅇㅇ(112.171) 06.11 139 0
490357 일반 한국에선 절반 넘게 못쓴다는게 슬프네 [4] 이세이미야케갤로그로 이동합니다. 06.11 110 0
490356 일반 진지하게 마소 발표가 더 혁신이었음 [1] ㅇㅇ(119.202) 06.11 121 1
490355 일반 오늘 저녁예정인 긴급스팸만 개마니오겠네 ㅇㅇ(218.152) 06.11 42 0
490354 일반 쟤 김종민 아님? ㅇㅇ(211.179) 06.11 22 0
490353 일반 잘만 되면 진짜 혁신이긴할듯 [2] ㅇㅇ(121.178) 06.11 128 0
490352 일반 어쩌라고 gpt 4.5 내놔 [1] Dd(119.64) 06.11 73 0
490351 일반 이제 아이폰끼리 랩배틀 가능한거임? ㅇㅇ갤로그로 이동합니다. 06.11 25 0
490350 일반 AI버블 이야기 나온다 미주갤에서 ㅇㅇ(112.161) 06.11 89 0
490349 일반 답장 생성 ㅋㅋ [1] ㄴㄱ(58.141) 06.11 64 0
490348 일반 명심해, 이걸 만들어야 혁신이야 ㅇㅇ갤로그로 이동합니다. 06.11 94 0
490347 일반 에이전트긴 한데.. ㅇㅇ(119.202) 06.11 86 0
490346 일반 소신) 아직 날 만족시키려면 머렀다 ㅇㅇ갤로그로 이동합니다. 06.11 41 0
490345 일반 인정하긴 싫지만 일단 갤럭시 AI는 이겼음 방금걸로 ㅇㅇ [8] ㅇㅇ(218.39) 06.11 366 9
490344 일반 윈도우 코파일럿 열심히만든버전아님감 [4] ㅇㅇ갤로그로 이동합니다. 06.11 141 0
490343 일반 한국에선 존나 열화되겠는데 ㅋㅋ [1] ㅇㅇ(211.251) 06.11 104 1
490342 일반 고마 똑똑하노 ㅇㅇ(106.101) 06.11 21 0
490341 일반 실제 사용기가 나와봐야 알듯 ㅁㄱㅌㅊ(39.122) 06.11 17 0
490340 일반 발표하는 남자새끼 무슨 아바타 닮았네 ㅋㅋㅋㅋㅋ [2] ㅇㅇ갤로그로 이동합니다. 06.11 55 0
490339 일반 좋긴 한데 이거 현세대 ai로 환각 방지할 수 있나 ㅇㅇ(116.123) 06.11 44 0
490338 일반 Ai 전공할려고 하는데 대학어디가 유명함? [5] ㅇㅇ(39.7) 06.11 108 0
490337 일반 ---멸-----------------망---- ㅇㅇ(49.143) 06.11 36 0
490336 일반 에이전트네 ㅇㅇ(112.186) 06.11 30 0
490335 일반 오 애플 열심히했네? [1] 가속갤로그로 이동합니다. 06.11 151 0
490334 일반 저게 잘만되면 ㅅㅌㅊ긴함 ㅇㅇ(121.178) 06.11 47 0
490333 일반 갈라파고스한국 카카오톡연동 카카오맵연동 안돼서 ㅇㅇ(218.152) 06.11 133 1
490332 일반 꿀잠충<<연전연승하네 ㅇㅇ(106.101) 06.11 31 1
490331 일반 이건 에이전트가 맞는데? 이세이미야케갤로그로 이동합니다. 06.11 65 0
490330 일반 아니 진짜 저건 개지리는데? 나히다남편갤로그로 이동합니다. 06.11 77 0
490329 일반 시리가 이메일 내용도 감시하고 레스토랑 예약한것도 기억하네 [1] QQ(119.70) 06.11 84 0
490328 일반 근데저거 자칫하면 환각 ㅈㄴ오지겟네 ㅇㅇ(14.53) 06.11 38 0
490327 일반 이건 좀 신기하네 ㅋㅋ ㅇㅇ(110.34) 06.11 47 0
490326 일반 개인정보보호한다고 해도 검열 심하겠지? ㄴㄱ(58.141) 06.11 29 0
490325 일반 오픈AI 떠난 로건이 이거 리트윗했네 ㅇㅇ [4] ㅇㅇ(59.17) 06.11 240 0
490323 일반 시리를 많이 쓰지도 않는데 ㅇㅇ(112.161) 06.11 32 0
490322 일반 코파일럿으로 경험한건데 Ad_Astra갤로그로 이동합니다. 06.11 51 0
490321 일반 대체 뭘 보라는거야 고아새끼들은 ㅇㅇ갤로그로 이동합니다. 06.11 52 0
490320 일반 저젇오면 1단계 에이전트라고 해도 될듯? A.I.갤로그로 이동합니다. 06.11 47 0
490319 일반 원 모어 띵 안나왔으니까 아직 참는다 ㅇㅇ(222.234) 06.11 21 0
490318 일반 아직 40분 정도 님았는데 더 보여주겠지 ㅇㅇ(125.208) 06.11 30 0
490317 일반 에이전트레벨1 ㅇ ㄴㄱ(58.141) 06.11 53 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2