MS는 10만개 넘는 H100을 연결해 GPT-6 학습 중 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] MS는 10만개 넘는 H100을 연결해 GPT-6 학습 중

ㅂㄷ(58.29) 2024.03.29 00:30:06

조회 1462 추천 31 댓글 20

24b0d121e09c28a8699fe8b115ef046c67f32f4899

마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다.

그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.

나: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?

걔: 아 우리도 처음에 그렇게 함. 근데 한 지역(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고

한 지역에서 H100 10만개 이상을 쓰지 못해 여러 지역을 연결해서 클러스터를 구성 중이란걸 보면

미국 여러 지역에 수십만개씩 연결해서 트레이닝 중인가봄...

참고로 H100 가격은 하나에 6천만원 정도ㅋㅋ

고정닉 7

원본 첨부파일 1

image.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [27]	모브	24.01.24	6051	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2867]	*특갤용*	23.08.06	37307	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	1956	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6563	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12348	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8294	79
385147	공지	구글의 AGI 분류 체계 [16]	ㅇㅇ	23.11.22	7499	30
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8472	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	21821	33
470263	일반	한국어 토큰 1.7배나 감소했네	ㅇㅇ(211.46)	02:49	0	0
470262	일반	지금 oai 유튜브 채널에 사용례 우르르 올라옴ㄷㄷ	ㅇㅇ(14.39)	02:49	13	0
470261	일반	아가리 쩍 벌리고 있으면 됨?	ㅇㅇ(220.76)	02:49	7	0
470260	일반	솔직히 AI가 인간관계 대체 못한다 이런거 다 가식이라고 생각함	1229(1.229)	02:49	11	0
470259	일반	아니 얘들아 이거 지금 역사적인 순간아님? 고대 이집트때부터	ㄴㄱㄴㄱ(124.111)	02:49	24	0
470258	일반	콜센터 블랙컨슈머라는 직업 삭제됐노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ(218.153)	02:49	15	0
470257	일반	녹화) Open AI Spring Updates 특갤 중계 녹화본	ㅇㅇ(58.226)	02:48	31	1
470256	일반	야 붕 쓰	ㅇㅇ(121.179)	02:48	3	0
470255	일반	이제ㅡ대기업들 싹다 ai포기하고 순순히 정보 오에아이한테 기부하면 됨	ㅇㅇ	02:48	11	0
470253	일반	GPT 4o 때문에 실직했습니다	AppHiki	02:48	23	0
470252	일반	샘 알트만 새 트윗: her [3]	모브	02:48	110	3
470251	일반	지금 갤 무슨상황임?	ㅇㅇ(116.36)	02:48	22	0
470250	일반	이제 한글챗 마음껏 할수있어서 좋다	ㅇㅇ(59.12)	02:48	20	0
470249	일반	타임머신타고 알트만 해고한게 맞다니깐	ㅇㅇ(124.111)	02:48	31	0
470248	일반	얘한테 당장 7000조 줘야하면 개추 [3]	ㅇㅇ(121.131)	02:48	102	11
470247	일반	데스크탑 앱 언제부터 가능한거임?	ㅇㅇ(211.200)	02:48	17	0
470246	일반	전 세계 사람들이 이걸 사용한다고 생각해봐라	ㅇㅇ(121.186)	02:48	32	0
470245	일반	알트만이 직접 안한 이유가 있을까? [2]	ㅇㅇ	02:48	43	0
470244	정보	gpt4o 추가 예시 [7]	특갤용	02:48	218	9
470243	일반	기본//소득 준비해야겠네 ㅋㅋㅋㅋㅋㅋㅋ	연맛	02:47	27	0
470242	일반	내가 시발 게이한테 흥분을 다하네. 나 발기했어	ㅇㅇ	02:47	19	0
470241	일반	걍 아직 발전 좆도 안됐다는거잖아 ㅋㅋㅋ	김완선	02:47	80	2
470240	일반	이번 동시통역은 갤럭시랑 차이 많이 남??	oo(175.125)	02:47	12	0
470239	일반	지금 openai에 뻘글로 리트윗해도	Singnice	02:47	44	0
469010	정보	[오피셜] 고화질 also 벤치마크 떴다!!!! [13]	lightvector	02:11	568	20
470238	일반	콜센터(전화응대) 직원들 대체되겠네.. [1]	사진술	02:47	29	1
470025	정보	오늘 밝혀진 중요한 정보 [8]	ㅇㅇ(119.77)	02:36	489	12
470236	일반	와 8배 의미가 이거였네? [4]	ㅇㅇ(221.158)	02:47	61	3
470235	일반	와 gpt4o 2개 붙여놓고 대화하는거도 있네	ㅇㅇ(118.33)	02:47	33	0
470234	일반	이건 저번에 구글이 제미니로 사기칠때 하던걸 [1]	ㅇㅇ(112.186)	02:47	43	0
470233	일반	걍 기대한 거 다 나옴ㅋㅋㅋㅋ [3]	ㅇㅇ(125.137)	02:47	43	0
470148	정보	속보))알트만의 gpt-4o 모델 설명!!!!!!!! [5]	lightvector	02:42	403	13
470232	일반	속도 비교	ㅇㅇ(218.154)	02:47	13	0
470231	일반	이제 나도 인생 첫 여자친구 만들 수 있는 거냐..	미주갤산타클로스	02:47	21	2
470230	일반	방금걸로 전화 상담은 올킬임	ㅇㅇ	02:47	42	1
470229	일반	공홈에 GPT-4o 소개 번역해봄 (deepl) [3]	ㅇㅇ(218.152)	02:47	108	0
470228	일반	한국어 토큰효율 1.7배 개선된것도 빅뉴스같은데 언급이 없네	ㅇㅇ(59.12)	02:47	30	2
470227	일반	그냥 인터페이스 선점해서 DB 쌓는 게 목표인 거지	ㅇㅇ(218.39)	02:46	17	0
470226	일반	경량화에 성공했다는건 다른의미론 [2]	ㅇㅇ(39.124)	02:46	80	2
470225	일반	맥용 앱 오늘 출시네 [1]	ㅇㅇ(211.211)	02:46	120	1
470224	일반	개인 휴대용 AI 비서 언제쯤 나오는데 그래서	ㅇㅇ(49.169)	02:46	10	0