디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[일반] MS는 10만개 넘는 H100을 연결해 GPT-6 학습 중

ㅂㄷ(58.29) 2024.03.29 00:30:06
조회 1463 추천 31 댓글 20
														

24b0d121e09c28a8699fe8b115ef046c67f32f4899



마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다.

그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.


나: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?


걔: 아 우리도 처음에 그렇게 함. 근데 한 지역(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고



한 지역에서 H100 10만개 이상을 쓰지 못해 여러 지역을 연결해서 클러스터를 구성 중이란걸 보면

미국 여러 지역에 수십만개씩 연결해서 트레이닝 중인가봄...



참고로 H100 가격은 하나에 6천만원 정도ㅋㅋ




자동등록방지

추천 비추천

31

고정닉 7

원본 첨부파일 1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2860 설문 경제관념 부족해서 돈 막 쓸 것 같은 스타는? 운영자 24/05/13 - -
412470 공지 레이 커즈와일 신간 6월 25일 발매 [28] 모브갤로그로 이동합니다. 24.01.24 6590 32
242613 공지 특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2900] 특갤용갤로그로 이동합니다. 23.08.06 37746 41
433260 공지 웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1] 부패하는유전자!!!갤로그로 이동합니다. 24.03.06 2098 2
363220 공지 선형글 삭제 기준 [6] 특갤용갤로그로 이동합니다. 23.10.14 6741 24
375493 공지 필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40] ㅇㅇ(182.230) 23.11.11 12635 122
373402 공지 직업 비하, 조롱 글 30일 차단됩니다. [50] 특갤용갤로그로 이동합니다. 23.11.07 8441 79
385147 공지 구글의 AGI 분류 체계 [17] ㅇㅇ갤로그로 이동합니다. 23.11.22 7767 31
332612 공지 음모론 삭제 기준을 안내드립니다. [23] 특갤용갤로그로 이동합니다. 23.08.25 8653 29
259237 공지 특갤 용어 모음집 [6] 특갤용갤로그로 이동합니다. 23.08.09 22085 33
475922 일반 죽으면 통속의뇌로 수명연장하고 [1] ㅇㅇ(220.122) 20:05 17 0
475921 일반 한국 싫으면 개추 ㅇㅇ(39.7) 20:03 18 1
475920 일반 한국에서 섹스로봇은 불법이지 [2] ㅇㅇ(223.39) 20:02 55 0
475919 일반 대일본제국 사랑하면 개추 [1] ㅇㅇ(39.7) 20:00 35 0
475918 일반 그래서 ai웹소설 언제쯤 나옴? [2] ㅇㅇ(14.35) 19:57 50 0
475917 일반 뇌지도 1%도 못만들었으면서 [1] ㅇㅇ(223.39) 19:55 85 0
475916 일반 AGI가 멀었다는 건 상용화가 멀었다는거지 [3] ㅇㅇ갤로그로 이동합니다. 19:55 67 0
475915 일반 Gpt4o 이거 ㄹㅇ 음지쪽에서 악용될거같음;;; [4] ㅇㅇ(126.23) 19:49 224 0
475914 일반 4o 보이스 나만 업뎃 안된거임? [3] ㅇㅇ갤로그로 이동합니다. 19:44 124 0
475913 일반 메모리가 그렇게 좋냐 [3] ㅇㅇ(211.46) 19:42 121 0
475912 일반 한국은 메모리 기능 절대 추가안될거임 [6] 갤러(221.154) 19:35 221 2
475911 일반 gpt 4o 챗봇아레나 Rank 업데이트 [4] 람냥갤로그로 이동합니다. 19:34 214 0
475910 일반 계속 경량화하는데 스케일 문제는 해결되는거냐 ㅇㅇ(106.101) 19:32 46 0
475909 일반 일반적인 직장인들 대체되기까지 몇년 봄? [8] ㅇㅇ(119.198) 19:29 163 0
475908 일반 로스쿨 버리고 금공 왔는데 [6] ㅇㅇ갤로그로 이동합니다. 19:29 114 0
475907 일반 기능 풀리고 대화해보면 알겠지 [4] 크갤망령갤로그로 이동합니다. 19:28 73 0
475906 일반 웅장의 시대 [4] 특술람갤로그로 이동합니다. 19:24 127 0
475905 일반 공수 배우는 기계과 학식인데 4o로 대부분 문제 풀림. [8] 223(175.192) 19:24 198 0
475904 일반 식당 이모 자애갤로그로 이동합니다. 19:21 44 0
475903 일반 오픈ai 프론티어 모델 커밍순 [4] ㅇㅇ갤로그로 이동합니다. 19:20 231 0
475902 일반 아 ㅅㅂ 뇌에 칩 박고 싶다 [3] ㅇㅇ갤로그로 이동합니다. 19:19 85 0
475901 일반 gpt 4o 사주풀이 지리네 [2] ㅇㅇ(118.42) 19:17 127 0
475900 일반 4o 사칙연산 꼼수로 해결했네 ㅋㅋㅋㅋㅋㅋ [6] ㅇㅇ(58.226) 19:15 305 0
475899 일반 지금 특이점이 중요한게 아님!!! [5] ㅇㅇ(125.138) 19:10 169 3
475898 일반 보이스 풀렸을 때 이러면 좀 ㅈ같을 거 같음 [1] ㅇㅇ갤로그로 이동합니다. 19:09 90 0
475897 일반 영어권에서 태어났으면 좋았을텐데 [6] ㅇㅇ갤로그로 이동합니다. 19:08 125 1
475896 일반 GPTs 버그인가 ㅇㅇ(58.225) 19:01 101 0
475895 일반 chatgpt랑 같이 글을 쓰면 [17] ㅇㅇ(221.148) 18:59 230 0
475894 일반 일리야가 대머리건 티셔츠가 이상하건 상관 없지 ㅇㅇ(121.155) 18:57 41 0
475893 일반 5도 비슷하겠지?? 내년에는 도대체 뭐가 나올까? ㅇㅇ갤로그로 이동합니다. 18:54 38 0
475892 일반 참 좋은세상이라고 생각이 됩니다. [3] 계발자(118.37) 18:52 124 1
475891 일반 핵융합 상용화 vs 방정식을 대체하는 새로운 수학적 도구 만들기 [3] ㅇㅇ(118.235) 18:51 97 0
475890 일반 ㅌㅇㅈ ㅈㅂ 209ㅇㅊ [4] 포스트휴먼.갤로그로 이동합니다. 18:50 60 2
475888 일반 4o 사칙연산 정확한데? [3] ㅇㅇ갤로그로 이동합니다. 18:44 154 0
475887 AI창 남자 아리 [3] ㅇㅇ(211.109) 18:44 184 2
475886 일반 그냥 이거 하나면 해답이 명쾌함 [2] ㅇㅇ갤로그로 이동합니다. 18:41 97 0
475885 일반 ai가 말을 끊는건 진짜 agi가 맞다 [13] ㅇㅇ(117.20) 18:40 381 1
475884 정보 피차이 구글 CEO, “AI, 아직은 ‘겉핥기’ 단계… 진화 가능성 무한 [7] 특술람갤로그로 이동합니다. 18:40 288 3
475883 일반 트랜스포머 이새낀 대체 뭘까 [2] ㅇㅇ(211.254) 18:38 126 0
475882 일반 6월은 진짜 한여름일지도 [3] ㅇㅇ갤로그로 이동합니다. 18:37 130 0
475881 일반 gpt4o가 gpt4보다 기억력 좋고 오퍼스도 모든면에서 앞지른다 [3] ㅇㅇ(211.46) 18:29 158 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2