디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

Q존 운영자도 RTX5090 x 딥시크 콜라보뉴스 올렸음

컴갤러(61.75) 2025.02.02 08:16:41
조회 186 추천 0 댓글 1
														





운영자가

rtx5090으로 딥시크 추론시 성능 매우 우수하다는 뉴스 올렸는데


그건 운영자도 아직 잘 모르는게 있는데


딥시크 모델은  FP4로 양자화했을때 가장 rtx5090과 궁합이 잘 맞으며



딥시크로 뭔가 상용 서비스를 시작할경우


rtx5090 4개로 128gb내지 5개로 160gb를 구성했을떄 


FP4로 가장 이상적인 초고속 작동을 하며.

rtx5090 6개로 192gb이상 구성시 FP8로도 잘 작동한다는거



어찌됐든 딥시크 구동엔

양자화 레벨에 따라  VRAM이 128gb~320GB가 필요하다는건데 (원본은 720gb)



이는 5090이 4개에서 10개 단위가 1세트로 끌려간다는 것을 의미함


이 밸런스를 맞추기 위한 Project Digits 제품은 128gb이며. 1개로도 일반적인 FP4구동은 가능하며
2개를 붙이면 괜찮은 속도로 딥시크 256gb 구동이 가능하고 2개면 FP8로도 구동할 정도로 돌아간다는거.


VRAM을 맞추기 위해 5090을 막 8개 10개 붙이면 성능이 너무 과잉이 되버리고 예산도 너무 비싸지니깐



예산과 성능과 vram의 비율을 잘 맞춘 제품이 Project Digits란것.


일반적인 언어모델 구동시 1개나 2개만 사면 되도록 구성되어있고.

3~4개를 사면  언어모델을 거의 완전체로 굴릴수 있음





그리고 학습이랑 추론 차이도 모르고 그냥 뼥뼥거리는 애들 많은데


지금 이 내용은 소규모 개인용 추론GPU에 대한 이야기이며


딥시크 때문에 학습 시장은 규모가 확 줄었고 (사실은 이미 포화상태였음)

모든 기업과 개인들이 학습과정을 대부분 건너 뛰게 될 수 있어서

이젠 추론용 모델과 HW에 대한 시장이 열린거라

완전히 새로운 시장에 대한것으로  전문가들도 뒤늦게 깨닫고 기사를  하나씩 올리는중임




2be8c168f5dc3f8650bbd58b368776658ca469







추천 비추천

0

고정닉 0

0

원본 첨부파일 1

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 실제 모습일지 궁금한 미담 제조기 스타는? 운영자 25/05/05 - -
공지 갤러리 댓글 기능 개선(멘션 기능) 안내 운영자 25/05/08 - -
공지 컴퓨터 본체 갤러리 이용 안내 [239] 운영자 22.12.13 88730 142
공지 컴퓨터 본체 갤러리 이용 안내 [27087/13335] 운영자 20.11.02 427451 169
5715096 에이 싯팔 [4] ♥보슐랭_보믈리에♥갤로그로 이동합니다. 03:59 24 0
5715097 중고 살건데 이가격 어떤지좀 봐주세요 [6] ㅇㅇ(121.144) 03:59 25 0
5715093 벌써 5시네 [3] 컴갤러(1.228) 03:57 12 0
5715088 윈도우11은 출시된지 4년이나 됐는데 [17] 이러셀테리어갤로그로 이동합니다. 03:53 45 0
5715087 글카 중고로 샀는데.. [11] ㅇㅇ(218.144) 03:48 68 0
5715086 코인 해라 [5] 33dy갤로그로 이동합니다. 03:48 56 0
5715085 옛날엔 금도금 hdmi 도 2m 19900원밖에안했음 [4] ㅇㅇ(14.7) 03:46 28 0
5715083 실시간 방송중임 들어올 사람들ㄱㄱ [1] ㅇㅇ(211.235) 03:46 18 0
5715082 컴퓨타 파워 직구가 안됨? [7] ㅇㅇ(219.254) 03:43 38 0
5715081 9600x 5070ti 메인보드 추천좀 [1] 다네다리사갤로그로 이동합니다. 03:42 32 0
5715080 형들 지금 컴퓨터 사기 좋은 시기인가요?? 한번사면 5년넘게쓰는데 [4] 컴갤러(211.236) 03:42 50 0
5715079 33dy야. [6] 이러셀테리어갤로그로 이동합니다. 03:42 43 0
5715075 국힘 후보 재공고 실화냐? [3] ㅇㅇ(14.47) 03:40 51 0
5715074 성능, 온도, 먼지등 순수하게 기능적으로 젤 좋은 케이스 [3] ㅇㅇ(223.38) 03:39 41 0
5715072 수냉쿨러 장착하고 전면 후면 팬 갑자기 안도는데 왜이럼? [3] 컴갤러(221.163) 03:38 31 0
5715070 지마켓 5070 토마호크는 왜 밑에 쳐박혀있음 [5] ㅇㅇ(49.172) 03:37 58 0
5715068 스마일카드 58만원 983d 일단 취소했다 [2] ㅇㅇ(211.185) 03:35 48 0
5715067 9600x갈까 아니면 욕심좀내서 그냥 783d갈까 [5] 컴갤러(124.57) 03:33 53 0
5715066 게임에서 60프레임 이상 나오는게 의미있음? [11] 컴갤러(218.48) 03:33 74 0
5715064 이 정도면 프플 아묻따 파손 교환 되겠지? [2] ㅇㅇ갤로그로 이동합니다. 03:32 43 0
5715062 보믈리에 화력이 떨어졌네. 피곤하냐? [2] 이러셀테리어갤로그로 이동합니다. 03:32 32 0
5715061 5080이랑 인텔아크 같이 꽂으려는데 [2] 컴갤러(182.231) 03:31 35 0
5715060 담배를 끊으려니까 힘들지ㅋㅋㅋ [5] ㅇㅇ(175.223) 03:31 47 0
5715059 컬러풀 5080 울트라oc 이거 네뷸라 윈포급 하급기지? [2] ㅇㅇ(61.77) 03:31 44 0
5715058 컴린이 이렇게 견적냈는데 어떤가요??? [1] 컴갤러(116.124) 03:30 30 0
5715057 니드리 지럴해서 다시 짷어 [2] ㅇㅇ(39.7) 03:29 39 0
5715055 형들 ssd 이거 이렇게 끼우는거 맞음? [9] ㅇㅇ(61.253) 03:28 60 0
5715053 하아......담배 끊기가 왤케 힘들지 [3] ㅇㅇ(110.70) 03:26 58 0
5715052 실시간 방송중임 들어올 사람들ㄱㄱ [1] ㅇㅇ(211.245) 03:26 32 0
5715050 이거 모니터 나간거읾..? [1] ㅇㅇ갤로그로 이동합니다. 03:25 53 0
5715049 이거 뭔지 아는 사람 있음 ? 크롬 오류 같은데 [4] 컴갤러(116.127) 03:24 73 0
5715048 1183d 언제 나오노? [1] 컴갤러(122.47) 03:23 59 0
5715047 회개 회개 회개 하란말이다 [2] 33dy갤로그로 이동합니다. 03:23 44 0
5715046 국힘 빨갱이당 이었던거냐? [2] ㅇㅇ(14.47) 03:23 39 0
5715043 컴갤 병신 관리자 새끼는 지멋대로 글 지우네. [4] 이러셀테리어갤로그로 이동합니다. 03:19 59 1
5715042 컴알못 질문좀 [8] ㅇㅇ(211.185) 03:18 52 0
5715041 틀딱 구별방법 [2] 컴갤러(114.205) 03:18 40 0
5715038 채피언랭크 찍을 예정 [1] ㅇㅇ(39.7) 03:17 28 0
5715036 공랭듀얼쿨러 팬방향 질문좀 [4] 컴갤러(118.220) 03:15 49 0
5715032 컴퓨터 고수님에게 궁금한 게 있습니다. [13] ㅇㅇ(58.124) 03:13 94 0
5715030 개운! [4] 33dy갤로그로 이동합니다. 03:11 62 0
5715028 책상을 새로 살까 말까 [1] ㅇㅇ(110.70) 03:10 35 0
5715026 4060 노트북 살려다가 그돈씨 4070 데탑 삼 [8] ㅇㅇ(116.41) 03:06 69 0
5715025 컴퓨존 문제 많은듯 [6] 컴갤러(175.207) 03:05 90 0
5715022 컴퓨터 빵빵하게 맞추면 기분 좋아? [3] 컴갤러(118.45) 03:04 52 0
5715020 겜하다가 갑자기 글픽카드 팬 존나 풀로 돌아가는 소리나면서 다운되는거 [7] 컴갤러(112.222) 03:03 86 0
5715018 형들 12700k에 쓸 높이 낮은 쿨러도 있음..? [1] ㅇㅇ(118.91) 03:01 42 0
5715016 일본은 왜 야마가미 형님 재판을 질질 끄냐. [6] 이러셀테리어갤로그로 이동합니다. 02:59 58 0
뉴스 “서로 너무 좋아서 큰일”…日 유명 배우들 ‘불륜 의혹’ 메신저 대화 파장 디시트렌드 05.09
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2