5090 한대 가격으로 딥식R1 671B 로컬실행한 양덕햄ㄷㄷ

" Don't Die "

매니저

sama(prince2317)

부매니저

퐁칸8(zxvw157) かみ(thank346…) VPN차단용(near1254) 카러닐(fasten97…) 디비휴(runny783…) DNA(hexase1) Asi(worship5…) et(evgz6v8f…)

개설일

2019-08-01

[정보/뉴스] 5090 한대 가격으로 딥식R1 671B 로컬실행한 양덕햄ㄷㄷ앱에서 작성

ㅇㅇ

2025.02.02 20:19:03

조회 5270 추천 29 댓글 23

2000달러 AMD EPYC 서버로 초대형 AI 모델 Deepseek R1 671B 로컬 실행 성공

엔비디아 GPU 없이 CPU 기반 추론 시스템 구축

최근 2,000달러 예산으로 AMD EPYC 서버를 활용해 671B 파라미터 규모의 Deepseek R1 모델을 로컬에서 구동하는 방법이 공개됐다. 이 시스템은 64코어 EPYC 7702 CPU와 512GB DDR4 ECC RAM을 기반으로 Ollama 프레임워크와 OpenWebUI 인터페이스를 결합해 4.25 TPS(초당 토큰 처리량)의 성능을 달성했다.

핵심 하드웨어 구성

- CPU: 64코어 AMD EPYC 7702(3.35GHz 부스트 클럭)

- 메모리: 512GB DDR4-2400 ECC RAM(16x32GB)

- 스토리지: 1TB 삼성 980 Pro NVMe SSD

- 전원: 850W 80PLUS 골드(CPU 전용 구성 시)

서버 조립 비용은 메모리 속도와 CPU 선택에 따라 2,000~2,750달러 사이로 책정됐으며, RAM 쿨링을 위해 80mm 팬 4개로 구성된 커스텀 냉각 시스템을 추가로 설치했다.

소프트웨어 설정 프로세스

1. 우분투 24.04 LTS 베어메탈 설치 후 BIOS 설정 최적화(NPS=1, SMT=OFF)

2. Ollama 설치 및 시스템 환경 변수 설정(OLLAMA_NUM_PARALLEL=62)

3. 도커 기반 OpenWebUI 구축을 통해 웹 인터페이스 연동

4. 400GB 용량의 Deepseek-R1:671b 모델 다운로드 및 추론 테스트

성능 및 활용 방안

24K 컨텍스트 윈도우 환경에서 안정적인 3.5~4.25 TPS 성능을 보였으며, GPU 없이 순수 CPU 연산만으로도 비전 모델 병행 실행이 가능한 것으로 확인됐다. 작성자는 향후 llama.cpp와 vLLM 연동 가이드를 추가로 공개할 예정이라고 밝혔다.

“분류 모델과 달리 완전한 사이즈의 LLM을 로컬에서 구동하는 것은 실제 사용 경험에 있어 결정적 차이를 만듭니다” - 시스템 개발자

3줄 요약

1.2000달러 AMD EPYC 서버로 671B 규모 AI 모델 로컬 실행 성공

2.Ollama+OpenWebUI 조합으로 CPU 기반 4.25 TPS 성능 구현

3.대용량 메모리와 맞춤형 BIOS 설정이 성공 핵심 요소로 작용

https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/

황가놈 이 미친새끼. 싹다 구속시켜.

고정닉 17

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
3004	설문	소속 연예인 논란에 잘 대응하지 못하는 것 같은 소속사는?	운영자	25/04/21	-	-
571617	공지	뉴비 가이드)gpt 뭐 써야 해요? 특이점이 뭐에요? (250308)	ㅇㅇ	24.11.23	31070	42
609935	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [5]	ㅇㅇ	25.01.18	12507	27
571620	공지	본 갤러리는 타 갤러리 분탕과 관계 없음을 밝힙니다.	ㅇㅇ	24.11.23	5350	15
572292	공지	직업 비하, 조롱 글 30일 차단됩니다.	ㅇㅇ	24.11.24	4655	6
710116	일반	제미니 자꾸 현 대통령 바이든이라고 할때마다 개패고 싶네 ㅋㅋ	ㅇㅇ(211.62)	08:10	56	0
710115	일반	Ais 사용자 늘어난 거 걱정이긴하네 [1]	ㅇㅇ(218.152)	08:03	67	0
710114	일반	Openai 영주권못받은개발자 중국인이네 [2]	탈조선	08:00	72	1
710113	일반	갤럭시 이용자중 AI어시스턴트 GPT로 이용가능 [1]	ㅇㅇ(1.240)	07:47	132	2
710112	일반	환각 더 심한걸 내놓고 3시간씩 안쓰면 뒤떨어진다는 좀 [2]	ㅇㅇ	07:46	97	3
710111	일반	알트만, o3를 매일 3시간씩 쓰지 않으면 힘들 것 [7]	방울이	07:30	321	2
710110	일반	Gpt 이성하고 심층 리서치랑 뭔 차이야?	ㅇㅇ(112.156)	07:14	47	0
710109	일반	법률 ai에 대한 챗지피티의 대답	ㅇㅇ(124.49)	07:03	86	0
710108	일반	이새끼 이런말도 하네 [2]	ㅇㅇ(58.29)	06:37	316	1
710107	일반	내 사용 용도에 따른 ai 추천좀 [5]	ㅇㅇ	06:37	128	0
710106	일반	하루 8시간 영상 입력 => 보이스 출력 [5]	디시콘발사대	06:30	140	0
710105	일반	Veo2 애니 옛날 것만 학습했나 [5]	ㅇㅇ	06:28	270	0
710104	일반	ㄹㅇ 이상한 애들 많긴 해 [3]	ㅇㅇ	06:22	267	6
710103	일반	진짜 특갤하다보면 가끔 뭔가 좀 이상함 [23]	ㅇㅇ	06:09	444	2
710101	일반	제미니한테 정치적올바름 관련 질문하면 되게 잘 알려줌	ㅇㅇ(211.62)	05:54	75	0
710100	일반	네이버 이새끼들은 정신 못차렸음 [7]	ㅇㅇ(110.13)	05:49	241	0
710099	일반	진심으로 딥리서치 빼고는 2.5프가 oai 모든 모델보다 좋은듯 [1]	놋갤만해요	05:35	176	0
710098	일반	오ai가 ㄹㅇ sns 만들라고함?	거더라	05:23	102	0
710097	일반	겜하는데 ai존나마렵다 [2]	ㅇㅇ(121.135)	05:22	163	1
710096	일반	이런 애들은 왜 잘 알지도 못하면서 시비를 거는걸까? [51]	ㅇㅇ	05:17	482	0
710095	일반	지금이 oai가 구글이랑 ㅈ비비던 시절이 될거다ㅋㅋㅋㅋㅋㅋㅋㅋ	세로네로	05:10	149	0
710094	일반	진짜 사람하고 대화하는 듯한 감성은 지피티인 듯 [7]	ㅇㅇ	05:05	210	3
710093	일반	3단계 ai 나만 무서움? [4]	ㅇㅇㅇ	04:56	258	0
710092	일반	슼 호구 입장에서 어떻게 해야하는지 제미니한테 물어봄	ㅇㅇ(211.62)	04:54	153	0
710091	일반	이거 재믿농ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	재명세	04:30	265	0
710090	일반	챗지피티 제미나이 클로드 동시에 쓰는법 없음? [3]	ㅇㅇ	04:22	145	0
710089	일반	gpt 영어 연습 이거 되는거 맞냐 [4]	ㅇㅇ	04:15	157	0
710088	일반	걍 내가할껄	ㅇㅇ(39.113)	04:13	68	0
710087	일반	ai studio 10만토큰 넘으면 렉 오지는데 나만그럼? [3]	ㅇㅇ(58.225)	04:10	132	0
710086	일반	젬황 포켓몬 모든 뱃지 획득 [7]	차월물콜매도	03:47	387	9
710085	일반	클로드 제미니 지피티 딱 하나만 구독하려는데 [1]	ㅇㅇ	03:46	131	0
710084	일반	o3 이새기 좀 마음에 드는데?	ㅇㅇ(112.149)	03:41	135	0
710083	일반	솔직히 지금 자율주행 너무 기대된당 ㅋㅋ [4]	특특이	03:35	335	0
710082	일반	념글에 구글검색 프롬프트 올려준 놈 고맙다 [1]	ㅇㅇ	03:34	205	0
710081	일반	우리나라도 어서 AI에 투자해야 하는데.... [3]	ㅇㅇ(121.170)	03:23	189	0
710080	일반	확실히 뭐하나 압도적인 모델이 없음 [5]	ㅇㅇ(112.149)	03:07	276	2
710079	일반	챗 지피티가 직접 이야기해주는, 추론/비추론 모델의 차이점 [25]	ㅇㅇ	03:00	374	0
710078	일반	ai를 이용해서 남들보다 앞서나가려고 하면 불행해져 [12]	ㅇㅇ	02:51	245	0
710077	일반	제미나이 2.5 시스템 지침 만들었던거 올림 [3]	ㅇㅇ	02:51	327	3
710076	일반	ai 아직 창의력은 후달리는거같음 [23]	ㅇㅇ	02:48	340	1
710075	일반	와.. 이건 진짜 사람이랑 이야기하는듯한 느낌이 들었어 [8]	ㅇㅇ(219.249)	02:42	475	3
710074	일반	잼민이 진짜 이상하네 [5]	ㅇㅇ(121.131)	02:40	204	0
710073	일반	시발 제미니 이새끼ㅋㅋㅋㅋㅋ [4]	ㅇㅇ	02:33	355	0
710072	일반	나처럼 그록2 쓰는 새끼 없지? ㅋㅋ [1]	ㅇㅇ	02:28	175	0
710071	일반	진지하게 빙하기 맞다 [10]	ASI	02:27	313	0
710070	일반	제미니 2.5 개쓰레기네	2025AGI온다	02:20	299	0
710069	일반	도파민이 절실하다	않이웨그러눈대	02:17	59	1
710068	일반	의료혁명은 agi없어도 오겠지? [9]	ㅇㅇ(116.124)	02:09	229	0
710066	일반	특붕이들은 무력감같은거 안느낌? [19]	ㅇㅇ(121.143)	02:03	424	1
710065	일반	젬황은 2.0플띵킹 때부터 체감 좋았음 [1]	ㅇㅇ	01:52	166	0
	뉴스	엑소 카이, 11년 만에 ‘런닝맨’ 귀환…유재석 “기세 좋다” 예능감 극찬	디시트렌드	04.25