매우 간단하게 LLM 집컴으로 돌리는 방법 (LM Studio)

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 매우 간단하게 LLM 집컴으로 돌리는 방법 (LM Studio)

ㅇㅇ(121.151) 2024.03.24 20:14:23

조회 2409 추천 23 댓글 4

오늘 LM Studio 깔아봤는데 재미있는 것 같아서 간단하게 설명 글 써봄

먼저 프로그램 다운로드 링크

https://lmstudio.ai/

7cf3c028e2f206a26d81f6e74e857268

대부분 윈도우 쓸꺼니까 LM Studio for Windows 다운받으면 됨. exe 파일이며 설치는 불필요하고 누르면 바로 실행됨

7ff3c028e2f206a26d81f6e44f82766a29

프로그램 화면 안에서 Hugging Face에 연동되어 필요한 LLM 모델 검색해서 바로바로 다운로드 가능함.

일단 테스트용으로 용량이 1.5GB로 작은 구글의 [gemma-2b-it-GGUF] 모델이 좋은듯. 토큰 출력속도도 매우 빠름

GPU 없으면 알아서 CPU로 구동되니까 하드웨어 사양 걱정은 ㄴㄴ. 위의 모델 기준으로 여유 메모리 1.5GB만 있으면 됨.

7ef3c028e2f206a26d81f6e443857365d5

원하는 모델 다운로드가 완료됐으면, 아래와 같이 화면에서 사용할 모델을 선택하면 됨

79f3c028e2f206a26d81f6e44e83706c52

기본설정은 Plaintext인데, Markdown 형식으로 출력하게 바꿔야 텍스트 양식이 잘 반영되서 나오니 참고하고,

질문 던지면 아래와 같이 답변이 나옴. 모델 크기가 작아서 한글 문서는 학습안한듯 하니 영어로만 질문해야함.

78f3c028e2f206a26d81f6e746817d6c13

일단 익숙해지고 나면 이런저런 모델 HuggingFace에서 다운로드 받아서 실험해보면 됨

Temperature 등 여러가지 parameter 조절도 가능하고, 모델별로 결과가 어떻게 다르게 나오는지도 확인 가능

LLM을 단순히 쓰는게 목적이라면 ChatGPT, Claude 3 같은 클라우드 서비스 사용하는게 낫지만,

좀 더 가공이 되지 않은 날것의모습?? 같은거 확인해보고 싶으면 위에서 설명한대로 LM Studio 써보면 재미있을 것 같음

Bitnet 1.58b랑 비슷하게 2Bit 양자화된 모델도 있으니 테스트 가능

(단, Training을 2bit로 한게 아니고 학습 후 2bit로 양자화 한거니 논문에서 주장하는 방식과는 차이가 있음)

개인적으로 봤을 때 이정도 용량으로 나름 괜찮은 수준의 답변을 하는 것 보면, LLM 연동된 게임속 NPC 구현도 충분히 가능할듯?

고사양 LLM에 비하면 능지는 딸리겠지만, 질문에 따라 유동적으로 답변을 해준다는 것으로도 일단은 충분하지 않을까?

그럼 20000

고정닉 7

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2858	설문	SNS로 싸우면 절대 안 질 것 같은 고집 있는 스타는?	운영자	24/05/06	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [27]	모브	24.01.24	5671	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2845]	*특갤용*	23.08.06	37010	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	1850	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6438	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12187	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8190	79
385147	공지	구글의 AGI 분류 체계 [16]	ㅇㅇ	23.11.22	7343	30
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8357	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	21634	33
466114	일반	한국시간 화요일에 결정된다.. [1]	ㅇㅇ(211.46)	08:37	55	0
466113	일반	클로드 지능 저하와서 거의 추노할거같은데 [1]	ㅇㅇ(125.141)	08:34	42	0
466112	일반	ㄹㅇ 구글은 폐업헸냐??? [1]	ㅇㅇ(218.153)	08:30	66	0
466111	일반	Gpt5 포함해서 당분간은 Agi와 거리가 멀다고 본다. [1]	Qw(116.84)	08:21	69	1
466110	일반	oai 호들갑 심해지는거 보니까 입맛 뚝 떨어진다	ㅇㅇ(118.235)	08:21	41	0
466109	일반	이건 신박한 기술 맞는거 걑다 [2]	ㅇㅇ(117.20)	08:20	124	0
466108	일반	역대급 특들갑으로 기대치는 MAX네	ㅇㅇ(220.116)	08:20	39	0
466107	일반	OAI 직원들 기차놀이는 역대급 호들갑 아니냐?	ㅇ0oO	08:19	61	1
466106	일반	chatGPT 전화통화 [3]	특술람	08:10	118	1
466105	일반	흥분하는 openai 연구원 [9]	ㅇㅇ(125.191)	07:54	234	3
466104	일반	알트만이 ai로 이루어진 인공지능 정부에 대해 언급했네 [1]	ㅇㅇ(220.116)	07:29	165	4
466103	일반	다음주 화요일에 특이점오는거 맞지? [1]	ㅇㅇ(125.133)	07:27	69	0
466102	일반	지금 시점에 어느 분야가 전망있다	ㅇㅇ(219.254)	06:52	68	0
466101	일반	분석)다음주 화요일에 샘 알트만 뭐 발표 할지 촉 왔다. [2]	동소	06:43	228	2
466100	일반	이번에는 기대컨 좀 힘들긴 하다 [1]	ㅇㅇ(211.197)	06:39	84	0
466099	일반	자율에이전트로 게임 만들수 있을까?? [2]	ㅇㅇ(113.60)	06:36	107	0
466097	일반	귀.신을 믿지 않지만 귀.신이 무서운 이유 [7]	도로시냥	06:14	127	1
466096	일반	모레 새벽 특갤 예상 [7]	ㅇㅇ(211.197)	05:10	341	9
466095	일반	지금 also good 안되는거 맞지? [2]	ㅇㅇ(203.234)	05:00	152	0
466094	일반	강남땅에서 귀@신이 나온다는 소리 들어본 적 있냐? [3]	ㅇㅇ(222.117)	04:58	193	0
466093	일반	지금 제미니 1.5 울트라 업데이트 된듯? [2]	ㅇㅇ	04:56	186	0
466090	AI창 AI창작	gpt2로 DOOM 만들기 [26]	ㅇㅇ	04:22	902	28
466089	일반	작작좀 설레발쳐라들	ㅇㅇ(76.38)	04:15	88	0
466088	일반	이번 떡밥은 화요일 새벽에 공개되는 거임??? [4]	트라야누스(14.32)	04:11	158	0
466087	일반	코딩 잘안되네요.. [8]	스카이넷(118.37)	03:55	196	0
466086	일반	귀.신 미신 안믿는다는 애들 모순인 점 [11]	ㅇㅇ(117.20)	03:51	230	0
466084	일반	내가 몇년전에 쓴 글이	ㅇㅇ(118.235)	03:31	92	1
466083	일반	그냥 줫도없는 오디오 좀 잘알아먹습니다 발표하고 [1]	ㅇㅇ(221.165)	03:22	130	3
466082	일반	nsfw 이미지생성도 되는건가	ㅇㅇ(218.150)	03:14	79	0
466081	일반	샘 알트만 [5]	ㅇㅇ(211.246)	03:07	265	3
466080	일반	gpt5 = okay, 다음주 화요일 = really good [1]	FC2-PPV	03:04	305	0
466079	일반	나는 좀 두렵네. [1]	ㅇㅇ(222.119)	02:59	170	0
466078	일반	특갤은 뭐이렇게 [1]	ㅇㅇ(211.209)	02:48	123	0
466077	일반	여기 잼민이 갤이였네 [1]	ㅇㅇ(182.226)	02:44	207	0
466076	일반	알트만이 말하는게 혹시 실물 아니가?	ㅇㅇ(117.20)	02:43	178	0
466075	일반	행회도 억까도 다 근들갑임	ㅇㅇ(211.46)	02:40	50	0
466074	일반	난 샘알트만이 agi갖고 오는거 반대한다(이유있음) [2]	ㅇㅇ	02:39	146	0
466073	일반	근들근들근들갑 떠는거보니 되려	어브리	02:36	64	0
466072	일반	아시발 알트만 레딧보니까 대가리 또 깨질라하네 [1]	ㅇㅇ(106.102)	02:32	227	0
466071	일반	좀 짜증나긴하네	ㅇㅇ(220.65)	02:29	82	0
466067	일반	GPTS 이후로 신뢰 다 잃어 버리지 않았음?	ㅇㅇ(203.234)	02:14	119	0