특이점 맨날 할때는 라마3 조오오오오오온나 기대하고 그랬는데

신경 안쓰며서 살다가 나오고 나서 확인하니 파급효과 그런건 없네

다만 성능적으로 라마3가 적은파라미터로 라마2보다 개선된건 맞는듯

라마2 70 > 라마3 8 > 라마2 13

다만 라마2 처음나왔을때보다 뽕이 덜할수 밖에 없는게

그땐 라마2 70 을 돌리려면 1천만원이상 깨졌음 깔끔하게 글카메모리 140기가 필요했거든

어지간한 특이점에 미친 컴덕이라도 프로그램 하나 돌려보려고 취미에 1천을 태우는 사람은 손에 꼽아서

몇몇 선동에 놀아났는데

그동안 상황이 많이 달라져서 이젠 누구나 저렴하게(상대적으로) 찍먹이 가능하게 됨

1. 모델 양자화 기술이 개발돼서, 모델 성능을 좀 떨어뜨리면서 훨씬 적은 용량으로 초대형 모델을 돌릴 수 있게 됨

대충 70b 모델같은거 썡으로 그래픽 메모리 140기가 말고 그 반타작인 70기가(64기가~80기가) 로 어거지로 돌리면서 성능저하는 10% 내외 수준

뭐 이런식으로 돌리는게 가능해짐 (성능저하 더 감안하고 더 작은 메모리에서도 실행 가능)

2. apu통합메모리 활용으로 더욱 더 저렴하게 대형 모델 로딩 가능해짐 

MAC이나 내장글카 달린 apu들은 cpu/gpu가 콘솔처럼 램을 공유함

그래서 gpu gddr 메모리로 수십 수백기가 맞추는 비용대비 훨씬 저렴하게 메모리 용량 확보가 가능한데

이걸 이용해서 마치 gpu메모리가 그만큼 있는것처럼 응용해서 대형모델 썡으로 돌리는 기술이 발전함

3. 아예 일반램+글카램 통합 하이브리드로 대형모델 올리는 기술까지 나옴

까놓고 말해서 일반인도 DDR5 48GB 풀뱅으로 192기가 확보하고, 글카 대충 젤 싸구려 4060 8G 달아주면

마치 메모리 200기가 인것처럼 라마3 70B 통쨰로 돌릴 수 있음

단지 순수 브렘만으로 140기가 이상 확보해서 돌리는것보다 한 5배정도 느릴뿐

다만 답변 속도만 느릴뿐이라, 긴 장문 질문하고 6초만에 답변해주느냐, 30초뒤에 답변해주느냐 시간차이일 뿐이라

답변의 퀄리티는 누구나 이제 확인 가능해서, 금방 결과물이 까발려

요약: 

라마2때는 70b 돌려보려면 장비빨에 1000만원 이상 태울 수 있는 극소수만 가능해서 그놈들이 선동 존나 해댔었음.

라마3는 각종 소프트웨어적인 기술의 발전으로 훨씬 저렴하게 한 200만원 정도 태우면 집에서 개인이 라마3 70b 돌릴 수 있어져서

많은사람들이 실체를 알 수 있어서 뻥카가 잘 안먹히고 금방 열기가 식어버림

그럼 개인pc에 천만원 이상 태운놈들 요즘은 또 뭘로 선동하고 다니냐면? 70b 위에는 140b 200b 400b 짜리들도 있음. 이것들은 여전히 돌려보려면 수천만원 깨짐

저걸로 또 개같이 선동하고 다님 존나 좋다면서