내가 어제 새벽에 5시간 붙잡고, 그리고 혹시나 업뎃했나 해서 방금 좀 테스트한 모든 결과를 통틀어서 

그냥 가볍게 얘기해주는데

그록3 가격 오르기 전에 못샀으면... 앞으로도 사지 마라...

머스크 씹사기꾼임

벤치 개사기같어

베타고 자시고 일단 띵크(Think) 끄면 소넷보다도 못하고

띵크(Think) 키면 o1 pro랑 o3-mini-high보다도 못함

벤치랑 여태 광고 때린 모든 게 다 과장되어 있음

특히 결과물 복불복이 너무 심해서 원래도 못한데 더 거지같은 결과물 나올 때가 많고,

컨텍스트 윈도우도 구글이나 오픈AI에 한참 못 미쳐서

(지적해주면 그 정보를 찾아오는 건 잘하는데, 지적하지 않으면 잊고 지랄남)

마치 그냥 제품 자체가 급조된 거 같은 느낌밖에 못 받음

소설 작성하게 할 때는 아무리 지적해도 자연스러운 한국어가 아니라 일본식 말투나 영어 번역투로 인물들 대사 치고

마치 4o에서 종종 나타나는 문제점인 '어떠어떠한 것을 해라'라고 하면 그걸 깊이 생각해서 고차원으로 반영하는 게 아니라

그냥 무지성으로 작품 내에 '어떠어떠한 것을 하고 있다. 그는 어떠어떠한 모양이다.' 이런 식으로 작성 때가 많음

그리고 코딩은 어느 순간부터는 지가 뭘 작성하고 있는지도 모르고 있음

(소설 쓴 거 빼면 모두 영어로 테스트함)

수학은 뭔가... 딱 o3-mini-low 느낌...? 뭔가 무지성의 느낌이 있음 그 느낌 있잖아. 가뜩이나 출력속도 개빠른데 

막상 출력된 거 보면 깊이가 없음 띵크 키고 막 1분 넘게 생각하는 데도 결과물은 뭔가 베이스 모델이 내놓은 것 같은 가벼움

문과든 이과든 프롬프트에 대한 이해도가 부족한 거 같음 즉, o3-mini-high의 느낌을 닮아 있음. 내가 이전에

o3-mini-high로 하다가 자꾸 진빠 내고 멍청한 짓하고 이러는 거 답답해서 일주일에 50회인 o1으로 자주 대체해왔는데

그 느낌이 강함 근데 뭔가 그게 o3-mini-high가 아니라 low급으로 뭔가 멍청함

이 사람이 얘기한 거 거의 다 동감함.

특히 r1이나 o1 pro 같은 그 뭔가 묵직한 맛이 전혀 없음.

내가 또 o1 pro 지지난 달에 결제 해서 한달동안 pro만 오질라게 써왔잖음

pro도 종종 1분 30초짜리 생각하고 내뱉는 경우 있는데,

그록 이놈 띵크 키면 보통 1분 30초는 넘기고 응답하는데 비교해보면 그냥 가벼움의 극치임

생각 과정은 오질라게 막 이 생각 저 생각 많이 하고 멋진데

왜 출력물은 생각의 깊이가 반영이 안 되어 있는 듯한, 정제되어 있는 듯한 느낌이 전혀 안 드는지 모르겠음

아무튼 가격 오르기 전에 30만원에 1년 결제해놓고 있는 사람으로서....

해줄 수 있는 말은 "야 너 안 사기 잘했다" ㅎㅎ

2주만 존버하면 GPT4.5도 나오고 앤트로픽 다음 모델도 나온다고 생각하면 너네가 승자다

----

난 이전부터 계속 아레나에서 테스트해오면서 특갤에도 자주

(띵크가 없는 베이스모델) 초콜릿이 o3-mini-high보다 한참 넘사라는 걸 알렸는데

대체 왜 정식품이 이지랄인지 이해를 할 수 없음

대체 내부에서 뭐 하는 거지??

빅브레인은 그냥 추론 관련 아니야??

----

아! 벤치에서 하늘색 부분이 빅브레인이라는 사실을 알아냄

이거 꼭 보셈

https://gall.dcinside.com/thesingularity/648318

밝은 색 파랑 부분 다 지우고 보면,

여태 우리가 테스트하고 있는 그록3 베타가 미니 모델이 아니라는 걸로 봐서

o3-mini-high는커녕 o1보다도 낮은 게 정확한 평가라는 사실을 벤치에서 알아낼 수 있음

그리고 안드레 카파시 말이 사실이면 그록3+추론은 o1 pro급이거나 더 나아야 하는데,

그렇다면 카파시는 빅브레인을 테스트했던 거고,

우리는 빅브레인만 기다리면 된다는 결론에 도달할 수 있음

근데 뭐이리 헷갈리게 내는 거야?