본인은 OpenAI, Claude 둘 다 API로 쓰고 있음으로 한쪽 편을 들 생각이 추호도 없음.

위의 짤은 레딧 Claude갤이라 편향이 있을 수 있음. 그래도 글 내용에 둘 다 써본 사람만 대답해 달라는 요청이 있었고 20불이 껌값인 미국형들이 둘 다 써보지도 않고 클로드를 찍은 사람은 많지 않을듯함.

어제 4o가 틀린 퀴즈문제 클로드는 맞췄다고 했더니 벤치마크 들고와서 개같이 달려들어서 물어뜯던데

현대 아이오닉5가 안전성 테스트 AAA 받았고 10개국가 올해의 차에 선정 됐으니 우리 아빠 차가 젤 조앙~ 하는 것 밖에 안 됨...

다들 4o가 역대급으로 좋다고 하고 4보다는 실제로 꽤나 좋은 거 같아서 며칠동안 써봤음.

사람들이 자꾸 간과하는 게 4o는 가벼운 모델이라 OpenAI에서 Output을 널널하게 쓰라는 서버측 프롬프트가 돼있을 것임.

나도 전문가는 아니지만 작년에 GPT-4 사용자 몰려서 1초에 한 단어씩 내뱉을 때 OAI가 어떻게 했겠음?

Output 짧게 하라고 시켜야 서버부하가 그나마 줄어들 것이고 그때부터 GPT-4 게을러 터졌네 멍청해졌네가 나온 거임.

Output 길게 해주면 존나 똑똑하다는 착각을 하게 됨.

Output 짧게 리밋하면 LLM이 말해줘야 할 것도 짤라야 하니 멍청해 보임. 이게 왜 어떤 애들은 4o가 also보다 못하네 마네 하는 거임. lmsys는 투표점수를 받아야 하는데 OAI가 리밋 걸겠음?

GPT-4보다 4배나 싼 API 가격이니 내 생각엔 엄청난 경량화 모델일 것임. 아까 누가 인용한 글에 40B~80B 모델일 거 같다고 했는데 그럴 수도 있다고 생각함.

경량화라 컴퓨트 안 잡아 먹으니 Output 널널하게 해주면 됨.

그럼 OpenAI가 엄청난 폭리를 취하는 거 아니냐고 하는데 OAI가 자선사업하는 것도 아니고 사업적으로 만약 비용이 10배 줄었다고 판매가격을 10배 깍아주지 않음. 사용자가 이만큼 낼 수 있겠다. 경쟁사에서 이만큼 사용자들을 뺏어올 수 있겠다. 이런 생각하고 가격을 책정함.

며칠간 코딩을 해보니 4o와 클로드가 성능면에서 큰 차이가 있는지는 아직도 모르겠음. 좀 애매함.

근데 4o가 일단 빠르고 코드를 한 방에 더 많이 짜주니 그걸 쓸 수 밖에 없음. 이건 좀 더 지켜봐야 하겠지만 상대적으로 코딩은 우위인 것 같음. 디버깅 해야하긴 마찬가지지만.

오늘 업무상 데이터를 분석해서 MS Teams로 보내는 간단한 코드를 짰는데 간단한 분석이라 첨엔 무료인 groq llama 3 70B API로 분석하려다가 분석이 영 시원치 않아서 GPT-4o와 Claude 3 Opus를 비교해 봄.

내가 원하는 형태의 분석이 나와야 해서 그런 분석이 나올 수 있는 프롬프트를 양쪽에 짜달라고 6~7번 정도 해 봄.

미세하지만 클로드가 좀 더 좋은 프롬프트 엔지니어링을 해 줌.

그리고 동일 프롬을 가지고 실제 데이터 분석 몇 번 돌려봤는데. 미세하게 클로드가 좀 더 똑똑한 분석을 함. 4o는 놓치는 부분이 있었음.

4o가 월등히 빠르고 싸서 분석 결과가 비슷했더라면 무조건 4o 쓸거였는데 의외로 클로드 결과가 더 잘 나와서 이 건은 클로드 API를 쓰기로 함.

업무상 데이터라 내가 보여줄 순 없고. 여기는 완전 4o가 월등히 낫다는 분위기라 내 경험을 공유하는 마음에 써봄.

기존 GPT-4는 포지셔닝이 완전 이상해졌으니 5가 곧 나와야 하긴 할듯.