'돈 내면 성능평가 1위?'…'벤치마크 무용론'에 자금논란까지

'돈 내면 성능평가 1위?'…'벤치마크 무용론'에 자금논란까지모바일에서 작성

ㅇㅇ

2025.05.08 16:20:02

조회 18005 추천 42 댓글 52

7ced8076b5846cf13fef98bf06d60403b5a01395288f77e19173

7ced8076b5846cf13fed98bf06d6040347bc3fb6a9ba14e4013d

7ced8076b5846cf13feb98bf06d6040338a18eb2d9065840beab

7ced8076b5846cf13fe998bf06d604030cb509b9972647495ef1

7ced8076b5846cf13fe798bf06d60403af67c5669b76297af02c

7ced8076b5846cf13cef98bf06d604039182cbb4bb23b43b80d8

7ced8076b5846cf13ced98bf06d60403ab33f2ec6d7257fe46e8

AI 성능 평가의 허와 실

• 오픈AI, 메타, xAI 등 빅테크 기업들이 자사 AI 모델의 벤치마크 점수를 부풀리기 위해 맞춤형 사전 훈련이나 특수 테스트 버전을 사용하는 등의 의혹이 제기되고 있다.

• 메타의 라마4, 머스크의 그록3, 오픈AI의 GPT-3 등이 벤치마크 조건에 맞춰 훈련된 모델을 사용하여 실제 성능보다 높은 점수를 기록한 사례가 드러났다.

• 스탠퍼드대 HAI 연구소는 벤치마크 발표 사례 150개 이상을 검토한 결과 데이터 조건 통제 및 재현성 문제를 지적하며 벤치마크의 신뢰성에 의문을 제기했다.

• 벤치마크 기관에 대한 빅테크 기업들의 자금 지원으로 인해 평가 결과에 대한 공정성 논란이 일고 있으며, 현재 AI 성능 평가 방식은 마케팅 도구에 가깝다는 비판이 제기되고 있다.

https://n.news.naver.com/mnews/article/421/0008236494

출처: 이론 갤러리 [원본 보기]

고정닉 9

원본 첨부파일 7본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	논란을 반복해서 진정성이 의심되는 스타는?	운영자	25/05/12	-	-
공지	실시간베스트 갤러리 이용 안내 [3217/2]	운영자	21.11.18	12111280	544
329720	[야갤] 우리 강아지 짖으면 발로 차도 된다…아파트에 붙은 사과문 시끌 [14]	감돌	13:10	590	3
329719	[해갤] 유튜버가 분석한 이강인이 psg후보로 밀린 이유 [32]	ㅇㅇ(211.234)	13:05	1202	9
329717	[대갤] 中상상초월 기업복지에 전세계가 깜짝! 이것이 G2의 위엄이다 [28]	난징대파티	13:00	1735	23
329716	[싱갤] 프랑스에서 한국 스트리머 폭행에 트위터 인종차별자들 반응 [143]	rtOS	12:55	5197	74
329714	[잡갤] 동덕여대 : 왜 여대에서 자꾸 군대 이야기 꺼내는거임?;; [182]	휴민트솜솜이	12:50	4158	38
329713	[야갤] 네이버는 스포티파이와 협력, 쿠팡은 OTT 무료 [59]	감돌	12:45	3603	5
329711	[싱갤] 훌쩍훌쩍 미국에서 K-POP컨셉으로 밀고잇는 쇼핑몰 [172]	ㅇㅇ(47.155)	12:40	18250	95
329710	[카연] 상이군인 나타샤 만화 (13) [54]	리호	12:36	2952	90
329708	[이갤] “위약금 면제는 시작일뿐”…SKT가 망설이는 이유 [116]	ㅇㅇ	12:30	7186	16
329707	[더갤] 민주파출소는 검열이라던 이준석 근황.. [240]	ㅇㅇ	12:25	9747	101
329705	[싱갤] 싱글벙글 북한 유머 [110]	ㅇ02	12:20	8105	69
329704	[야갤] 지인 친형...4억 7천을 사기당한 사람 ㄹㅇ...jpg [240]	Adidas	12:15	24306	249
329702	[중갤] 헐..이재명 출정식 미친 거 아니냐? [433]	ㅇㅇ	12:10	13919	111
329701	[야갤] 호텔 앞 화분에 아이 노상 방뇨시킨 아빠… "한국인이었다" [151]	감돌	12:05	6056	30
329699	[싱갤] 어매이징 필리핀에서 모유 사먹는 틀팔육 [248]	ㅇㅇ	12:00	12622	54
329698	[디갤] 꽃 보고가 [19]	21.64mm	11:55	1832	6
329696	[키갤] 오늘의 이정후.webp [59]	푸이그	11:50	5597	80
329695	[싱갤] 싱글벙글 한국에선 ㅈ도 모르는 일본 국민만화 [300]	ㅇㅇ	11:45	26314	105
329693	[군갤] 트럼프 특사가 푸틴과의 협상에서 쳐발릴 수밖에 없었던 이유 [124]	NMH-523	11:40	7675	57
329692	[롯데] 어제자 헤드샷 모음집....jpgif [160]	ㅇㅇ(59.28)	11:35	18879	346
329689	[새갤] 성비위 피해자 "조국혁신당 성인지감수성 심각하게 결여" [110]	포만한	11:25	5502	50
329688	[야갤] 국내연구팀...차량곡면 부착 가능 태양전지 개발 ㄹㅇ...jpg [264]	Adidas	11:20	18444	189
329686	[키갤] 오늘의 김혜성.webp [30]	푸이그	11:15	5460	70
329685	[코갤] 이번 콘클라베 뒷이야기 [144]	ㅇㅇ(223.39)	11:10	10790	79
329684	[싱갤] 싱글벙글 하루 평균 2만 보 걷는 헬스 트레이너 아재 [189]	수인갤러리	11:05	15884	36
329682	[주갤] 애들 다 컷는데 일하기 싫다는 아내... [411]	갓럭키	11:00	15085	73
329681	[이갤] 채널A) 이재명·김문수·이준석 3파전 [461]	ㅇㅇ	10:55	9164	164
329680	[야갤] 깜짝... 25개월 아기 금목걸이 훔친 간호조무사 .jpg [178]	블핑지츄	10:50	10084	82
329678	[싱갤] 싱글벙글 연돈의 경영 철학 [294]	ㅇㅇ	10:45	15030	38
329677	[김갤] 김새론 유족측 변호사 '클럽 전광판 기자회견 영상 틀고 춤춰' [117]	김갤러(106.101)	10:40	10088	82
329676	[중갤] 윤석열 전 대통령, 서울법원청사 서관 도착 [185]	ㅇㅇ	10:35	8826	77
329674	[해갤] 음바페 해트트릭 팀은 패배 엘클라시코 골 모음...gif [119]	메호대전종결2	10:30	16541	435
329672	[중갤] 이재명 "반역사·반민주 세력 제압…내란 석고대죄부터" [287]	ㅇㅇ	10:20	6840	35
329670	[이갤] "전기 없어서 AI 연구도 못한다"…서울대 '기막힌 상황' [474]	ㅇㅇ	10:15	12772	45
329669	[해갤] 대흥민의 펠리스전 58분 교체투입 하이라이트.gif [254]	scarIet	10:11	12948	267
329668	[중갤] "입 닫는 게 도움"…尹 '김문수 지지 선언'에 국힘 일각 '부글부글' [285]	ㅇㅇ	10:05	12092	86
329666	[해갤] 리버풀vs아스날 골장면.gif [65]	scarIet	10:00	8473	37
329665	[필갤] 펜탁스 LX 후기형 사용 후기 [70]	백본	09:50	3683	18
329663	[철갤] EVO JAPAN 결과 [264]	Colossus	09:40	20892	121
329661	[싱갤] 황당한 시험지 모음 [91]	톰황	09:30	14524	37
329659	[이갤] 인간의 뇌가 할수 없는 생각 [338]	ㅇㅇ(193.148)	09:20	22330	228
329657	[리갤] 스압) 리버풀 리그 우승 기념 19-20 시즌 리그 우승 멤버 근황 모음 [33]	두대륙챔피언피르미누	09:10	6688	44
329653	[카연] 슬픔은 나누면 반이 된다.manhwa [69]	웅쿤	08:50	11373	88
329651	[백갤] 그래서 피앤홀딩스가 뭐하는 회사냐구요 [84]	ㅇㅇ(39.7)	08:40	13039	146
329649	[S갤] 일러스트레이터랑 맞짱 뜨는 ai [186]	한약사	08:30	15950	62
329648	[디갤] 강원도 속초,춘천 우중 여행사진.webp [21]	김데생	08:21	4397	13
329645	[트갤] 버터(맥주) 만들었음 [115]	よっぱらい	08:10	10359	88
329643	[남갤] 유튜버가 말하는 한국 패션문화 문제점 [364]	ㅇㅇ	08:00	30021	217
329641	[여갤] 전 알레시아, 폴리나 통역이 그때 받았던 월급 [31]	ㅇㅇ	07:50	13694	8
뉴스	[TVis] 지민, 메기남 상윤 등장에 ‘심기 불편’…제연에 “너 미워” (하트페어링)	디시트렌드	05.10