'스트리트 파이터 3' LLM 대전서 'GPT-3.5' 첫 우승 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] '스트리트 파이터 3' LLM 대전서 'GPT-3.5' 첫 우승

ㅇㅇ(182.230) 2024.04.07 00:48:22

조회 550 추천 6 댓글 7

https://www.aitimes.com/news/articleView.html?idxno=158617

'스트리트 파이터 3' LLM 대전서 'GPT-3.5' 첫 우승

대형언어모델(LLM)끼리 겨룬 비디오 게임 '스트리트 파이터 3' 대회에서 'GPT-3.5'가 첫 우승을 차지했다.톰스하드웨어는 4일(현지시간) 샌프란시스코에서 열린 미스트랄 AI 해커톤에서 GPT-3.5가 오픈AI와 미스트랄 AI의 다른 모델들을 꺾고 우승을 차지했다고 보도했다.이에 따르면 이번 행사는 미스트랄 AI가 LLM의 게임 플레이 능력을 측정하기 위해 고안한 'SF3 LLM 콜로세움'이라는 벤치마크의 일종이다. LLM 전용 게임 대회는 처음이라는 설명이다.LLM을 PC의 에뮬레이터에 연결하는 방식으로, 화면에 대한 텍스트

www.aitimes.com

7ce88870b48507f739ef80e34fee716caaad1b942b72382b3f2a23914642e1f1f9c7d7

대형언어모델(LLM)끼리 겨룬 비디오 게임 '스트리트 파이터 3' 대회에서 'GPT-3.5'가 첫 우승을 차지했다.

톰스하드웨어는 4일(현지시간) 샌프란시스코에서 열린 미스트랄 AI 해커톤에서 GPT-3.5가 오픈AI와 미스트랄 AI의 다른 모델들을 꺾고 우승을 차지했다고 보도했다.

이에 따르면 이번 행사는 미스트랄 AI가 LLM의 게임 플레이 능력을 측정하기 위해 고안한 'SF3 LLM 콜로세움'이라는 벤치마크의 일종이다. LLM 전용 게임 대회는 처음이라는 설명이다.

LLM을 PC의 에뮬레이터에 연결하는 방식으로, 화면에 대한 텍스트 설명을 제공했다. 즉 플레이어의 이전 동작과 상대방의 동작 및 두 캐릭터의 체력 게이지 등을 기반으로 어떤 동작을 할지 계산하도록 지시했다.

게임 중 '켄' 캐릭터만 사용하도록 제한됐다. 이동과 점프, 펀치, 킥은 물론 파동권이나 승룡권같은 특수 기술도 사용했다.

미스트랄 AI는 자체 모델의 여러 버전으로 첫번째 테스트를 진행했으나, 이후 오픈AI의 모델들을 도입해 흥미를 배가했다. 여기에는 미스트랄의 라지, 미디엄, 스몰 등 3가지 모델과 오픈AI의 'GPT-3.5 터보' 'GPT-4' 'GPT-4 터보' 등이 모두 8가지 버전의 LLM이 포함됐다.

풀 리그 방식으로 많은 전투가 펼쳐졌고, 그 결과 GPT-3.5 터보가 승률에 따른 총점 1776.11로 1위를 차지했다. 미스트랄 스몰 파이널버전(1586.16점)이 뒤를 이었다.

https://youtu.be/CGV0MlnOd30

일반적인 성능이 더 뛰어난 'GPT-4'의 4가지 버전이 3~6위로 밀렸고, 미스트랄 AI도 큰 모델 2종이 최하위권에 그쳤다.

미스트랄 AI의 운영진은 이번 시합을 통해 "더 작은 모델은 일반적으로 대기 시간과 속도 이점이 있으며, 이는 이 게임에서 더 많은 시합에서 승리한다는 의미"라고 설명했다. 인간의 격투가 그렇듯 빠른 반응으로 이점을 얻을 수 있다는 설명이다.

한편, 반조 오바요미 아마존 임원이 별도로 14개의 LLM으로 314개의 경기를 치른 결과, 앤트로픽의 '클로드 3 하이쿠'가 1위를 차지했다. 하이쿠 역시 클로드 3 중 가장 작은 모델이다.

또 오바요미는 모델의 환각이나 가드레일 같은 장치가 게임의 플레이를 방해한다는 사실도 알아냈다고 밝혔다.

한편 미스트랄 AI는 프로젝트의 소스 코드를 깃허브에 공개했다. 따라서 누구나 슈퍼컴퓨터 없이도 이를 시도해 볼 수 있다고 전했다.

고정닉 3

원본 첨부파일 1

158617_170669_5154.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
472855	일반	얀르쿤의 꿈을 oai가 이뤄가고 있네 [1]	ㅇㅇ(121.131)	05.14	232	2
472854	일반	ㄱㅂㅅㄷ 시행 하라고..!!	ㅇㅇ(175.201)	05.14	43	0
472853	AI창 AI창작	UDIO 거리를 걷노라면(영상 입힘)	ㅇㅇ(61.101)	05.14	67	1
472852	일반	오래봐도 눈안아픈 모니터 안나오냐 [2]	탈조선	05.14	112	0
472851	일반	아스키 아튼지 뭔지 원래 이런거냐?	jjajahoo	05.14	148	0
472850	일반	이젠 진짜 취업하는게 의미가 없어지는 시대인듯 [4]	탈조선	05.14	290	1
472849	정보	Gpt4o로 이전엔 어려웠던거 가능 한것들 몇개 추려봄	탈조선	05.14	217	2
472848	일반	아스키 아트로 유니콘 잘만 그리는데?	ㅇㅇ(218.149)	05.14	166	3
472847	정보	UAE, 인기 오픈 소스 모델 '팰컨' 후속작 출시	ㅇㅇ(182.230)	05.14	215	3
472846	일반	첫번째 특이점은 왔고, 두번째 특이점이 곧 온다.	ㅇㅇ(211.179)	05.14	102	0
472845	일반	Whisper도 처음엔 슴슴했는데 이게 사만다까지 되네	ㅇㅇ(121.131)	05.14	148	0
472843	일반	GPT3.5 이전엔 어떤 llm이 있었음? [10]	ㅇㅇ	05.14	181	0
472842	일반	무리타 누나 쓰리 사이즈가? [3]	ㅇㅇ(119.56)	05.14	232	0
472841	일반	지수적 발전이면 내년에 바로 gpt6 나오겠노 ㅋㅋㅋ [3]	ㅇㅇ	05.14	305	0
472840	일반	모탈컴뱃 아는 사람?	ㅇㅇ(58.29)	05.14	51	0
472838	일반	클로드 이년 돌앗나? [2]	ㅇㅇ(58.29)	05.14	282	0
472837	일반	난 AI가 성적으로 접목되는게 제일 기대됨.. [8]	ㅇㅇ(58.29)	05.14	304	0
472835	일반	멀티모달인데 llm한계는 진작 벗어난거 아님? [11]	ㅇㅇ(121.131)	05.14	380	2
472834	일반	이제 3.5가 진정한 은퇴를 하는구나 [1]	ㅇㅇ(114.201)	05.14	226	0
472833	일반	구글 발표 기대 안되는게 딥마인드 직원들 트위터 쭉 둘러봤는데 [3]	ㅇㅇ	05.14	234	0
472832	일반	평행세계를 어떻게 이해하면 됨???? [1]	ㅇㅇ(59.0)	05.14	84	0
472831	일반	AI는 이렇게 쓰는거지. [6]	ㅇㅇ(58.29)	05.14	350	2
472830	일반	특이점존버892일차 [3]	alphaca	05.14	94	1
472829	일반	일단 잘 모르겠음 [1]	ㅇㅇ	05.14	137	0
472828	일반	3시에 구글인데 너무 졸려서 잘듯 [9]	ㅇㅇ(121.131)	05.14	365	1
472827	일반	ㅅㅂ사용자 몰리니까 개느리네	ㅇㅇ	05.14	105	0
472826	일반	특이점이 온 거 같다 진짜 [3]	ㅇㅇ(222.116)	05.14	394	3
472825	일반	형들 특이점 오면 뇌 관련 질환도 치료가능한거맞지? [1]	ㅇㅇ(61.97)	05.14	86	0
472824	일반	일반 3시간만 더 지나면 구글이 오픈ai 따겠노 [1]	ㅇㅇ(49.142)	05.14	169	1
472823	일반	Agi 출시해도 성능 좋아졌노 하고 말듯 [10]	ㅇㅇ(121.131)	05.14	369	0
472822	일반	형들 삼섬 갤럭시 이제 어떻게 해?????????? [7]	ㅇㅇ(121.156)	05.14	273	0
472821	일반	호버보드는 언제쯤 나오는거냐 ?!	ㅇㅇ(211.118)	05.14	64	0
472819	정보	삼성전자, 리테일 매장에 '휴머노이드 로봇' 배치한다 [2]	니지카엘	05.14	304	5
472818	일반	내 건 유니콘 잘 그리네 [1]	ㅇㅇ(211.109)	05.14	197	0
472817	일반	사만다 실시간으로 봤을때 진짜 특이점인줄 알았음 [5]	ㅇㅇ(121.131)	05.14	290	0
472814	일반	4o 얘 also gpt2 그대로 낸게 맞긴 함? [4]	Ad_Astra	05.14	392	0
472813	일반	솔직히 OAI가 저렇게 하나씩 감질나게 푸는 것도 [2]	ㅇㅇ(114.202)	05.14	182	2
472812	일반	4o 보석상문제 2트만에 성공 [10]	천사다천사	05.14	384	0
472811	일반	원래 되던 음성대화기능 왜 막아둔거지 [2]	ㅇㅇ(58.29)	05.14	156	0
472809	일반	꽁꽁언 한강위로 샘 알트만이 걸어다닙니다 [3]	떼껄룩해적단	05.14	297	1
472808	일반	이제코드좀풀어 쉬발;; [2]	ㅇㅇ(211.226)	05.14	154	1
472807	일반	생각해보니까 AI로 댓글 검열하면 좋은게 [6]	딩둘딩	05.14	154	0
472806	일반	음성기능 왜 안되는거야? [6]	ㅇㅇ(58.29)	05.14	115	0
472805	일반	구글 나만 기대중임? [9]	ㅇㅇ(58.29)	05.14	275	0
472804	일반	아시아권 ai는 일본보다 싱가폴이 더 잘나갈 거 같음 [10]	ㅇㅇ(121.128)	05.14	241	2
472803	일반	4o는 아직도 보석상 문제조차 못푸는구나 [6]	ㅇㅇ(183.96)	05.14	281	0
472802	AI창 AI창작	4o 나왔다고 해서 한번 써보는데, 프롬프트 어캐 넣어야함? [3]	ㅇㅇ(121.152)	05.14	205	0
472801	일반	인증못하고 딜교쳐발리고 패배감만깊어진 반고닉 ㅇㅇ 빤스런 ㅋㅋ [16]	ㅇㅇ(222.106)	05.14	311	0
472800	일반	아 멀티모달 언제 쓰게 해주냐고 !!!! [1]	ㅇㅇ(121.128)	05.14	53	0
472798	일반	구글에 기대를 하는게 바보지. 구글 최대 히트작 [9]	ㅇㅇ(218.150)	05.14	209	1