GPT-4, 사진과 텍스트만으로 '둠' 플레이했다

게임메카

2024.03.12 19:49:08

조회 2147 추천 4 댓글 8

🔼 사전 정보로 GPT-4V에 제공된 둠 스크린샷 샘플 (자료출처: Will GPT-4 Run DOOM? 논문)

[게임메카=김미희 기자] 오픈AI가 개발한 4번째 언어모델 GPT-4가 사전학습 없이도 둠을 부분적으로 플레이할 수 있다는 연구결과가 발표됐다.

이번 연구는 MS 수석 응용 과학자이자 영국 요크대학교 연구원인 아드리안 드 윈터(Adrian de Wynter)가 진행했고, 관련 논문이 8일 비영리 과학 논문 공개 사이트인 아카이브(arxiv)를 통해 공개됐다. 논문 제목은 ‘GPT-4로 둠을 실행할 수 있나요? (Will GPT-4 Run DOOM?)’이며, 학습 없이 스스로 정보를 습득해서 둠을 플레이하는 것은 일부 가능하다고 확인됐다.

연구에서 GPT-4는 몇 가지 지침과 게임 상황에 대한 스크린샷에서 모델 자체에 의해 생성된 텍스트 설명만으로 둠을 플레이했다. 구체적으로 이미지, 음성 등을 분석해 여러 결과물을 얻을 수 있는 GPT-4V를 기반으로 게임 엔진에서 스크린샷을 캡처하고, 상황에 대해 텍스트로 변환해주는 구조를 설계했다. 그리고 앞서 이야기한 부분을 시각적인 정보와 이전 기록을 토대로 결정을 내리는 GPT-4에 결합했다.

이를 토대로 GPT-4는 둠의 첫 번째 에피소드 첫 맵인 격납고(Hangar)를 플레이했다. 그 결과 연구자들은 GPT-4가 길을 찾으며 문을 열고, 무기를 발사하며 적과 싸우는 것을 확인할 수 있었다. 플레이를 반복해서 배우게 하는 강화학습을 거치지 않고 관찰과 자체적인 추론만으로 게임을 하는 것이 가능했고, 프롬프트를 조정해나가면 더 나은 결과를 얻을 수 있다는 것이 연구진들의 의견이다.

🔼 프롬프트를 조정하며 점점 더 결과가 나아지는 것을 확인할 수 있었다 (자료출처: Will GPT-4 Run DOOM? 논문)

다만 이번 실험에서 GPT-4는 스테이지를 클리어하지는 못했다. 이에 대해 연구진은 이번에 설계한 모델은 적으로 등장하는 좀비가 시야 밖으로 사라질 경우 적이 있다는 사실을 종종 잊어버렸다. 인간이라면 적을 추격해 마무리했겠으나, GPT-4는 적의 존재를 잊었기에 이후에 공격을 당하거나 구석에 몰리는 등으로 사망을 맞이했다고 설명했다.

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
12717	엔씨 '쓰론앤리버티' PC·콘솔판 글로벌 테스트한다 [4]	게임메카	03.27	124	0
12716	발더스 게이트 3, 추가 악 성향 엔딩 만들고 있다 [4]	게임메카	03.26	1225	0
12715	정규 시즌 마무리, LCK 30일부터 PO 돌입 [4]	게임메카	03.26	1252	0
12714	[오늘의 스팀] 생활형 MMORPG ‘팔리아’ 출시 [4]	게임메카	03.26	684	0
12713	블루 아카이브 애니메이션, 애니메 재팬 출전 [4]	게임메카	03.26	3281	0
12712	월 최고 60만 원, 불법게임 신고포상금 운영한다 [4]	게임메카	03.26	1159	0
12711	휴대용 Xbox 나오나? 필 스펜서 ‘고민 중’ [4]	게임메카	03.26	1047	0
12710	PS5 기대작 '스텔라 블레이드' 29일 데모 공개 [4]	게임메카	03.26	309	0
12709	[AI야 소녀를 그려줘] 동무, 여권을 제출하라우 [37]	게임메카	03.26	2693	30
12708	발라트로·인스크립션 등, 스팀 덱 빌딩 할인 시작 [4]	게임메카	03.26	558	0
12707	내부 테스트 중, 엘더스크롤 6 초기 빌드 나왔다 [4]	게임메카	03.26	591	0
12706	‘이스 X’ PC판, 스팀과 다이렉트게임즈 모두 환불 [4]	게임메카	03.26	566	0
12705	사이버펑크 2077 콘솔판, 기간 한정 무료 체험 [4]	게임메카	03.26	158	0
12704	'쵸비' 정지훈, 2024 LCK 스프링 어워드 3관왕 [4]	게임메카	03.26	2135	0
12703	발매 연기한 보람이 있네, 확 바뀐 별이되어라2 [4]	게임메카	03.26	2068	0
12702	0.8%라더니 0.1%, 라그나로크 거짓 확률 논란 [4]	게임메카	03.26	508	0
12701	광동 프릭스, LCK 스프링 플레이오프 막차 탔다 [4]	게임메카	03.25	461	0
12700	부활 가능, 발로란트 신규 요원 클로브 공개 [4]	게임메카	03.25	519	0
12699	[겜ㅊㅊ] 평가 검증된 고품질 신작 추리게임 6선 [4]	게임메카	03.25	1135	0
12698	오케스트라도 함께, 가디언 테일즈 유저 행사 성료 [4]	게임메카	03.25	997	0
12697	중세 슬로바키아 인디 RPG ‘펠비덱’ 30일 출시 [4]	게임메카	03.25	386	0
12696	플린트 신작 '별이되어라2' 사전예약 300만 참여 [4]	게임메카	03.25	176	0
12695	[오늘의 스팀] 스타듀 밸리, 이젠 동접까지 '갓겜' [4]	게임메카	03.25	1058	0
12694	[롤짤] 엄마 찾는 성난 드래곤 퇴치한 구마유시 [4]	게임메카	03.25	1019	0
12693	링 모으며 질주! 폴가이즈 느낌 소닉 신작 유출 [11]	게임메카	03.25	1354	4
12692	크래프톤 '다크앤다커 모바일' 4월 테스트한다 [4]	게임메카	03.25	565	0
12691	어이쿠! 왕자님에 이은 허잇차! 세자님, 펀딩 연다 [4]	게임메카	03.25	316	0
12690	드래곤즈 도그마 2 '처음부터 시작' 기능 넣겠다 [4]	게임메카	03.25	1593	0
12689	대머리가 아냐? 블루아카 ‘선생님’ 애니 설정 공개 [4]	게임메카	03.25	8493	0
12688	나만의 해적단을 테이블로, 원피스 카드게임 출시 [23]	게임메카	03.24	5628	9
12687	호라이즌 포비든 웨스트, 스팀 평가 ‘매우 긍정적’ [4]	게임메카	03.24	322	0
12686	MS·메타·X 등 에픽 우군 합류, 수세 몰린 애플 [19]	게임메카	03.24	4628	22
12685	소녀전선 IP ‘역붕괴: 베이커리 작전’ 스팀 출시 [4]	게임메카	03.22	1153	1
12684	엔씨 TL, 지적 받은 콘텐츠 개편하고 소통 이어간다 [4]	게임메카	03.22	198	0
12683	e풋볼 2024, 인기 애니메이션 '블루 록' 컬래버 예고 [5]	게임메카	03.22	205	0
12682	시즌 개막 기념, 컴프야V24 대규모 업데이트 [4]	게임메카	03.22	565	0
12681	[이구동성] 현실이 된 AI와의 동거 [4]	게임메카	03.22	1021	0
12680	"확실히 살아남겠다" 트릭컬 첫 팝업 스토어 연다 [5]	게임메카	03.22	1500	1
12679	AMD, 프레임 향상 기술 FSR 최신 버전 공개 [4]	게임메카	03.22	144	1
12678	에픽, GDC서 언리얼 출시 예정작 트레일러 공개 [4]	게임메카	03.22	127	0
12677	발더스 게이트 3 “DLC나 후속작 개발 안 한다” [4]	게임메카	03.22	5869	0
12676	디아블로가 디아블로 이모탈에 등장한다 [4]	게임메카	03.22	342	0
12675	[오늘의 스팀] 또 최적화, 드래곤즈 도그마 2 혹평 [4]	게임메카	03.22	7861	0
12674	넷마블 나혼렙, 이틀 만에 사전예약 100만 참여 [4]	게임메카	03.22	398	0
12673	시가총액 3조 노리는 시프트업의 원동력 '니케' [86]	게임메카	03.22	9236	17
12672	에오스 블랙, 4월 3일 테스트 후 상반기 출시 [4]	게임메카	03.22	302	0
12671	패스 오브 엑자일 2, 테스트와 출시 일정 연기 [4]	게임메카	03.22	1279	0
12670	환상수호전 제작진 신작 ‘백영웅전’ 콘솔 예판 시작 [4]	게임메카	03.22	309	0
12669	넷마블 아스달, 4월 24일 한국·중화권 동시 출시 [4]	게임메카	03.22	286	0
12668	PC·콘솔 버전과 연동 가능, 워존 모바일 출시 [4]	게임메카	03.22	299	0