https://arxiv.org/abs/2405.15414

개방형 에이전트를 구축하는 것은 항상 AI 연구의 궁극적인 목표였으며, 창의적인 에이전트가 더욱 매력적입니다. 기존 LLM 에이전트는 잘 정의된 목표(예: Minecraft의 '다이아몬드 채굴')를 가진 장거리 작업에 탁월합니다. 그러나 개방적인 목표와 추상적인 기준을 가진 창의적 과제에서는 그 둘 사이의 격차를 메울 수 없기 때문에 어려움을 겪고, 과제 해결에 있어서 자기 개선을 위한 피드백이 부족합니다. 본 연구에서는 에이전트가 공백을 메울 수 있는 자율적 구현 검증 기술을 도입하여 창의적인 작업을 위한 기반을 마련합니다. 구체적으로 우리는 인간 설계 관행에서 영감을 받은 2단계 자율 구현 검증을 갖춘 Minecraft의 창의적인 건축 작업을 목표로 하는 Luban 에이전트를 제안합니다. 

(1) 에이전트 합성 CAD 모델링 프로그램에서 제공되는 3D 구조 추측의 시각적 검증; 

(2) 추상적인 기준에 따라 환경 관련 기능 프로그램을 생성하고 검증함으로써 생성의 실용적 검증.

광범위한 다차원 인간 연구 및 Elo 등급에 따르면 Luban은 제안된 벤치마크에서 다양한 창의적 구축 작업을 완료하고 다른 기준보다 뛰어난 성능을 발휘합니다(33 %에게100 %) 시각화와 실용주의 모두에서. 실제 로봇 팔에 대한 추가 데모는 물리적 세계에서 Luban의 생성 잠재력을 보여줍니다.

2단계의 자율적 구현 시각적 및 실용적 검증을 기반으로 Minecraft에서 개방형 창의적 구축 작업을 수행할 수 있는 에이전트를 제안합니다.