https://huggingface.co/papers/2404.12253

 

다양한 작업에 대한 LLM(대형 언어 모델)의 뛰어난 기능에도 불구하고 여전히 복잡한 추론 및 계획이 포함된 시나리오로 인해 어려움을 겪고 있습니다. 최근 연구에서는 LLM의 추론 능력을 강화하기 위해 고급 프롬프트 기술과 고품질 데이터를 사용한 미세 조정의 필요성을 제안했습니다. 그러나 이러한 접근 방식은 본질적으로 데이터 가용성과 품질에 의해 제한됩니다. 이를 고려하여 LLM이 결과를 개선하고 자체 평가 보상을 통해 학습할 수 있는 전략을 사용하는 자체 수정 및 자체 학습이 실행 가능한 솔루션으로 등장합니다. 그러나 특히 복잡한 추론 및 계획 작업에서 자체적으로 응답을 개선하는 LLM의 효율성은 여전히 모호합니다. 본 논문에서는 MCTS(Monte Carlo Tree Search)를 LLM과 통합하여 자체 개선 루프를 구축함으로써 추가 주석 없이 LLM의 기능을 향상시키는 LLM의 자체 개선을 위한 AlphaLLM을 소개합니다. AlphaGo의 성공에서 영감을 얻은 AlphaLLM은 데이터 부족, 언어 작업의 광대한 검색 공간, 언어 작업 피드백의 주관적 특성을 포함하여 자기 개선을 위해 MCTS와 LLM을 결합하는 고유한 과제를 해결합니다. AlphaLLM은 신속한 합성 구성요소, 언어 작업에 맞춤화된 효율적인 MCTS 접근 방식, 정확한 피드백을 위한 세 가지 비평 모델로 구성됩니다. 수학적 추론 작업에 대한 실험 결과는 AlphaLLM이 추가 주석 없이 LLM의 성능을 크게 향상시켜 LLM의 자체 개선 가능성을 보여줍니다.
--

이 논문은 대규모 언어 모델(LLM)의 자기 개선을 위한 ALPHALLM 프레임워크를 제안합니다. ALPHALLM은 AlphaGo에서 영감을 받아 Monte Carlo Tree Search (MCTS)와 LLM을 결합하여 데이터 부족, 거대한 탐색 공간, 언어 작업에서의 주관적 피드백 등의 문제를 해결했습니다. 주요 구성 요소는 다음과 같습니다:

1. 상상(Imagination) 컴포넌트 - 새로운 학습 예제로 사용할 프롬프트를 합성
2. ηMCTS - 언어 작업에 특화된 효율적인 탐색 기법  
3. 정확한 피드백을 제공하기 위한 평가(Critic) 모델 - 미래 보상을 예측하는 가치 함수, 노드 품질을 평가하는 프로세스 보상 모델(PRM), 전체 경로를 평가하는 결과 보상 모델(ORM)

수학적 추론 작업에 대한 실험 결과, ALPHALLM은 추가 주석 없이도 LLM의 성능을 크게 향상시킬 수 있음을 보여주었습니다. ηMCTS로 디코딩했을 때는 GPT-4와 견줄만한 성능을 보여, LLM의 자기 개선 가능성을 시사했습니다.

이 연구는 적은 양의 레이블된 데이터로 LLM의 문제 해결 능력을 자기 개선 방식으로 향상시키는 실현 가능한 접근법을 제시하고 있습니다.