https://www.aitimes.com/news/articleView.html?idxno=159122

딥마인드, 미세조정 없이 모델 성능 개선하는 ‘다중샷 상황 내 학습’ 공개

구글 딥마인드 연구진이 대형언어모델(LLM)의 긴 컨텍스트 창을 활용, 복잡한 미세조정 없이 애플리케이션에 맞춰 모델의 성능을 개선하는 학습 기술을 공개했다. 그러나 이에 따른 리소스 문제로, 애플리케이션 탐색이나 프로토타이핑 등 초기 단계에서 LLM 성능을 시험해볼 도구로 유용하다는 평가다.벤처비트는 24일(현지시간) 구글 딥마인드 연구진이 프롬프트에 수백~수천개의 훈련 사례를 적용, 미세조정을 하지 않고 LLM의 성능을 향상시킬 수 있는 ‘다중샷 상황 내 학습(Many-shot In-Context Learning)’에 관한 논문

www.aitimes.com

구글 딥마인드 연구진이 대형언어모델(LLM)의 긴 컨텍스트 창을 활용, 복잡한 미세조정 없이 애플리케이션에 맞춰 모델의 성능을 개선하는 학습 기술을 공개했다. 그러나 이에 따른 리소스 문제로, 애플리케이션 탐색이나 프로토타이핑 등 초기 단계에서 LLM 성능을 시험해볼 도구로 유용하다는 평가다.

벤처비트는 24일(현지시간) 구글 딥마인드 연구진이 프롬프트에 수백~수천개의 훈련 사례를 적용, 미세조정을 하지 않고 LLM의 성능을 향상시킬 수 있는 ‘다중샷 상황 내 학습(Many-shot In-Context Learning)’에 관한 논문을 온라인 아카이브에 게재했다고 전했다.

일반적으로 ‘퓨샷 학습(Few-shot) 학습’이라고도 하는 ‘상황 내 학습(ICL)’을 통해 LLM은 추론 시 제공된 예제를 통해 새로운 작업을 학습할 수 있다. LLM에 해결해야 하는 문제와 함께 문제를 해결하는 몇가지 응답 예제가 포함된 프롬프트를 제공하면, LLM이 예제를 보고 학습하는 방식이다.

미세조정과 달리 ICL은 모델의 매개변수를 변경할 필요가 없기 때문에 사용자가 더 쉽게 사용하고 액세스할 수 있다.

다만 ICL은 모델의 컨텍스트 창에 의해 제한된다. 예를 들어 'GPT-3'에는 약 2000개의 토큰을 지원하는 컨텍스트 창이 있어 프롬프트에 입력할 수 있는 예제 수가 제한된다. 

하지만 최신 모델들은 10만개 이상의 토큰을 지원하는 컨텍스트 창을 제공하며, 특히 구글의 '제미나이 1.5 프로'는 100만개가 넘는 토큰을 지원한다. 이로 인해 각 프롬프트에 수천개의 ICL 예제를 넣을 수 있다. 

연구진은 다중샷 ICL이 수학 문제 해결, 질문 답변, 결과 보상 모델링, 리소스가 부족한 언어 번역, 계획 및 감정 분석 등 여러 문제 영역에서 LLM의 성능에 얼마나 영향을 미치는지 실험했다.

어떤 경우에는 하나의 프롬프트에 최대 8192개의 ICL 예제가 포함됐다. 연구 결과에 따르면 더 많은 예제가 프롬프트에 추가될수록 모델의 성능이 계속 향상되는 것으로 나타났다.

번역 작업에서 다중샷 ICL을 적용한 제미나이 프로는 리소스가이 부족한 쿠르드어와 타밀어에 대해 새로운 최고 성능을 기록했다. 요약 작업에서 다중샷 ICL을 적용한 제미나이 프로가  미세조정된 요약 모델과 동등한 성능을 기록했다. 모든 작업에서 모델 성능은 프롬프트 내의 예제의 수가 수십만개 이상의 토큰으로 확장된 경우에만 최대에 도달했다.

다만 다중샷 ICL은 인간이 대량의 고품질 예제를 생성해야하는 어려움이 있다. 연구진은 이 문제를 해결하기 위해 LLM에 작업에 대한 사고사슬(CoT) 프롬프트를 제공, 모델이 원하는 예제를 생성하게 했다. CoT 프롬프트는 유사한 작업을 해결하기 위한 추론 단계를 프롬프트 앞에 추가, LLM이 원하는 작업을 위한 올바른 예제를 생성하도록 한다. 

연구진은 LLM이 작업 해결에 필요한 지식을 이미 보유하고 있는 경우, 프롬프트에 관련 정보를 추가해 모델이 내부 개념에 더 집중하도록 하는 방법도 도입했다. 문제에 대한 제로샷이나 퓨샷 프롬프트와 함께 해결되지 않은 문제 목록으로 프롬프트를 구성하는 식이다.

연구진은 “CoT 프롬프트를 사용하거나 문제만 사용하면 인간 생성 데이터에 대한 다중샷 ICL의 의존성을 줄일 수 있다는 것을 발견했다”라고 말했다.

특히 일부 전문가들은 LLM의 컨텍스트 창이 커짐에 따라 미세조정 모델이나 검색 증강 생성(RAG)과 같은 다른 기술이 더 이상 필요하지 않다고 지적한다. 모델을 미세조정하거나 복잡한 검색 파이프라인을 생성하는 대신, 작업에 필요한 정보와 학습 예제 및 지침이 포함된 프롬프트를 만들 수 있다는 설명이다.

그러나 현재로서는 다중샷 ICL과 같은 기술을 확장하기 어렵다. 수백개의 예제로 모든 프롬프트를 늘리면, 추론 속도와 비용이 폭발적으로 증가하기 때문이다. 

따라서 다중샷 ICL은 LLM 애플리케이션 프로그램의 탐색 및 프로토타이핑 단계에서 다양한 프롬프트 엔지니어링 기술을 시험해 볼 수 있는 유용한 도구가 될 수 있다는 지적이다.