https://arxiv.org/abs/2405.01886

의료 및 의학 분야에서 LLM(대형 언어 모델)의 기능이 계속해서 발전함에 따라 대중의 이익을 보호할 수 있는 경쟁력 있는 오픈 소스 모델에 대한 필요성이 커지고 있습니다. 경쟁이 치열한 개방형 기본 모델의 가용성이 증가함에 따라 지속적인 사전 교육의 영향이 점점 더 불확실해졌습니다. 이 작업에서는 현재 개방형 모델을 개선하기 위한 수단으로 지시 조정, 모델 병합, 정렬, 레드 팀 구성 및 고급 추론 체계의 역할을 탐구합니다. 이를 위해 규모 범위 내에서 경쟁력이 높은 개방형 의료 LLM 세트인 Aloe 제품군을 소개합니다. 알로에 모델은 합성 CoT(Chain of Thought)로 개선된 공개 데이터 소스를 결합한 새로운 사용자 정의 데이터 세트를 사용하여 현재 최고의 기본 모델(Mistral, LLaMA 3)에서 훈련됩니다. 알로에 모델은 정렬 단계를 거쳐 직접 선호도 최적화를 사용하는 최초의 몇 가지 정책 조정 개방형 의료 LLM 중 하나가 되어 의료 LLM의 윤리적 성과에 대한 새로운 표준을 설정합니다. 모델 평가는 다양한 편견 및 독성 데이터 세트, 전담 레드팀 구성 노력, 의료 LLM에 꼭 필요한 위험 평가를 포함하도록 확장됩니다. 마지막으로 추론에서 현재 LLM의 한계를 탐색하기 위해 벤치마크 전반에 걸쳐 성능을 향상시키고 이 규모에서 전례 없는 개방형 의료 7B LLM에 대한 최첨단 결과를 산출하는 몇 가지 고급 프롬프트 엔지니어링 전략을 연구합니다.