https://arxiv.org/abs/2405.03162

많은 임상 작업에는 의료 이미지 및 유전체학과 같은 특수 데이터에 대한 이해가 필요한데, 이는 일반적으로 범용 대형 멀티모달 모델에서는 찾아볼 수 없는 부분입니다. 유니티는 Gemini의 멀티모달 모델을 기반으로 2D 및 3D 방사선, 조직 병리학, 안과, 피부과, 게놈 데이터에 대한 미세 조정을 통해 의료용으로 최적화된 새로운 Med-Gemini 제품군 내 여러 모델을 개발했습니다. Med-Gemini-2D는 전문가 평가를 기반으로 AI 기반 흉부 엑스레이(CXR) 보고서 생성의 새로운 기준을 제시하며, 두 개의 개별 데이터 세트에서 이전 최고 결과를 1%와 12%라는 절대적인 차이로 뛰어넘어 정상 사례에 대한 AI 보고서의 57%와 96%, 비정상 사례의 43%와 65%가 원래 방사선 전문의의 보고서와 “동등하거나 더 나은” 것으로 평가받았습니다. 전문 방사선사의 보고 품질을 충족하기 위해서는 추가 연구가 필요하지만, Med-Gemini-3D를 사용하여 3D 컴퓨터 단층 촬영(CT) 볼륨에 대한 최초의 대규모 멀티모달 모델 기반 보고서 생성을 시연했으며, AI 보고서의 53%가 임상적으로 수용 가능한 것으로 간주되었습니다. 

보고서 생성 외에도 Med-Gemini-2D는 CXR 시각적 질문 답변(VQA)에서 이전 최고 성능을 능가하며, 20개 작업 중 17개 작업에서 SoTA 또는 기준선을 뛰어넘는 CXR 분류 및 방사선학 VQA에서 우수한 성능을 발휘합니다. 조직 병리학, 안과 및 피부과 이미지 분류에서 Med-Gemini-2D는 20개 작업 중 18개 작업에서 기준선을 능가하며 작업별 모델 성능에 근접합니다. Med-Gemini-Polygenic은 이미징 외에도 질병 위험 예측을 위한 표준 선형 다원성 위험 점수 기반 접근 방식보다 성능이 뛰어나며, 학습된 적이 없는 유전적 상관관계가 있는 질병에도 일반화할 수 있습니다. 안전이 중요한 의료 영역에서는 추가 개발과 평가가 필요하지만, 이번 연구 결과는 광범위한 의료 업무에서 Med-Gemini의 잠재력을 보여줍니다.