https://arxiv.org/abs/2405.02793

"백문이 불여일견이다"라는 오랜 속담에도 불구하고 Vision-Language 모델 학습을 위해 정확하고 매우 상세한 이미지 설명을 만드는 것은 여전히 ​​어려운 일입니다. 현재 데이터세트에는 일반적으로 웹에서 스크랩한 짧고 세분화된 설명이 있으며 시각적 콘텐츠와 관련 없는 세부정보가 포함되는 경우가 많습니다. 결과적으로, 그러한 데이터에 대해 훈련된 모델은 누락된 정보, 시각적 불일치 및 환각으로 가득 찬 설명을 생성합니다. 이러한 문제를 해결하기 위해 초상세 이미지 설명과 이 프로세스의 결과로 생성되는 새로운 데이터 세트를 관리하기 위해 신중하게 설계된 Human-In-The-Loop 주석 프레임워크인 ImageInWords(IIW)를 소개합니다. 우리는 가독성, 포괄성, 특이성, 환각 및 인간 유사성을 고려하여 데이터세트의 품질과 미세 조정에 대한 유용성에 초점을 맞춘 평가를 통해 프레임워크를 검증합니다. 우리의 데이터 세트는 최근 출시된 데이터 세트(+66%) 및 GPT-4V 출력(+48%)에 비해 이러한 차원에서 크게 향상되었습니다. 또한 IIW 데이터로 미세 조정된 모델은 동일한 인간 평가 차원에 따른 이전 작업에 비해 31% 더 뛰어납니다. 미세 조정된 모델을 바탕으로 텍스트-이미지 생성 및 비전-언어 추론도 평가합니다. 우리 모델의 설명은 자동화된 지표와 인간의 지표로 판단하여 원본에 가장 가까운 이미지를 생성할 수 있습니다. 또한 우리 모델은 구성적으로 더욱 풍부한 설명을 생성하여 ARO, SVO-Probes 및 Winoground 데이터 세트에서 최상의 기준선보다 최대 6% 뛰어난 성능을 발휘한다는 사실을 발견했습니다.

https://github.com/google/imageinwords

GitHub - google/imageinwords: Data release for the ImageInWords (IIW) paper.

Data release for the ImageInWords (IIW) paper. Contribute to google/imageinwords development by creating an account on GitHub.

github.com