건설 현장 사망사고 20%가 '추락'… AI가 안전모 미착용까지 잡아낸다

aimatters · 2025.11.27 11:23:06

건설업은 전 세계적으로 가장 위험한 산업 중 하나로 꼽힌다. 미국 노동통계국에 따르면 2023년 전체 산업재해 사망의 약 5분의 1이 건설 현장에서 발생했으며, 그중 38.5%가 추락 및 미끄러짐 사고였다. 이러한 상황에서 미국 휴스턴대학교 연구진이 대규모 언어모델(LLM)과 비전-언어모델(VLM)을 결합한 멀티모달 AI 프레임워크를 개발해 건설 현장의 안전 위험을 자동으로 탐지하는 연구 결과를 발표했다.

2만 8,000건 OSHA 사고 보고서를 12분 만에 분석하는 AI

해당 논문에 따르면, 이번 연구의 핵심은 텍스트와 이미지 데이터를 동시에 분석하는 멀티모달 접근법이다. 연구진은 미국 산업안전보건청(OSHA) 데이터베이스에서 2000년부터 2025년까지 약 2만 8,000건의 건설 사고 보고서를 수집했다. 이 방대한 데이터를 처리하기 위해 오픈AI(OpenAI)의 GPT-4o-mini 모델을 활용했는데, 100건의 보고서를 처리하는 데 약 12분이 소요되었고 비용은 1달러 수준에 불과했다.

텍스트 분석 파이프라인은 사고 날짜, 발생 장소, 근로자 직업, 부상 정도 등 핵심 정보를 자동으로 추출하고, 사고를 43개 세부 카테고리로 분류한다. 이 분류 체계는 OSHA의 '치명적 4대 사고(Fatal Four)'인 추락, 낙하물 충돌, 끼임, 감전을 포함해 9개 대분류와 43개 소분류로 구성되었다. 수동 검증 결과 GPT-4o-mini의 사고 분류 정확도는 89%에 달했다.

안전모 미착용, AI 눈에는 보인다

연구의 또 다른 축은 비전-언어모델을 활용한 시각적 위험 탐지다. GPT-4o Vision을 사용해 건설 현장 이미지를 분석하고, 단계별 추론(Chain of Thought) 기법을 적용해 위험 요소를 식별한다. AI는 먼저 현장 이미지를 상세히 묘사하고, 가능한 사고 시나리오를 예측한 뒤, 고위험 요소를 필터링하고 최종적으로 바운딩 박스로 위험 위치를 표시한다.

실험에서 AI는 트렌치 작업 중 흔들리는 리프팅 체인을 '낙하물 충돌 위험'으로, 지붕에서 추락 방지 장비 없이 작업하는 근로자를 '추락 위험'으로, 전선을 맨손으로 만지는 장면을 '감전 위험'으로 정확히 식별했다. 이러한 맥락적 추론 능력은 기존의 단순 객체 탐지 모델과 차별화되는 지점이다.

20억 파라미터 오픈소스 모델, 대형 AI와 맞먹는 성능

연구진은 비용 효율성을 검증하기 위해 Molmo 7B와 Qwen2 VL 2B라는 경량 오픈소스 모델도 테스트했다. 이 모델들은 구글 코랩(Google Colab)의 NVIDIA T4 GPU에서 로컬로 실행되어 API 비용이 전혀 들지 않았다.

ConstructionSite-10K 데이터셋을 활용한 개인보호장비(PPE) 준수 여부 탐지 실험에서 놀라운 결과가 나왔다. Qwen2 VL 2B 모델은 10개의 의미적으로 동등한 프롬프트를 앙상블로 사용했을 때 F1 점수 72.6%를 달성했다. 이는 GPT 5-shot(F1 30.2%)이나 LLaVA 13B(F1 19.7%) 같은 기존 대형 모델보다 월등히 높은 수치다. Molmo 7B 역시 프롬프트 앙상블 적용 시 F1 67.2%를 기록했다.

핵심 차이는 프롬프트 설계에 있었다. 기존 연구들이 여러 안전 규칙을 한 번에 평가하는 복잡하고 긴 프롬프트를 사용한 반면, 이번 연구는 단일 규칙에 집중하는 짧고 명확한 프롬프트를 사용했다. 대형 모델은 상세하고 맥락이 풍부한 프롬프트에 더 잘 반응하지만, 소형 모델은 간결하고 초점이 맞춰진 지시에 더 효과적으로 반응한다는 점이 확인되었다.

파인튜닝 없이 현장 적용 가능한 '제로샷' AI 솔루션

이 프레임워크의 가장 큰 장점은 별도의 학습 데이터나 파인튜닝 없이도 즉시 활용 가능하다는 점이다. 기존 AI 기반 안전 관리 시스템은 대규모 라벨링 데이터셋이 필요하고, 현장 조건이 달라지면 재학습이 필요했다. 하지만 프롬프트 기반 접근법은 사전 학습된 범용 모델을 그대로 활용하면서도 건설 안전이라는 특수 영역에서 경쟁력 있는 성능을 보여주었다.

물론 한계도 있다. 텍스트 분석 파이프라인은 비정형 보고서 구조에 민감하게 반응했고, 프롬프트 표현 방식에 따라 결과가 달라지는 경향이 있었다. 또한 이번 연구는 100건의 보고서와 10개의 이미지만으로 검증되어 대규모 현장 적용을 위한 추가 연구가 필요하다.

연구진은 향후 실시간 영상 분석, BIM(빌딩정보모델링) 도구와의 통합, 모바일 안전 점검 도구 개발 등으로 연구를 확장할 계획이다. 건설 현장의 안전 관리자와 연구자들이 복잡한 기술 설정 없이도 AI 기반 위험 분석을 수행할 수 있는 길이 열린 셈이다.

프롬프트 전략이 모델 성능을 좌우한다

연구진은 이번 연구를 통해 프롬프트 전략이 모델 성능에 미치는 영향을 확인했다. 대형 모델은 상세하고 맥락이 풍부한 프롬프트에 더 잘 반응하는 반면, 소형 모델은 짧고 명확하며 초점이 맞춰진 지시문에 더 효과적으로 반응한다. 이는 단순히 모델 크기에 의존하기보다 모델 용량에 맞는 프롬프트 복잡도를 설계하는 것이 중요함을 시사한다.

또한 의미적 프롬프팅(semantic prompting), 즉 의미는 유지하면서 질문을 여러 방식으로 재구성하는 기법이 모델 출력을 안정화하고 표현 변화에 대한 민감도를 줄이는 데 효과적임이 입증되었다. 프롬프트 앙상블과 결합된 이 접근법은 모델 파인튜닝 없이도 일관성과 해석 가능성을 개선할 수 있는 실용적인 방법을 제공한다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 비전-언어모델(VLM)이란 무엇인가요?

A: 비전-언어모델은 이미지와 텍스트를 동시에 이해하고 분석할 수 있는 AI 모델이다. 기존 컴퓨터 비전이 단순히 물체를 인식하는 데 그쳤다면, VLM은 이미지 속 상황을 맥락적으로 해석하고 자연어로 설명할 수 있다. 예를 들어 안전모를 쓰지 않은 근로자를 단순히 탐지하는 것을 넘어, 해당 상황이 왜 위험한지까지 추론할 수 있다.

Q2. 프롬프트 앙상블이란 무엇이고 왜 효과적인가요?

A: 프롬프트 앙상블은 동일한 질문을 여러 가지 다른 표현으로 AI에게 물어본 뒤, 다수결로 최종 답을 결정하는 방법이다. AI 모델은 프롬프트 표현 방식에 민감하게 반응하는 경향이 있어, 단일 프롬프트만 사용하면 정확한 답을 놓칠 수 있다. 여러 프롬프트를 조합하면 이러한 변동성을 줄이고 더 안정적인 결과를 얻을 수 있다.

Q3. 이 기술을 우리 회사 건설 현장에 바로 적용할 수 있나요?

A: 연구진이 개발한 프레임워크는 별도의 파인튜닝 없이 범용 AI 모델과 프롬프트만으로 작동하므로 기술적 진입 장벽이 낮다. 다만 현재 연구는 제한된 데이터로 검증되었으므로, 실제 현장 적용 전에 해당 현장 환경에서의 추가 테스트가 권장된다. 오픈소스 모델을 활용하면 클라우드 API 비용 없이 로컬에서 운영할 수도 있다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Automated Hazard Detection in Construction Sites Using Large Language and Vision-Language Models

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

번호	제목	글쓴이	작성일	조회	추천
설문	2026년 사주나 운세가 제일 궁금한 스타는?	운영자	25/12/29	-	-
1748	구글, 2026년 첫 AI 안경 출시… 화면 없는 모델·인-렌즈 디스플레이 탑재 [20]	aimatters	25.12.10	1649	3
1747	미국 10대 10명 중 6명 'AI 챗봇 쓴다'... 유튜브·틱톡 넘어 새 일상으로	aimatters	25.12.10	71	0
1746	연봉 격차가 AI 격차로... 퍼플렉시티-하버드, AI 에이전트 사용 연구 결과 공개 [2]	aimatters	25.12.10	1566	0
1745	AI가 코드 짰다고 솔직히 말하면 손해볼까?... 깃허브 1만 4천 건 분석 결과는 '의외' [1]	aimatters	25.12.10	87	0
1744	[12월 10일 AI 뉴스 브리핑] 챗GPT, 2025년 한국에서 가장 많이 성장한 앱 1위 외	aimatters	25.12.10	84	0
1743	한국인 10명 중 7명 "AI 써봤다"… 챗GPT 독주 속 '공짜 AI 시대' 열렸다	aimatters	25.12.09	92	0
1742	"내 사진에 AI로 옷 입혀보고 바로 구매"… 구글 패션 앱 '도플' 업데이트	aimatters	25.12.09	107	0
1741	로봇택시·AI 비서 시대 온다지만... 5년 뒤 AI 세상, 결국 부자만 누린다	aimatters	25.12.09	48	1
1740	68만 유튜버 조코딩, 연봉 4천 받고 수익 나누는 '1인 창업가' 채용 나서	aimatters	25.12.09	99	0
1739	박쥐도 싸울 때 말 많아진다... AI가 밝혀낸 동물 언어의 비밀 [5]	aimatters	25.12.09	678	7
1738	오픈AI, 기업 AI 현황 리포트 공개… “AI 사용량 8배 급증, 업무 시간 하루 최대 1시간 절감”	aimatters	25.12.09	64	0
1737	2024년엔 '우려', 2025년엔 '동반자'... 1년 만에 시민 AI 인식 대반전	aimatters	25.12.09	34	0
1736	[12월 9일 AI 뉴스 브리핑] 엘리스그룹-현대차, 제조 현장 이미지 AI 솔루션 개발 외	aimatters	25.12.09	31	0
1735	구글, '나노 바나나 2 플래시' 출시 임박… 더 저렴한 비용에 프로급 성능	aimatters	25.12.08	306	0
1734	챗GPT, 경제학자·투자자 예측 대결서 160명 중 80등... 효율성은 인간 압도	aimatters	25.12.08	85	0
1733	일론 머스크·저크버그 얼굴 달린 로봇 개 영상 화제… 1.5억 가격에도 전 작품 완판 [5]	aimatters	25.12.08	1485	1
1732	[신간] 건강 관리, 취업 준비, 사업 준비까지… AI 일상 활용법 담은 『시켜보니 다 되는 생활밀착형 AI』	aimatters	25.12.08	52	0
1731	"40년 숙제 풀었다"… AI 만난 로봇 손, 드디어 인간처럼 물건 만진다	aimatters	25.12.08	105	0
1730	GPT-5보다 정확하고 2.5배 싸다... 엔비디아, '지휘자 AI' 전략 공개 [5]	aimatters	25.12.08	2728	5
1729	AI가 경제 활동하면 생기는 일… “배달 시켰더니 돈 다 써서 스쿠터만 사고 안 써”	aimatters	25.12.08	68	0
1728	[12월 8일 AI 뉴스 브리핑] 서울AI재단, AI를 '동반자'로 인식하는 시민 37.2% 달해 외	aimatters	25.12.08	44	0
1727	‘~가 뭐야?’ 구글, 2025년 검색 트렌드 발표... “대화형 질문 사상 최대치”	aimatters	25.12.05	56	0
1726	AI 챗봇, 정치 광고보다 4배 효과적... 설득력 높을수록 거짓 정보 증가	aimatters	25.12.05	56	0
1725	앤트로픽 CEO "일부 AI 기업은 욜로 중"… 오픈AI 저격하나	aimatters	25.12.05	57	0
1724	한국, 2026년 AI 기본법으로 '규제 업그레이드'… OECD, 아시아 금융 AI 정책 분석 보고서 공개	aimatters	25.12.05	49	0
1723	“검사 안 해도 돼요” AI 의사 말 믿었다간... 심각한 오류 4건 중 3건이 '진단 누락'	aimatters	25.12.05	98	0
1722	[12월 5일 AI 뉴스 브리핑] 홈쇼핑모아, 2025 올해의 브랜드… 로보락·AHC 등 선정 외	aimatters	25.12.05	126	0
1721	한국 AI 인력 5.7만 명 시대... 한국은행 "고학력·고임금에도 해외 유출 심각"	aimatters	25.12.05	96	0
1720	AWS, 클릭 몇 번으로 맞춤형 AI 모델 만든다... 신규 기능 대거 발표	aimatters	25.12.04	55	0
1719	아마존, AWS 리인벤트 2025서 차세대 AI 칩 ‘트레이니엄3’ 공개	aimatters	25.12.04	59	0
1718	챗GPT, 한국 사용자 2천만 돌파… 한국인 AI 앱 사용 순위 Top 10 공개	aimatters	25.12.04	269	0
1717	챗GPT가 거짓말하면 스스로 자백하게 만든다... 오픈AI, ‘고백’ 시스템 공개 [15]	aimatters	25.12.04	2880	4
1716	AI 에이전트 개발자 96%, 도구 하나로는 부족..."여러 개 섞어 쓰는 게 대세"	aimatters	25.12.04	110	0
1715	NYU 연구진 "병원들이 돈 주고 쓰는 의료 전문 AI, 챗GPT보다 못하다"	aimatters	25.12.04	138	0
1714	[12월 4일 AI 뉴스 브리핑] 트레져러, AI 투자분석 '알파렌즈'로 ‘AI x 소프트웨이브 2025’ 참가 외	aimatters	25.12.04	103	0
1713	런웨이, 차세대 AI 영상 생성 모델 Gen-4.5 공개… 엔비디아와 협업	aimatters	25.12.02	84	0
1712	“영상계의 나노바나나 프로 나왔다”… 클링, 멀티모달 비디오 생성 모델 ‘Kling O1’ 공개 [6]	aimatters	25.12.02	3296	5
1711	엔비디아, 세계 최초 오픈소스 추론 자율주행 모델 공개… "사람처럼 생각하는 자율차"	aimatters	25.12.02	66	0
1710	AI가 쓴 인도 이야기 10편 중 9편이 '가짜 문화'... 음식·의상·축제 모두 틀렸다 [16]	aimatters	25.12.02	1944	4
1709	‘의사’ 역할 맡은 AI, 97%가 자신이 AI인 걸 숨긴다... 금융 상담 땐 정반대 [12]	aimatters	25.12.02	2340	2
1708	[12월 2일 AI 뉴스 브리핑] 세이지, 정부 지원으로 중소사업장에 지능형 CCTV 보급 외	aimatters	25.12.02	47	0
1707	챗GPT가 우리 브랜드 제품 추천하게 만드는 방법	aimatters	25.12.02	149	0
1706	제미나이3 충격파? 오픈AI '코드 레드' 선포... 광고 계획은 뒤로	aimatters	25.12.02	161	0
1705	'아바타' 제임스 카메론 감독 "생성형 AI는 끔찍하다" [24]	aimatters	25.12.01	1421	6
1704	2025년 대표하는 기술 1위는 ‘데이터센터’… NYT "챗GPT는 3위”	aimatters	25.12.01	52	0
1703	[12월 1일 AI 뉴스 브리핑] 리빌더AI, 일본 아식스 등 글로벌 VC로부터 85억 원 투자 유치 외	aimatters	25.12.01	98	0
1702	LLM의 고질병 ‘첫 단어 집착증’ 개선... 알리바바, '뉴립스' 최고 논문상 수상	aimatters	25.12.01	82	0
1701	AI가 쓴 시가 시인이 쓴 시보다 높은 점수... 'AI 작품'이라 알려주니 평가 급락	aimatters	25.12.01	89	0
1700	"정확도 90%?" 도박 중독 막는다던 AI, 실제로는 제대로 작동하는지 아무도 몰라	aimatters	25.12.01	58	0
1699	챗GPT 등장 전으로 인터넷 되돌리는 확장 프로그램 등장 [29]	aimatters	25.11.28	3708	13

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[AI 매터스 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘