'기업 95% AI 도입에 어려움'··· AI 개발·도입은 물론 '전문적 관리 방안'도 필수

IT동아 · 2025.09.05 18:11:54

[IT동아 남시현 기자] MIT 미디어랩 NANDA 이니셔티브가 발표한 ‘생성형 AI 격차:2025년 비즈니스 AI 현황’ 보고서에 따르면 생성형 AI 시범 사업 중 단 5%만이 빠른 수익을 달성했고, 95%는 손익계산서상의 변화가 없었다. 또한 응답자의 80% 이상은 생성형 AI를 사용했어도 기업에서 원하는 EBIT(이자 및 세금 차감 전 이익)을 이끌어내지 못했다. 자사의 생성형 AI 도입 수준을 성숙하다고 평가한 비율은 150명의 기업 리더 중 1%에 불과했다.

연구진은 생성형 AI로 수익을 창출하지 못하는 기업들은 공통적으로 AI 모델의 품질이 부족하기보다는 도구와 조직이 필요한 수준에 미치지 못한 것으로 평가했다. 오픈소스 등이 대두되고 API를 활용하기 쉬워지며 인공지능을 도입하는 것 자체는 과거보다 쉬워졌다. 하지만 모델을 학습해서 배포한 이후 꾸준히 안정적으로 운용하기가 어렵다. 운영할 시스템도 부족하고, 전문적인 지원 조직을 갖춘 곳도 적다.

AI를 성공적으로 도입하기 위해서는 개인정보 보안이나 기존 시스템, 데이터 관리 방안 등 고려해야 할 점이 굉장히 많다 / 출처=제미나이 생성 이미지

게다가 모델 구축 후 데이터 및 기술 노후로 인해 성능이 떨어지는 모델 드리프트 현상으로 인해 장기적으로 도입에 성공하는 기업은 드물다. 보고서는 자체 구축으로 AI 도입에 성공하는 비율은 기업 세 곳 중 한 곳이라 지적했고, 반대로 AI 도구를 전문적으로 운영하는 기업과 파트너십을 맺고 구축한 결과는 성공률이 67%라고 조사했다. AI를 보다 전문적이고 체계적으로 도입해야 한다는 인식이 생겨나는 이유다.

AI, 도구를 도입하는 것에서 운영 관리로 시선 전환

AI 관리의 중요성을 보여주는 사례는 갈수록 늘고 있다. 이스라엘의 농업 기술회사 아그로스카우트는 농업 지역에서 해충과 질병을 조기 감지하는 AI 기반 탐지 시스템을 구축했다.

하지만 각 농장마다 고유한 작물 유형, 날씨, 토양 등의 변수로 인해 단일 인공지능 모델로는 대응하기 어려워지자 기계학습 플랫폼 기업 클리어ML의 힘을 빌었다. 클리어ML이 연구 추적과 클라우드 자산 제어, 개발 주기 전반에 데이터 관리 방법을 도입한 덕분에 데이터의 총량은 100배 늘었고, 실험 시작부터 모델 구축까지 걸리는 시간은 절반으로 줄었다.

엑센츄어는 AI 리파이너리 플랫폼을 통해 기업이 쉽게 AI를 활용하고 도입할 수 있도록 돕는다 / 출처=엑센츄어

전략 컨설팅 기업 액센츄어는 올해 3월, 엔비디아와 함께 ‘AI 리파이너리’ 플랫폼에서 쓸 수 있는 AI 에이전트 제작 도구를 공개했다. 기업이 액센츄어의 AI 에이전트 빌더를 활용해 AI 서비스를 제작하면 추후 시장 변화나 정책 개정에 맞게 AI 에이전트가 수정 및 배포되는 게 특징이다. HPE는 AI 리파이너리의 에이전트 개발 도구를 활용해 프라이빗 클라우드 환경에서 자동화된 AI 에이전트를 구축했고, UN 역시 150개 이상 언어를 지원하는 다국어 에이전트를 개발해 지속가능한 개발 목표 연구에 적용 중이다.

앞서 사례는 AI 구축에 전문 기업의 손길이 닿아야 효과적임을 증명한다. 최근엔 글로벌 시스템 통합(SI) 기업인 인포시스(Infosys), TCS(타타 컨설턴시 서비스)도 MLOps 기반의 매니지드 서비스 사업에 뛰어들어 AI 시스템 통합의 경쟁력을 확보 중이다. 기존의 방식이 AI 서비스를 만들고 제공하는 것에 그쳤다면, 2025년에는 이를 장기적으로 운영 및 관리하고 사용하는데 초점을 맞춘다. 고객이 AI를 장기적으로 활용해야 또 다른 수주로 이어지고, 이를 관리하는데 필요한 비용도 가져갈 수 있어서다.

토마스 로빈슨(Thomas Robinson) 도미너 데이터 랩 최고운영책임자가 UBS의 지분투자와 관련해 설명 중이다 / 출처=뉴욕증권거래소

시장에서도 운영 환경을 노린 전략적 움직임이 늘고 있다. 지난 3월, AI 모델 구축 시 필요한 GPU 인프라를 클라우드 컴퓨팅으로 제공하는 기업 코어위브가 MLOps(기계학습 운영) 플랫폼을 운영하는 웨이츠 앤 바이아시스(Weights & Biases)를 320억 달러(약 44조 4800억 원)에 인수했다. 스위스 은행 UBS도 자사 AI 모델 개발 및 검증 플랫폼 리스크랩(RiskLab)의 운영 관리 역량을 확보하기 위해 도미노 데이터 랩의 지분 일부를 인수했다. 두 기업은 AI 모델 구축을 넘어서 프로젝트 계획, 설계, 구현 및 운영까지 사업 영역을 확장한다.

시스템 통합 기업은 AI 모델 구축을 넘어 운영 및 배포, 관리 방안까지 추진 중이다. AI 구축 관련 기업들도 자사 경쟁력 강화와 운영 관리를 통한 생존력 확보를 위해 기업 인수나 지분 투자, 전략적 협업 관계 등을 확보 중이다. 전 세계적인 AI 운영 시장의 흐름이다.

반 박자 느린 국내 시장, AI 전문 기업 확산 필요해

우리나라 AI 구축 시장 역시 점진적으로 변화하고 있다. 삼성SDS는 자체 AI 플랫폼 ‘브라이틱스 AI’를 통해 AI 데이터 분석 및 시각화 기능을 제공하고, SK AX는 기계학습 기반 데이터 분석 플랫폼 ‘아큐인사이트플러스’로 고객 기업의 빅데이터 수집 및 처리, 분석, 활용을 돕는다. 네이버클라우드와 카카오엔터프라이즈 역시 클라우드 기반의 MLOps 관리로 모델 학습이나 운영 관리, 배포까지 지원한다. AI 시스템 구축을 넘어서 AI 모델을 운영하고 관리하는 단계까지는 이르렀다.

문제는 삼성SDS나 LG CNS 등을 통해 AI를 구축하는 사례는 자금과 데이터가 충분한 대기업들 중심이며, 중소 및 중견 기업들은 AI 도입과 운영 관리의 필요성까지도 공감하면서도 적절한 방안이 많진 않다. 게다가 AI 구축뿐만 아니라 데이터의 효율적인 관리나 보안 방안, AI에 대한 임직원 교육과 내재화까지 전반적인 과정이 미진한 경우가 많아 AI 도입에 실패할 확률이 전반적으로 높은 게 현실이다.

렛서는 AI 도입 및 컨설팅, 스테이엑스를 통한 운영, 에이블 캠퍼스를 통한 AI 내재화 및 교육까지 전 과정을 지원한다 / 출처=렛서

이 가운데 우리나라 스타트업 렛서(Letsur)는 AI의 생존률을 높일 수 있는 접근 방식을 제안한다. 이들은 임직원 대상 AI 실무 교육 서비스 ‘에이블 캠퍼스’와 AI 운영관리 플랫폼 ‘스테이엑스(Staix)’를 통해 AI 학습데이터 구축과 맞춤형 AI 개발 및 관리, AI 인프라까지 통합 지원한다. 기업의 AI 구축을 기본으로 활용 교육, 사후 운영 관리 등 인프라 전반을 제공하는 전략이 렛서의 방식이다.

프로젝트 측면에서는 ▲ 계약서 정보 추출 자동화 ▲ 인공지능 기반 AI CCTV 유지보수 및 개선 설루션 도입 ▲ AI보이스 기반 사내 방송 제작 효율 강화 ▲ 3D 구강 스캔 자동분석 AI 등 기업이 필요로 하는 어떤 조건의 AI든 구축하며, AI 과제 도출 워크숍이나 생성형 AI 이론 및 실습 교육, 직무 맞춤형 AI 교육 등도 추진한다. 이미 국내에 150여 개 기업이 렛서의 고객사다. 프로젝트로는 250건을 돌파했다.

실제 한 제약사에서 영업 사원들의 업무 역량 향상을 위해 렛서에게 AI 구축을 요청한 사례다 / 출처=렛서

최근 국내 대형 제약사 한 곳은 영업 사원 및 SAP ERP(전사적 자원관리) 영업 데이터를 기반으로 AI를 구축하기로 했다. 다만 단순 조회 위주의 기능만 제공돼 전략 수립에 데이터를 추가로 가공하는 과정이 필요해 렛서 지원팀이 이 부분을 재설계하고 AI를 구축했다. 그 결과 기존 ERP 시스템을 연동해 데이터 조회 및 가공, 분석까지 가능한 AI 영업 데이터 챗봇이 완성됐다. 일반적인 AI 구축 과정은 여기서 끝나고 사후 관리나 지원까지 이어지지 않는 경우가 많다.

렛서의 AI 교육 부서 ‘에이블 캠퍼스’가 ‘성공적인 AI 도입을 위한 기업의 핵심 전략’과 관련해 세미나를 개최했을 당시 / 출처=렛서

렛서는 도입 기업의 AI 활성화를 위해 에이블 캠퍼스 팀이 서울 및 지방 교육을 직접 찾아가는 방식을 택했다. 교육 내용은 영업 직원을 대상으로 자연어 질의를 통해 필요한 데이터에 접근하는 방법과 분석 방법 등으로 구성됐다. 이후 1년 간의 협업 기간 동안 서비스 업데이트 및 고도화가 지속 반영됐고, 현재도 운영 중이다. 고객 기업은 영업 데이터 조회 및 분석에 많은 시간을 단축했고, 영업 사원들의 업무 효율성도 향상됐다. 전문가 시각에서 접근한 AI 개발과 플랫폼을 기반으로 체계화된 운영 방식, 그리고 임직원 대상 맞춤형 교육과 내재화가 이뤄진 덕분이다.

규제·보안은 높아질수록, 전문 파트너사 더 중요성 더해

지난 2024년 12월, ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’이 국회를 통과했다. 이 법은 인공지능의 건전한 발전과 신뢰 기반 조성을 위한 기본 사항을 담고 있다. 주요 인공지능은 사람의 생명과 신체 안전, 기본권에 중대한 영향을 미치는 AI 시스템이 해당되며, 거의 모든 AI 관련 서비스에 영향을 미친다. 관련 법 시행은 2026년 1월 22일이며 이때를 기점으로는 전 사업자가 의무적으로 법률을 준수해야 한다.

지난해 12월 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법이 통과했다. 본격 시행은 오는 1월이며 모든 기업이 규제 사항을 준수해야 한다 / 출처=과학기술정보통신부

해당 법에 따라 AI 도입 사업자는 ▲ 생성형 AI로 생성한 결과물임을 고지하는 투명성 확보 의무 ▲위험 식별 및 안전사고 모니터링 대응체계이행 결과를 정부부처에 제출하는 안전성 확보 의무 ▲ 고영향 AI의 위험관리방안 수립 및 운영, 이용자 보호방안 수립, 유인 관리감독 체계 구축 등을 준수해야 한다. 내년부터는 AI 개발, 도입을 넘어서 어떻게 관리감독하고, 이용자 보호 방안과 고지까지 챙겨야 한다. 단순히 AI를 도입하거나 내재화하려 했던 기업이더라도 체계적인 시스템 구축이 필요한 상황이다.

해당 법으로 인한 규제가 AI의 발전과 도입을 저해한다는 시각은 있으나, 그렇지 않으면 개인정보 오용이나 보호수단 부재로 인한 피해는 이용자의 몫이 될 수 있다. 따라서 AI 도입의 완성도와 내재화, 장기적 운영 가능성을 종합적으로 판단하면 AI 전문 운영사의 손을 빌리는 것이 이상적이다. 렛서와 같은 AI 관리 기업들이 앞으로 유망할 수밖에 없는 이유다.

IT동아 남시현 기자 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	순간의 말실수로 이미지 타격이 큰 것 같은 스타는?	운영자	25/09/01	-	-
5796	"스냅드래곤 아닌 엑시노스 2500" 품은 갤럭시 Z 플립 7 게임 실력은?	IT동아	09.05	70	0
5795	[투자를IT다] 2025년 9월 1주차 IT기업 주요 소식과 시장 전망	IT동아	09.05	31	0
	'기업 95% AI 도입에 어려움'··· AI 개발·도입은 물론 '전문적 관리 방안'도 필수	IT동아	09.05	4748	0
5793	사내 유무형 자산 관리·디지털화, '셀파스'가 돕습니다 [서울과기대x글로벌뉴스]	IT동아	09.05	54	0
5792	[민원제로] 6. 핵심성과지표를 분명히 하라	IT동아	09.05	35	0
5791	디노티시아, VLDB 2025서 핵심 논문 공개··· 'VDPU 고유성 명확해져'	IT동아	09.05	59	0
5790	[기고] AI와 미래 산업기술 - 6/완. AI 시대, 산업기술자는 세상을 바꾸는 사람이 된다	IT동아	09.05	34	0
5789	시제 “모노리스·모노로그로 의류 생산 공정 디지털 전환 주도” [서울과기대 x 글로벌 뉴스]	IT동아	09.05	46	0
5788	기술로 지역 농산물 가치를 높이는 농업회사법인 ‘새뜸’ [농업이IT(잇)다]	IT동아	09.05	47	0
5787	미래인테크놀러지 "20여년 HR 노하우, ‘큐피트 HR’에 담았다”[서울과기대 x 글로벌 뉴스]	IT동아	09.04	88	0
5786	마키나락스 어텐션 2025 “산업 현장에는 지식과 경험 겸비한 인공지능 필요해”	IT동아	09.04	5947	0
5785	중소여행사의 디지털 전환, ERP 도입 돕는 '어딩' [서울과기대 x 글로벌 뉴스]	IT동아	09.04	78	0
5784	AI 반도체 해외실증 사업, 일본 진출하는 '더존·퓨리오사AI' 사례 눈길	IT동아	09.04	91	0
5783	이노디테크, AI 덴탈 솔루션으로 글로벌 시장 공략	IT동아	09.04	78	0
5782	스포잇 “스포츠의 가치를 데이터로 말합니다” [서울과기대 x 글로벌 뉴스]	IT동아	09.04	76	0
5781	‘SK AI 데이터센터 울산’ 기공식 개최…“아태 AI 허브 노린다” [1]	IT동아	09.04	5971	1
5780	“온-디바이스 AI부터 개인용 AI 슈퍼컴퓨터까지” AI PC 시장 판도는?	IT동아	09.03	110	0
5779	누코드 “AIoT 임베디드 시스템ㆍ물리 AI 이끄는 소부장 기업으로” [서울과기대 초창패 2025]	IT동아	09.03	164	0
5778	[주간스타트업동향] 두뇌싱긋연구소, 성북어르신 스마트경진대회서 제품 시연 外	IT동아	09.03	107	0
5777	타룬 렐한 HP ACS 총괄 "AI·기술 다 갖춘 한국, 고성능 컴퓨팅 시장의 중심지"	IT동아	09.03	109	0
5776	[ETF Q&A] 파킹형 ETF에는 어떤 종류가 있나요?	IT동아	09.03	5835	1
5775	구글의 AI 이미지 혁신, '나노 바나나' 이모저모 [5]	IT동아	09.02	3253	4
5774	[위클리AI] 엔비디아 젯슨 토르부터 구글 나노바나나까지…전세계 주목	IT동아	09.02	6468	0
5773	펄스애드 “이커머스 통합 광고 플랫폼으로 리테일 미디어 시장 선점” [서울과기대 x 글로벌 뉴스]	IT동아	09.02	128	0
5772	[뉴스줌인] MSI의 '듀얼모드' 지원 게이밍 모니터 출시...주목할 점은?	IT동아	09.01	163	0
5771	[신차공개] 포르쉐 '신형 911 스피릿 70' 최초 공개·BYD '씰' 판매 시작 [1]	IT동아	09.01	2701	0
5770	“K-뷰티, 서울에서 세계로” SBA, 2025 뷰티트레이드쇼 개최	IT동아	09.01	144	0
5769	“정교하고 편리하게” 아르고스, AI 기반 글로벌 신원 인증 통합 솔루션으로 주목 [서울과기대 x 글로벌 뉴스]	IT동아	09.01	142	0
5768	AI가 사람 대신 협상해 최적의 호텔 견적 산출…’리아드코퍼레이션’ [서울과기대 x 글로벌 뉴스]	IT동아	09.01	148	0
5767	국토·건축 데이터 융합 잠재력 보여준 데이터 혁신 경진대회	IT동아	08.29	301	0
5766	제이디솔루션 “청력보조 스피커 하룬제, 난청자에게 듣는 즐거움 줄 것”	IT동아	08.29	296	0
5765	카카오톡 이모티콘 키보드 추천 기능 꼭 필요할까 [4]	IT동아	08.29	9184	3
5764	까미노사이더리 “양구 파치 사과로 지역과 사람을 잇습니다” [농업이 IT(잇)다]	IT동아	08.29	274	0
5763	[스타트업-ing] 세컨드팀 “AI면접관으로 기업 채용 프로세스 개선”	IT동아	08.29	255	0
5762	[퀀텀 스타트업] 10/완. 양자 전쟁시대, 한국의 생존전략은...?	IT동아	08.29	317	0
5761	시그마케이 “AI 기반 컴퓨터비전 기술로 중대재해·침수 막는다” [서울과기대 x 글로벌 뉴스] [1]	IT동아	08.29	2617	0
5760	건축 조감도에 생성AI 접목한 '플랜바이테크놀로지스' [서울과기대 x 글로벌 뉴스]	IT동아	08.28	278	1
5759	[투자를IT다] 2025년 8월 4주차 IT기업 주요 소식과 시장 전망	IT동아	08.28	337	0
5758	아틀로 "감정 나누는 AI 친구 호평, 다음 단계는 로봇 친구” [동국대 캠퍼스타운 2025] [1]	IT동아	08.28	6471	3
5757	플리토, '초개인화' 실시간 통역으로 AI·데이터 시장 모두 잡는다	IT동아	08.28	240	0
5756	파마로보틱스 “주사제 자동 조제 로봇으로 병원 업무 환경 혁신할 것” [SBA x IT동아]	IT동아	08.28	221	0
5755	이노디테크, 닥터덴트AI 시뮬레이션 서비스 출시···3분 만에 치아교정 계획 완성	IT동아	08.28	223	0
5754	서울미디어페어 케데헌 배리어프리 '누구나 차별 없이 미디어 즐기도록'	IT동아	08.28	237	0
5753	포플러플래닛 “맞춤형 AI 언어 교육, 최적의 학습 경로 제시할 것” [동국대 캠퍼스타운 2025]	IT동아	08.28	227	0
5752	SGA솔루션즈 “국산 보안, 제로 트러스트 통합 전략으로 승부”	IT동아	08.28	224	0
5751	신사유람단 "이옷=AI 스타일리스트, 맞춤형 패션 서비스 제공" [서울과기대 x 글로벌 뉴스]	IT동아	08.27	255	0
5750	‘소형차 전용도로’ 달릴 수 있는 차량 살펴보니	IT동아	08.27	221	0
5749	[주간스타트업동향] 칼렛바이오, 2025 공공구매제품 구매상담회 참가 外	IT동아	08.27	210	0
5748	그룹웨어 시장, 코로나 팬데믹 이어 주 4일제로 더 힘 받나?	IT동아	08.27	6335	0
5747	동주, "숨겨진 원석같은 웹툰 작가들, 스피노프로 엮겠다" [SBA x IT동아]	IT동아	08.27	208	0
뉴스	배우 강형석, 생애 첫 시구로 야구 팬들과 특별한 만남! KT 위즈 승리 이끈 시구 “잊지 못할 경험”	디시트렌드	09.05

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

AI, 도구를 도입하는 것에서 운영 관리로 시선 전환

반 박자 느린 국내 시장, AI 전문 기업 확산 필요해

규제·보안은 높아질수록, 전문 파트너사 더 중요성 더해

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘