AI 작곡 시대 개막... 13만 곡 분석했더니 "사람 노래와 구분 불가"

aimatters · 2025.12.11 15:17:23

인도 대학 연구팀이 AI가 만든 음악을 찾아내는 새로운 프로그램을 개발했다. 이 프로그램은 100번 중 92~93번 정도 정확하게 맞출 수 있다. 흥미로운 점은 사람들이 일부 AI 음악을 진짜 사람이 만든 음악보다 더 좋다고 평가했다는 것이다. 이는 AI 음악 제작 기술이 이미 사람이 만든 것과 구분하기 어려운 수준에 도달했다는 뜻이다.

AI가 만든 음악이 사람 음악보다 높은 점수 받아

인도 공과대학교와 마니팔대학교 연구팀이 발표한 논문을 보면, 리퓨전(Riffusion)과 유디오(Udio) 같은 최신 AI 음악 만드는 프로그램으로 만든 곡들이 사람들에게 더 높은 점수를 받았다.

실험 방식은 이렇다. 사람들에게 여러 음악을 들려주고 "어느 쪽이 더 좋은 음악인가요?"라고 물었다. 그리고 체스 실력을 비교할 때 쓰는 점수 매기기 방식으로 계산했다. 결과는 놀라웠다. 리퓨전이 만든 음악은 1105.58점, 유디오가 만든 음악은 1093.34점을 받았다. 그런데 진짜 사람이 만든 음악은 1032.84점밖에 받지 못했다. AI가 만든 음악이 사람이 만든 음악을 이긴 것이다.

연구팀은 이것이 음악 업계에 큰 문제가 될 수 있다고 말한다. 수노(Suno), 유디오 같은 프로그램들은 가사, 노래, 악기 연주를 모두 자동으로 만들어낸다. 더 큰 문제는 기존의 'AI 음악인지 아닌지 찾아내는 프로그램'들이 새로운 AI 제작 프로그램에는 잘 안 맞는다는 것이다. 예를 들어 지금까지 가장 좋다고 알려진 스펙트라(SpecTTTra)라는 프로그램은 리퓨전으로 만든 음악을 겨우 53.46%만 맞췄다. 목소리를 복제한 샘플은 50.94%만 맞췄다.

13만 곡, 6,665시간 분량 자료 만들어... 9개 AI 프로그램 포함

연구팀이 만든 '멜로디 오어 머신(MoM)'이라는 자료는 총 13만 435곡이다. 시간으로 따지면 약 6,665시간 분량이다. 지금까지 나온 것 중에서 가장 다양한 자료다. 이 자료에는 9개의 서로 다른 AI 음악 만드는 프로그램이 포함되어 있다. 수노(v2, v3, v3.5, v4), 유디오(v1.5), 리퓨전, 디프리듬(Diffrhythm), 유에(Yue) 등이다. 공개된 프로그램도 있고 비공개 프로그램도 있다.

자료는 세 종류로 나눈다. 첫 번째는 진짜 음악이다. 유튜브에서 모은 약 4만 8천 곡의 원곡과, 사람이 직접 부른 커버 곡 약 1만 7천 곡, 총 6만 5천여 곡이다. 커버 곡까지 넣은 이유가 있다. 사람이 부르면 목소리나 편곡이 원곡과 달라진다. 판별 프로그램이 이런 자연스러운 차이를 'AI가 만든 것'으로 착각하지 않도록 학습시키기 위해서다.

두 번째는 완전히 AI가 만든 음악이다. 약 5만 4천 곡이다. 연구팀은 AI에게 음악을 만들라고 명령할 때 세 가지 방법을 썼다. 하나는 기존 유명한 곡 제목을 다른 장르로 바꿔서 만들게 하는 것이다. 예를 들어 "발라드 곡을 힙합 스타일로 만들어줘" 같은 식이다. 두 번째는 장르, 분위기, 템포, 악기 같은 음악 요소를 세세하게 지정해서 만들게 하는 것이다. 세 번째는 실제 사람들이 AI 음악 사이트에서 자주 쓰는 명령어를 모아서 쓰는 것이다.

세 번째는 일부만 AI가 만든 음악이다. 약 1만 1천 곡 정도다. 진짜 가사에 AI가 음악을 붙이거나, 유명 가수의 목소리를 AI가 복제해서 다른 노래를 부르게 한 것들이다.

기존 평가 자료인 소닉스(SONICS)는 영어권 남성 목소리 위주였고, 수노와 유디오 두 가지만 사용했다. 하지만 MoM은 여러 언어의 노래를 포함하고, 학습할 때 쓰는 AI 프로그램과 평가할 때 쓰는 AI 프로그램을 다르게 했다. 이렇게 하면 프로그램이 특정 AI의 특징만 외우는 게 아니라 진짜로 구별하는 능력을 배울 수 있다.

클램(CLAM) 모델 개발... 두 가지 방식으로 동시 분석

연구팀이 만든 '클램(CLAM)'이라는 프로그램은 이런 생각에서 시작했다. "AI가 만든 음악은 노래 부분과 악기 부분 사이에 뭔가 어색한 점이 있을 것이다." 진짜 음악 녹음을 생각해보자. 사람 가수가 높은 음을 부르면 목소리 톤도 자연스럽게 변한다. 드럼 연주자가 리듬을 칠 때도 완벽하게 똑같은 박자가 아니라 아주 조금씩 달라진다. 이런 것들이 사람 음악만의 특징이다. 그런데 AI는 이런 걸 완벽하게 흉내내지 못할 수 있다. 노래와 악기를 따로따로 만들어서 합치다 보니 뭔가 미묘하게 안 맞을 수 있다는 것이다.

클램은 이런 '안 맞는 부분'을 찾기 위해 두 가지 방식으로 음악을 동시에 분석한다. 하나는 '머트(MERT)'라는 방식인데, 화음이나 리듬 같은 음악 구조를 주로 본다. 다른 하나는 '웨이브투벡2(Wave2Vec2)'라는 방식인데, 목소리 톤이나 발음 같은 세세한 부분을 주로 본다. 같은 음악을 이 두 가지 방식으로 동시에 분석해서 서로 보완한다.

학습 방법도 특별하다. 일반적인 '진짜냐 가짜냐' 판별 방법에 '비교하며 배우기' 방법을 더했다. 비교하며 배우기는 이렇게 작동한다. 같은 진짜 음악의 '노래 부분 분석 결과'와 '악기 부분 분석 결과'는 서로 가깝게 만든다. 반대로 다른 음악의 분석 결과는 멀리 떨어뜨린다. 이런 식으로 학습하면 프로그램이 진짜 음악에서 노래와 악기가 어떻게 잘 어울리는지를 배운다. 그러면 AI 음악에서 이 어울림이 깨진 부분을 찾아낼 수 있다.

100번 중 92~93번 맞춤... 기존 것보다 6%p 높아

클램은 MoM 자료로 평가했을 때 100번 중 92~93번 정도 맞췄다. 정확히는 92.5%다. 이전에 가장 좋았던 스펙트라는 86.9%였으니까 약 6%포인트 높아진 것이다. 다른 최신 프로그램인 MiO는 87.2%, 포인-하이어넷(Poin-HierNet)은 89.6%였는데, 클램이 이들보다 모두 높다. 통계 검증 결과 이건 우연이 아닌 것으로 나타났다.

비교 실험도 했다. 하나의 분석 방식만 쓰면 어떨까? 머트만 쓰면 85.3%, 웨이브투벡2만 쓰면 84.6%였다. 그런데 두 개를 함께 쓰니까 비교 학습 방법을 안 써도 87.5%가 나왔다. 여기에 비교 학습까지 추가하니까 92.5%로 확 올라갔다. 이걸 보면 두 가지를 함께 쓰는 것과 비교 학습 방법이 모두 효과가 있다는 걸 알 수 있다. 소닉스라는 다른 평가 자료로도 테스트했다. 여기서는 99.3%가 나왔다.

연구팀은 AI 음악 판별 프로그램에 대한 한계도 밝혔다. AI 음악 만드는 기술이 빠르게 발전하기 때문에 어떤 판별 프로그램도 계속 업데이트하지 않으면 소용없게 된다는 것이다. 또한, 연구팀이 만든 프로그램은 자료의 82%가 영어 노래라서 다른 언어 노래에는 어떨지 모르며, 프로그램이 복잡해서 컴퓨터 성능을 많이 요구한다고 강조했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI 음악과 사람 음악을 어떻게 구별하나요?

A: 클램 같은 프로그램은 노래 부분과 악기 부분을 동시에 분석합니다. 진짜 사람 음악은 가수 목소리가 음 높이에 따라 자연스럽게 변하고, 리듬도 완벽한 박자가 아니라 조금씩 다릅니다. 이런 게 사람다운 특징입니다. AI 음악은 이런 자연스러운 불완전함이 부족하거나 패턴이 다릅니다. 하지만 최신 AI는 이것까지 따라하기 시작해서 전문가도 구별하기 어렵습니다.

Q2. AI 음악 기술이 음악 업계에 어떤 영향을 주나요?

A: 좋은 점은 누구나 쉽게 음악을 만들 수 있다는 것입니다. 작곡을 못 해도, 악기를 못 다뤄도 AI가 도와줍니다. 나쁜 점은 저작권 문제, 음악가 일자리 감소, 진짜 예술의 가치 하락입니다. 특히 유명 가수 목소리를 몰래 복제하거나, AI가 만든 걸 사람이 만든 것처럼 속이는 경우 큰 문제가 됩니다. 그래서 음원 사이트의 표시 제도와 법적 규제가 필요합니다.

Q3. 클램 모델은 얼마나 정확한가요?

A: 클램은 100번 중 92~93번 정도 맞춥니다. 정확히는 92.5%입니다. 이전 최고 프로그램인 스펙트라가 86.9%였으니까 약 6%포인트 높아진 것입니다. 특히 기존 프로그램들이 새로운 AI 제작 도구로 만든 음악은 50~68%밖에 못 맞췄는데, 클램은 여러 종류의 AI 제작 도구에 대해 일정하게 높은 정확도를 보였습니다. 다만 AI 기술이 계속 발전하므로 판별 프로그램도 계속 업데이트해야 합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Melody or Machine: Detecting Synthetic Music with Dual-Stream Contrastive Learning

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

번호	제목	글쓴이	작성일	조회	추천
설문	취미 부자여서 결혼 못 할 것 같은 스타는?	운영자	26/01/19	-	-
1949	"AI 도입 고민?"… IBM, 자사가 쓰던 생산성 50% 올린 AI 시스템 공개	aimatters	01.20	844	1
1948	"내 사진이 쬬르디로 변신"… 카카오톡 AI 캐릭터 생성 프로모션 화제	aimatters	01.20	17	0
1947	"2분만에 나를 복제"... AI 아바타가 투자자 질문에 실시간 답변	aimatters	01.20	20	0
1946	대학 연구팀이 만든 AI 채점 방식 바꿨더니 GPT-5 이겼다... 의료 분야 세계 1등 달성 [1]	aimatters	01.20	1083	4
1945	"하야오 보고 있나" 93% 정확도로 사람 움직임 재현하는 AI 등장... 게임·영화 제작 혁명 예고	aimatters	01.20	15	0
1944	딥시크 AI 뜯어보니 다른 버전이 사람처럼 토론하고 있었다... 구글 연구진 "소름"	aimatters	01.20	16	0
1943	이제 챗GPT도 광고 봐야 한다… 오픈AI, 수익화 본격 시동	aimatters	01.19	38	0
1942	"무료의 10배 쓴다"... 월 1만원대 '챗GPT Go', 전세계 출시 [15]	aimatters	01.19	2860	4
1941	퍼플렉시티, 월스트리트 공략 나섰다... '기관투자자용 AI 리서치' 서비스 출시	aimatters	01.19	34	0
1940	속도는 36배, 화질은 그대로… 엔비디아 AI 영상 생성 기술 'TMD' 공개	aimatters	01.19	41	0
1939	오픈AI, 18개월 안에 파산할 수도… “MS나 아마존에 인수될 가능성 커”	aimatters	01.19	89	1
1938	수천만원 드는 AI 성능 평가... 이제 몇백만원으로 해결 가능하다	aimatters	01.19	27	0
1937	챗GPT, 3년 만에 연매출 10배 폭증... 오픈AI CFO "전례 없는 성장"	aimatters	01.19	33	0
1936	생각만으로 챗GPT 쓰는 날 올까… 오픈AI, 뇌와 AI 연결하는 '머지 랩스'에 투자 [2]	aimatters	01.16	1064	1
1935	AI가 만든 광고, 젊은 세대는 싫어한다...기업만 모르는 현실 [37]	aimatters	01.16	2726	8
1934	“AI 시대, 생각하는 일 자체가 자동화될 것… 몸 쓰는 일도 5년 내 자동화”	aimatters	01.16	73	0
1933	일론 머스크, 그록 AI의 성인 이미지 편집 기능 완전 중단	aimatters	01.16	230	0
1932	비즈스프링, AI 플랫폼 유입 트렌드 공개… “AI, 고객 유입의 시작점으로 부상”	aimatters	01.16	30	0
1931	“한국, 클로드 사용량 세계 5위"... 앤트로픽, AI 경제 영향 보고서 공개	aimatters	01.16	68	0
1930	구글 번역 AI 공개, 사진 속 글자까지 번역… 55개 언어 성능 대폭 향상	aimatters	01.16	70	1
1929	[1월 16일 AI 뉴스 브리핑] 티젠소프트, AI 기반 두피·피부 분석 진단 시스템 특허 출원	aimatters	01.16	23	0
1928	카이스트, 우울증 진단하는 AI 시스템 개발… 최대 66% 정확도 [12]	aimatters	01.15	722	1
1927	AI 성적표는 90점, 실제 사용하면 60점"... 토론토대 교수가 밝힌 AI의 함정 [11]	aimatters	01.15	2161	6
1926	알리바바, 스스로 암기·삭제하는 AI 개발... 기존보다 성능 49% 향상 [1]	aimatters	01.15	88	0
1925	앤트로픽, 클로드 코드 무단 사용 전면 차단... "정액제 무제한 시대 끝"	aimatters	01.15	52	0
1924	"챗GPT 답변 기다리는 시간 끝났다"... 오픈AI, 초고속 칩 업체와 손잡았다 [12]	aimatters	01.15	1962	0
1923	애피어, 드림에이지 MMORPG ‘아키텍트’ 론칭 캠페인서 평균 ROAS 140% 달성	aimatters	01.15	28	0
1922	"내 사진·메일 다 뒤져서 답 찾아줘"… 제미나이, 진짜 개인 비서 됐다	aimatters	01.15	83	0
1921	전 구글 X 임원 "AI, 도구 아니라 인간의 주인 될 것" 경고 [1]	aimatters	01.15	131	0
1920	한국AI산업협회, 2026년 주목할 AI 유망기업 100곳 선정	aimatters	01.15	56	0
1919	[1월 15일 AI 뉴스 브리핑] 생성AI스타트업협회, AI 기본법 대응 워터마크 API 무료 공급 외	aimatters	01.15	87	0
1918	'국가대표 AI' 1차 심사서 NC·네이버 탈락… "1개 팀 추가 모집"	aimatters	01.15	48	0
1917	AI 에이전트 마누스, 시밀러웹과 협력... 이제 몇 초 만에 시장 분석 끝	aimatters	01.14	57	0
1916	애플, 월 1만원대 '크리에이터 구독' 출격… AI 편집 기능 대거 탑재	aimatters	01.14	87	0
1914	구글, CT·MRI 읽는 AI 의사 공개… "의사 말 받아쓰기 오류 82% 줄였다"	aimatters	01.14	49	0
1913	이미지 한 장으로 3컷 스토리 완성… 런웨이 '스토리 패널' 기능 공개	aimatters	01.14	39	0
1912	나이·직업·취미 알려줬을 뿐인데… AI가 만든 2년 치 카드 내역 봤더니	aimatters	01.14	1452	2
1911	멀티모달 AI 시장, 10년 후 138조 규모로 폭발적 성장... 연평균 40% 급증	aimatters	01.14	41	0
1910	구글, ‘비오 3.1’ 대규모 업데이트… 숏폼 비율에 4K 해상도 지원	aimatters	01.14	41	0
1909	주식은 열광, 채권은 냉담… BIS, "미국 빅테크들 부채로 몰려간다" 경고	aimatters	01.14	50	0
1908	[1월 14일 AI 뉴스 브리핑] 대원CTS, 10억 펀딩 받은 ‘AI 폼롤러’ 와디즈 론칭 외	aimatters	01.14	27	0
1907	애플, AI 시리에 구글 제미나이 선택... "가장 뛰어난 기술"	aimatters	01.13	57	0
1906	앤트로픽, 일반인용 코딩 AI '코워크' 출시... 일상 업무에 활용 가능	aimatters	01.13	42	0
1905	"회의 끝나자마자 PPT 완성"... 마누스, 대면 회의용 AI 기능 출시	aimatters	01.13	91	0
1904	젠슨 황 "이제 AI 안 쓰면 일자리 뺏긴다" 경고 [33]	aimatters	01.13	2700	13
1903	[신간] "최고의 프롬프트는 '나'"... AI 시대 직업인 생존법 담은 『일을 위한 디자인』	aimatters	01.13	103	0
1902	오픈AI, 오디오 기기 '스위트피' 개발 중… 올해 9월 출시 목표	aimatters	01.13	88	0
1901	AI로 공부하면 머리 나빠진다?... OECD가 밝힌 AI 교육의 명암 [20]	aimatters	01.13	2014	4
1900	2030년 일자리의 운명... 세계경제포럼이 경고한 AI 시대 네 가지 시나리오	aimatters	01.13	90	0
1899	KAIST, 2년 내 치매 발병 가능성 예측하는 AI 개발... "진료기록만 주면 끝"	aimatters	01.13	39	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[AI 매터스 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘