1. 음원에서 특정 악기만 분리(Audio Source Separation)해주는 AI

메타에서 만든 Demucs가 이 분야를 개척했고 오픈소스로 개방함

그래서 많은 사람들이 Demucs거 가져다가 적당히 엔지니어링하고 서비스로 개시했는데

우리나라에도 그렇게 개시한 곳이 있음(성능은 아직 애매...)

Gaudio Studio | 가우디오 스튜디오 (gaudiolab.io)

베타라 그런지 성능은 애매하다....

다 써본 건 아닌데 내가 써본 곳 중에선 LALAL이 제일 나은 듯

분할이 완료되었습니다! | LALAL.AI

같은 악기 2대를 하나로 취급해서 뽑는다는 문제가 있긴 함.

피아노 2대를 동시에 쓰고 있는데 1대로 나온다던가

리듬기타와 리드기타를 하나로 취급해서 뽑는다던가...

2. 음원을 MIDI화시켜주는 AI

이 분야는 구글의 비공식 팀인 Magenta가 오픈소스 프로젝트 형태로 개척하는 중

현재 피아노, 드럼용인 ismir2021버전이 있고 일반 악기도 MIDI화하는 mt3모델도 존재함.

단, mt3는 벨로시티 감지가 안된다는 치명적인 단점이 있음.

피치와 벨로시티가 긴밀한 관계가 있다보니 두 개를 따로 학습시키지는 못했나봄.

이 때문에 mt3의 경우, 실제로 쓰기는 어렵다.

반면 ismir2021는 2년 전 버전이긴 하지만 실용성 있는 버전임

AI학습용으로 나온 THE MAESTRO 데이터 셋 덕분에 정확도가 상당히 높다 (그루브가 강조된 곡은 살짝 삑낼 때가 있긴 하지만...)

한 두 곡 정도는 colab에서 바로바로 실험해볼 수 있음

Music Transcription with Transformers - Colaboratory (google.com)

많은 곡을 변환하고 싶다면 직접 코드를 만지거나 따로 사이트를 알아보는 게 좋을 것임.

써보지는 않았지만, 에이블톤의 플러그인으로도 만들어졌다고 하네 (마젠타 스튜디오 2.0)

3. 미디를 악보화하는 프로그램

유서깊은 기술이라 AI보다 알고리즘으로 구현한 게 더 유명하고 정확도도 더 높음

제일 유명한 건 오픈소스 프로젝트인 MuseScore고 이외에도 Sibelius나 Finale가 있다.

MuseScore중에서도 3버전은 커맨드명령어CLI를 지원하기 때문에 대량의 파일을 간단히 처리할 수 있음

단... 여기에도 문제가 있다.

높은음 자리표 음을 낮은음 자리표에 기입한다던지,

8분의 1음표인데 조금 짧게 쳤다고 16분의 1음표 + 쉼표로 기입한다던지 하는 찐빠가 있음

그루비한 곡일 수록 문제가 심각함

이 부분을 해결하려면 음표들을 퀀타이즈하는 프로그램이 또 필요하다...

---

이 모든 것들을 다 해결한다 하더라도 문제가 또 하나 남는데...

사람이 연주할 때는 템포가 제멋대로 변하는데

그 부분을 기호화해서 송폼에 맞게 우겨넣는 프로그램이 없다는 것이다.

이처럼 많은 문제가 있지만

막상 써보면 의외로 실용성이 높다는 걸 느낄 수 있다.

부족한 부분은 사람이 손으로 고치면 되니까