- 개인적으로 대단하다고 느꼈던 거임. 그래서 '아닌데?' 라고 생각하면 그게 맞음 -

거창한 걸 이야기하려는 건 아니긴한데.

'그냥 기존에 GPT 앱에서 되던 거 좀 실시간으로 하는 정도만 개선 된 거 아니냐?' 라는 사람들이 좀 있던데 나는 좀 다름.

일단 기존 방식을 이해해야 함.

기존 음성 대화 방식은

STT(speech to text)를 써서, 내가 말한 걸 text로 바꿈.

이 바뀐 text를 우리가 GPT4 쓰듯, 얘한테 입력 시켜줌. 그러면 GPT4는 대답을 하겠지.

그럼 그 대답을 TTS(text to speech)로 읽어줌.

이것도 나름 성능은 괜찮았음. 한국어로 주로 썼었는데, 보통 이런 언어관련 모델들이 한국어는 찬밥 신세인 걸 생각해도 괜찮았음.

다만 딜레이가 좀 있었지.

그리고, 블로그에도 써있지만, 정보 손실이 너무 큼. speech를 text로 바꾸는 과정에서, 목소리 톤, 속도, 감정, 소리 관련된 거의 모든 정보는 소실됨.

근데 이번 발표에서 보여준 건.

겉으로 볼 때는, 위 과정을 그냥 빠르게 한 것 같지만 전혀 다름.

STT -> LLM -> TTS 이게 아니라

그냥 바로 speech -> speech임.

이게 왜 말이 안 된다고 생각하냐면, 위의 방식은 기존에 있는 기술을 그냥 엮으면 사실 되는 거임. 새로 모델 학습할 것도 전혀 없음.

시중 오픈소스 3개 연결시키면 특붕이들도 비슷하고 구리게 다 만들 수 있음.

근데 아래는 전혀 다름.

아예 audio를 새로 학습 시켜야함.

이게 왜 대단하냐면

1.기존 방식도 결국 text를 입력 시키는 거임.

text를 쓰면, text -> LLM -> text 인거고

음성 기능을 써도 speech -> text -> LLM -> text -> speech 인거임.

근데, 쟤네는 지금

text -> LLM -> text 도 하면서

speech -> LLM -> speech 도 할 수 있다는 거잖음? 즉 LLM이 text나 speech나 구별 안 하고 입력 받는다는 건데...........이게 뭐지?

2.어떻게 학습 시켰는 지도 신기함.

단순하게 STT를 안 쓴다고 음성 데이터의 정보가 살아남는 게 아님. 어느정도 라벨링도 중요함.

화난 목소리가 있다고 화난 목소리를 학습해서, 모델한테 화난 목소리 해줘! 라고 말하면 듣는 게 아님.

어떤 목소리에 대해서 '화났다'라는 라벨링이 제대로 되어 있어야함. 더 많은 감정,속도,톤,상황 등이 있다면 그것도 제대로 라벨링이 되어 있어야 알아들음.

기계처럼 말하는 모델에게 '기계처럼 말해줘'를 요청하는 건 쉬움.

노래하듯 말하는 모델에게 '노래하듯 말해줘'를 요구하는 것도 그렇고.

그런데, 이걸 한번에 하는 건.....어떻게 하는 거지?....

SORA가 생각나는 대목인데, 영상 데이터 많은 구글이 왜 영상 생성은 아직 제대로 못 하냐는 말이 있음.

그래서 찌라시로, SORA는 자기들 달리 써서, text -> 달리 -> image -> 언리얼 -> video 로 학습 데이터 만들었다는 얘기가 있음.

이게 AI 깔짝 해본 나한테는 중요하게 와닿는 게. AI가 학습하는 건 라벨링이 중요함.

즉, 영상만 많다고 되는....학습 방식도 있긴 하지만, 그래도 내가 원하는 영상이 있고 그걸 text 적어서 만들어내려면

학습할 때, 영상과 그 영상에 대한 text가 제대로 연결되어 있어야함.

그래서 찌라시 방식은 본인들이 원하는 방식의 정확한 라벨링 데이터를 직접 생성해낼 수 있다는 말이라서 의미가 크다고 봄.

그런 측면에서, openAI가 이번 모델을 학습 시키는데, audio 데이터를 '직접' 생성해내서 학습 시키지 않았을까 하는 생각이 듬.

쥬크박스라는 오디오생성 모델이 있다는 썰이 있으니, 걔한테 text -> 쥬크박스 -> audio 이렇게 해서 수많은 오디오 데이터를 만들고 그걸 학습 시켰다면?

---------------------

내가 이렇게 잘 모르고 글 쓰면, 좀 배운 특붕이 형들이 수정해주긴 하더라. 내가 호들갑 떨고 있는거면 수정해주셈.

(나도 몇일 지나고 더 줏어듣다보면 '아.....그냥 이렇게 하면 되는 거구나...ㅋㅋ....ㅎㅎ....;;; 이럴지도 모르겠는데)

근데 그냥 겉보기로는 '기존 음성 대화 개선한 것 뿐이잖아?' 이건데

이걸 '어떻게' 개선 했는지를 추측해보기 시작하면, 난 좀 말 안 된다고 생각함.

기존 방식 좀 빠르게 한다 수준이 아니잖음. 음성 정보를 살려야 하고, 그 성능이 GPT4급 답변이어야 한다니. 이게 뭐람.

---------------------

근데 내가 호들갑일 수 있는 게, 아예 새롭게 학습한거라면, 이것도 대단한 성과니까 이번 발표 때 말했을 것 같기도 함.

우리는 음성도 입력 받을 수 있게 새로 학습했습니다. 음성 모델로 SORA 같은 혁신을 만들었어요.

뭐 이런걸텐데, 아무 언급도 안 함. 그래서 그냥 기존 음성 대화 기능 많이 개선한 것처럼 발표해버림.

둘 중 하나겠지. 내가 호들갑 떤 방식으로 만든 게 아니라, 그냥 적당히 개선한 거든지.

아니면, 밝힐 필요도 없는 수준인건지.

뭐 모르겠지만, 난 이번 발표가 곱씹어 볼수록 너무 인상적임.

어제 산책하면서 '감정 섞인 오디오를 내뱉는 TTS 모델을 만들려면, 기존 방식은...감정의 특징을, 후처리 하듯 audio에 입히는 건데, 이것보다 아예 입력 자체를 다양하게 라벨링 된 오디오 데이터를 학습해야 하는 거 아닌가.....근데 그거 어떻게 하지. 데이터 구하는 것도 문제고, 스케일이...너무 크네.'

이랬는데 그걸 하루만에 눈으로 봐서 이러는 건지도 모름.

내가 너무 호들갑인가....