https://www.techtube.co.kr/news/articleView.html?idxno=4648

말하지 않고도 내면의 목소리를 해독하는 뇌 판독 장치

최첨단 기술로 말하지 않고도 머릿속 생각을 읽을 수 있는 미래는 이미 눈앞에 다가왔다. 캘리포니아 공대 연구팀이 입술을 전혀 움직이지 않고 머릿속으로만 떠올린 마음의 소리를 정확하게 해독하는 데 성공했다고 과학매체 Scientific American이 보도했다.비슷한 기술은 이미 존재하지만, 그것들은 적어도 부분적으로 발성 등을 통해 이뤄진 결과다. 이번 기술은 입을 전혀 움직이지 않고도 마음의 소리를 읽을 수 있다고 한다.아직은 제한된 단어만 읽을 수 있고, 문구나 문장은 아직 불가능하지만, 개별 신경세포의 활동을 실시간으로 기록

www.techtube.co.kr

최첨단 기술로 말하지 않고도 머릿속 생각을 읽을 수 있는 미래는 이미 눈앞에 다가왔다. 캘리포니아 공대 연구팀이 입술을 전혀 움직이지 않고 머릿속으로만 떠올린 마음의 소리를 정확하게 해독하는 데 성공했다고 과학매체 Scientific American이 보도했다.

비슷한 기술은 이미 존재하지만, 그것들은 적어도 부분적으로 발성 등을 통해 이뤄진 결과다. 이번 기술은 입을 전혀 움직이지 않고도 마음의 소리를 읽을 수 있다고 한다.

아직은 제한된 단어만 읽을 수 있고, 문구나 문장은 아직 불가능하지만, 개별 신경세포의 활동을 실시간으로 기록해 머릿속에만 있는 비밀스러운 말을 해독하는 데 성공한 최초의 기술이 될 것이라고 한다.

마음의 소리를 읽으려면 뇌에 전극 어레이(BCI/브레인 컴퓨터 인터페이스)를 이식하고 머릿속에서만 소리를 낼 때 신경세포(뉴런)의 활동을 측정해야 한다. 연구에는 척수 손상 환자 2명이 참여했다.

이러한 기술을 개발하기 위해서는 뇌의 어느 부위에 판독 장치를 설치하면 마음의 소리를 들을 수 있는지를 파악하는 것이 중요하다. 그래서 연구에서는 지금까지 잘 조사되지 않았던 대화와 관련된 영역인 ‘모서리 위이랑(연상회, supramarginal gyrus)’라는 부위에 전극 어레이를 이식했다.

전극 어레이 이식 수술을 마치고 2주 후, 2명의 피 실험자에게 6가지 단어(전장, 카우보이, 비단뱀, 숟가락, 수영, 전화)와 의미 없는 두 개의 가짜 단어(nifzig와 bindip)를 마음속으로만 읽게 하고, 이때의 신경세포 반응을 기록한다. 가짜 단어가 포함된 이유는 단어의 의미 유무에 따라 뇌의 반응이 달라질 수 있기 때문이다.

이렇게 데이터를 수집하고 심독 장치를 훈련시킨 후, 이번에는 피 실험자에게 단어를 상상하게 했을 때 신경세포의 반응을 통해 어떤 단어의 발음을 떠올렸는지 실시간으로 예측한다.

그 결과는 피험자마다 상당히 다른 것으로 나타났다. 한 피험자의 경우, 전극 어레이는 뇌에서 단어에 해당하는 신경 활동을 명확하게 포착해 79%의 정확도로 단어를 읽을 수 있었다. 그러나 다른 피험자의 경우, 판독 정확도는 23%에 불과했다.

이 피험자는 ‘숟가락’과 ‘수영’이라는 두 단어에 강하게 반응했고, 각 단어에 대한 신경세포 반응은 별로 나타나지 않았다. 이것이 읽기 정확도 저하로 이어졌다고 한다.

이는 뇌 내 발음에는 변연계 내 다양한 하위 영역이 관여하며, 그 처리 방식도 여러 가지일 수 있음을 시사한다.

실제로 과거 연구에서도 상상력이나 이런 종류의 기술을 구사하는 능력에 개인차가 있다는 것이 확인됐다.

또한 머릿속으로 목소리를 낼 때 활성화되는 신경세포의 82~85%는 실제로 목소리를 낼 때에도 활성화된다고 한다. 한편, 뇌 내 발성만으로 활성화되는 신경세포나 같은 단어라도 상상의 목소리인지 실제 목소리인지에 따라 반응이 다른 신경세포가 있다는 것도 확인되고 있다.

이러한 기술은 목소리를 잃은 사람들에게 큰 희망이 될 것이다. 세상에는 의식이 있고 눈도 볼 수 있지만, 몸을 전혀 움직이지 못하고 대화도 할 수 없는 사람들(locked-in syndrome)이 있다. 이런 사람들이 다시 의사소통을 할 수 있게 된다면 정말 좋은 일이 될 것이다.

이번 연구는 마음의 소리를 읽는 기술에 큰 진전을 이루었지만, 실용화까지는 아직 갈 길이 멀다.

어쨌든 마음의 소리를 낼 때 뇌에서 무슨 일이 일어나고 어떻게 처리되는지는 잘 알려져 있지 않다. 예를 들어, 뇌가 마음의 소리를 ‘소리’로 표현하는 것인지, ‘의미’로 표현하는 것인지도 확실하지 않다.

또 이번 실험 대상자는 뇌의 대화와 관련된 부분은 전혀 손상되지 않아 말을 할 수 있다는 점을 감안하면, 이 기술이 실제로 목소리를 잃은 사람에게 적용될 수 있을지도 미지수다.

연구팀의 향후 계획은 전극 어레이로 알파벳을 구별할 수 있는지 실험하는 것이라고 한다. 그렇게 할 수 있다면 생각만으로 글자를 철자하는 것도 가능해질지도 모른다.

이번 연구는 ‘Nature Human Behaviour’(2024년 5월 13일자)에 발표됐다.