뇌졸중으로 말을 못 하게 된 환자가 뇌에 전극을 심는 ‘뇌·컴퓨터 인터페이스(BCI)’ 기술로 약 20년 만에 말문을 열었다. 말하려는 단어 등은 뇌 신경세포 신호로 읽어내고, 인공지능(AI)을 활용해 환자의 목소리로 발화(發話)하는 방식이다. 생각을 말로 표현하기까지 시간을 대폭 줄여 실시간에 가까운 의사소통이 가능할 전망이다.
미국 버클리 캘리포니아대(UC버클리)와 샌프란시스코 캘리포니아대(UCSF) 공동 연구팀은 뇌의 신호를 읽어낸 뒤 외부 기기를 제어하는 BCI 기술에 AI를 접목해 음성으로 변환하는 장치를 개발했다고 국제 학술지 ‘네이처 신경과학’에 1일 발표했다.
이번 연구에 2023년부터 참여한 47세 여성 ‘앤’은 2005년 뇌간 뇌졸중으로 사지가 마비됐고 말도 할 수 없게 됐다. 연구팀은 앤의 뇌 피질에 전극 253개가 있는 칩을 이식했다. 이후 앤에게 문장을 말하는 생각을 하게 하고, 뇌의 신호를 기록했다. 이 훈련에 사용된 단어는 1024개이고 앤이 말하려 한 문장과 뇌의 신호를 AI가 학습했다. 예컨대 ‘안녕, 잘 지내(Hey, how are you)?’라는 문장을 앤에게 보여주고, 이를 말하려는 앤의 뇌에서 발생하는 신호를 수집, 분석한 것이다.
실험 결과, 앤이 생각한 문장은 0.08초 단위로 음성으로 변환돼 실시간으로 음성 출력기로 전달됐다. 문장이 끝날 때까지 기다리는 것이 아닌 실시간 ‘스트리밍 방식’인 셈이다. 연구팀은 앤이 마비되기 전 결혼식 영상을 토대로 앤의 목소리를 합성해, 실제로 앤이 말하는 것처럼 만들었다. 앤이 사전에 훈련하지 않은 단어도 정상적으로 음성으로 변환하는 데 성공했다. 연구팀은 “기존 연구에선 생각을 해석하는 데 한 문장에 8초가 걸렸다”며 “이번에는 해석 정확도는 유지한 채 1초 내에 소리가 나와 거의 실시간으로 의사소통할 수 있다”고 했다.
UC버클리 연구팀은 “알렉사, 시리 등 음성 비서와 비슷하게 BCI 장치에 빠른 음성 해석 능력을 부여한 것”이라고 했다. 에드워드 창 UCSF 교수는 “이 기술은 언어 마비를 겪는 사람들의 삶을 개선하는 데 엄청난 잠재력이 있다”고 했다.
BCI 기술은 빠르게 상용화되고 있다. 일론 머스크 테슬라 최고경영자(CEO)의 BCI 스타트업 뉴럴링크는 지금까지 환자 3명에게 BCI 기기 ‘텔레파시’를 이식했다. 지난해 1월 첫 이식을 받은 신체 마비 환자 놀런드 아르보(30)는 수술 2개월 뒤 휠체어에 앉아 손발은 그대로 둔 채 노트북의 마우스 커서를 조작해 체스 게임을 하는 데 성공했다. 이 밖에도 미국 기업 싱크론은 호주에서 4명, 미국에서 10명에게 BCI 장치를 이식해 임상 시험을 진행하고 있다.
