말과 몸짓을 함께 해독한 BCI는 두 사람의 제한된 어휘 개념증명입니다

말과 손짓은 두 개의 병렬 출력으로 나타났습니다

사람은 발화뿐 아니라 손과 몸의 움직임으로 뜻을 전달합니다. UCSF 연구진은 이 두 신호를 동시에 읽는 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)를 사람 대상 초기 개념증명으로 시험했습니다. 이 연구의 출력은 생각한 목소리가 아닙니다. 발화 분류 결과는 화면의 텍스트로, 몸짓 분류 결과는 개인화한 전신 아바타의 움직임으로 나타났습니다. 논문

연구진은 세 참가자의 왼쪽 감각운동피질에 253개 전극의 고밀도 피질뇌파검사(electrocorticography, ECoG) 배열을 두고, 입·얼굴과 상지 움직임에 연결된 신호를 지도화했습니다. 아래 그림은 전극 배열과 신호에서 텍스트·아바타 출력으로 이어지는 실험의 개요를 보여 줍니다. 논문

세 명의 지도화와 두 명의 동시 실험을 나눠 읽어야 합니다

운동 지도화에는 세 명이 참여했습니다. 그러나 실제 동시 해독과 전신 아바타 실험에는 Bravo-1r과 Bravo-6 두 명만 참여했습니다. Bravo-1r은 5개 구절과 4개 몸짓, Bravo-6은 10개 구절과 10개 몸짓 조건에서 시험했습니다. 따라서 ‘N=3’은 동시 실시간 성능의 분모가 아닙니다. 논문

발화와 몸짓의 신호는 일부 피질 영역에서 겹쳤습니다. 아래 지도는 그 부분 중첩을 보여 주지만, 말과 손짓이 하나의 공통 회로에서 인과적으로 계획된다는 증거는 아닙니다. 연구진은 병렬 분류기로 두 출력을 구분했습니다. 논문

실시간 정확도는 참가자와 과제에 따라 달랐습니다

Bravo-6의 실시간 따라 하기 과제에서 몸짓 정확도는 66.0%, 발화 정확도는 70.0%였습니다. 대화 과제의 평균 정확도는 몸짓 85%, 발화 75%였습니다. Bravo-1r의 100% 중앙값은 제한된 어휘와 세 개 대화 블록에서 나온 결과입니다. 논문 최고 수치 하나를 전체 시스템의 정확도로 바꾸면, 참가자·과제·평균과 중앙값의 차이가 사라집니다.

아직은 유선·개인별·제한 어휘 시스템입니다

이 BCI는 피부를 통과하는 유선 연결을 사용했고, 각 참가자의 신호로 개인별 모델을 학습했습니다. 어휘와 몸짓 목록도 제한됐습니다. 따라서 이 연구는 양방향 BCI, 무선 가정용 기기, 누구에게나 적용되는 실시간 소통 보조기기를 이미 보여 준 결과가 아닙니다. 논문

연구의 다음 질문은 더 많은 사람, 더 넓은 어휘와 몸짓, 다른 마비 원인, 더 긴 사용 기간에서도 성능이 유지되는지입니다. 무선 완전 이식형 장치는 향후 연구 목표이지, 현재 실험의 성능이 아닙니다.