# 말과 몸짓을 함께 해독한 BCI는 두 사람의 제한된 어휘 개념증명입니다

> UCSF 연구진은 고밀도 ECoG 배열로 말과 몸짓 신호를 병렬 해독해 텍스트와 전신 아바타로 출력했습니다. 운동 지도화에는 세 사람이 참여했지만, 실시간 동시 해독 실험에는 두 사람만 참여했으며 시스템은 개인별 유선 장치였습니다.

- 출처 사이트: 뇌피셜 (https://aifficial.net/brain/posts/ucsf-simultaneous-speech-gesture-bci/)
- 발행: 2026-09-15
- 카테고리: 뇌과학 · 태그: BCI, ECoG, 신경보철, UCSF, 말과 몸짓

## 핵심 답변

UCSF 연구진은 사람의 말과 몸짓 시도를 동시에 읽는 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)를 보고했습니다. 세 참가자는 운동 지도화에 참여했고, 실시간 동시 해독과 아바타 실험에는 두 명이 참여했습니다. 발화 결과는 음성이 아니라 텍스트로, 몸짓 결과는 전신 아바타로 출력됐으며, 개인별 학습이 필요한 유선·제한 어휘 개념증명입니다.

## 한 장 요약(만화)

![Brain 박사가 여섯 컷으로 설명하는 학습만화입니다. 1컷은 사람이 말과 손·몸의 움직임으로 뜻을 전하며 연구진이 두 신호를 동시에 읽는 BCI를 시험했다고 소개합니다. 2컷은 세 참가자의 왼쪽 감각운동피질 위에 253개 전극의 ECoG 배열을 두고 움직임 지도를 만들었다고 설명합니다. 3컷은 동시 해독과 아바타 실험에 두 명이 참여했고 Bravo-1r은 5개 구절·4개 몸짓, Bravo-6은 10개 구절·10개 몸짓으로 시험했으며 발화는 텍스트, 몸짓은 전신 아바타로 표시했다고 말합니다. 4컷은 발화와 몸짓 신호가 일부 겹치지만 병렬 분류기가 구분했고 부분 중첩이 하나의 회로를 증명하지 않는다고 설명합니다. 5컷은 Bravo-6의 실시간 따라 하기 정확도 몸짓 66.0%, 발화 70.0%, 대화 평균 몸짓 85%, 발화 75%, Bravo-1r의 100% 중앙값이 제한된 어휘의 결과라는 점을 보여 줍니다. 6컷은 현재 시스템이 개인별 학습 유선 장치이고 어휘가 제한되어 더 많은 사람과 넓은 어휘, 무선 장치에서 다시 검증해야 한다고 정리합니다.](https://aifficial.net/images/posts/ucsf-simultaneous-speech-gesture-bci/comic_v2.0.0.webp)

## 요약

- 고밀도 피질뇌파검사(electrocorticography, ECoG) 배열은 세 참가자의 왼쪽 감각운동피질에서 253개 전극으로 신호를 기록했습니다.
- 동시 해독과 아바타 실험에는 Bravo-1r과 Bravo-6 두 명이 참여했습니다. 발화는 텍스트로, 몸짓은 전신 아바타 움직임으로 출력했습니다.
- Bravo-6의 실시간 따라 하기 과제에서 몸짓 정확도는 66.0%, 발화 정확도는 70.0%였습니다. 대화 과제 평균은 몸짓 85%, 발화 75%였습니다.
- 피질 신호의 부분 중첩은 관찰됐지만 하나의 공통 회로가 원인임을 증명하지는 않습니다. 현재 장치는 개인별 학습·제한된 어휘·유선 연결이라는 한계를 가집니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 운동 지도화 | N=3 (왼쪽 감각운동피질 위 253개 ECoG 전극) |
| 동시 해독 | N=2 (Bravo-1r과 Bravo-6 · 발화 텍스트·몸짓 전신 아바타) |
| 실시간 따라 하기 | 66.0%·70.0% (Bravo-6 몸짓·발화 정확도) |
| 장치 범위 | 유선·개인별 (제한된 어휘의 초기 개념증명) |


## 말과 손짓은 두 개의 병렬 출력으로 나타났습니다

사람은 발화뿐 아니라 손과 몸의 움직임으로 뜻을 전달합니다. UCSF 연구진은 이 두 신호를 동시에 읽는 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)를 사람 대상 초기 개념증명으로 시험했습니다. 이 연구의 출력은 생각한 목소리가 아닙니다. 발화 분류 결과는 화면의 텍스트로, 몸짓 분류 결과는 개인화한 전신 아바타의 움직임으로 나타났습니다. 

연구진은 세 참가자의 왼쪽 감각운동피질에 253개 전극의 고밀도 피질뇌파검사(electrocorticography, ECoG) 배열을 두고, 입·얼굴과 상지 움직임에 연결된 신호를 지도화했습니다. 아래 그림은 전극 배열과 신호에서 텍스트·아바타 출력으로 이어지는 실험의 개요를 보여 줍니다. 



## 세 명의 지도화와 두 명의 동시 실험을 나눠 읽어야 합니다

운동 지도화에는 세 명이 참여했습니다. 그러나 실제 동시 해독과 전신 아바타 실험에는 Bravo-1r과 Bravo-6 두 명만 참여했습니다. Bravo-1r은 5개 구절과 4개 몸짓, Bravo-6은 10개 구절과 10개 몸짓 조건에서 시험했습니다. 따라서 ‘N=3’은 동시 실시간 성능의 분모가 아닙니다. 

발화와 몸짓의 신호는 일부 피질 영역에서 겹쳤습니다. 아래 지도는 그 부분 중첩을 보여 주지만, 말과 손짓이 하나의 공통 회로에서 인과적으로 계획된다는 증거는 아닙니다. 연구진은 병렬 분류기로 두 출력을 구분했습니다. 





## 실시간 정확도는 참가자와 과제에 따라 달랐습니다

Bravo-6의 실시간 따라 하기 과제에서 몸짓 정확도는 66.0%, 발화 정확도는 70.0%였습니다. 대화 과제의 평균 정확도는 몸짓 85%, 발화 75%였습니다. Bravo-1r의 100% 중앙값은 제한된 어휘와 세 개 대화 블록에서 나온 결과입니다.  최고 수치 하나를 전체 시스템의 정확도로 바꾸면, 참가자·과제·평균과 중앙값의 차이가 사라집니다.



## 아직은 유선·개인별·제한 어휘 시스템입니다

이 BCI는 피부를 통과하는 유선 연결을 사용했고, 각 참가자의 신호로 개인별 모델을 학습했습니다. 어휘와 몸짓 목록도 제한됐습니다. 따라서 이 연구는 양방향 BCI, 무선 가정용 기기, 누구에게나 적용되는 실시간 소통 보조기기를 이미 보여 준 결과가 아닙니다. 

연구의 다음 질문은 더 많은 사람, 더 넓은 어휘와 몸짓, 다른 마비 원인, 더 긴 사용 기간에서도 성능이 유지되는지입니다. 무선 완전 이식형 장치는 향후 연구 목표이지, 현재 실험의 성능이 아닙니다.


<p><strong>저는 이 연구의 흥미가 말과 손짓을 한 화면에 놓았다는 데만 있지 않다고 생각합니다.</strong> 두 신호를 따로 학습한 모델이 동시 시도에서 그대로 일반화되지 않는다는 문제를 실제 사람 자료에서 드러냈기 때문입니다.</p>
<p>다만 두 명의 제한된 어휘 개념증명에서 얻은 결과를 일상 대화의 복원으로 부르기에는 아직 거리가 있습니다. 다음 연구가 사람 수, 과제의 다양성, 유선 장치의 부담을 어떻게 넓혀 가는지 지켜봐야 합니다. 여러분은 이런 BCI가 실생활에 가까워졌다고 판단하려면 어떤 검증이 먼저 필요하다고 생각하십니까? </p>



## 자주 묻는 질문

**Q. 세 사람이 실시간으로 말과 몸짓을 함께 해독했습니까?**

아닙니다. 세 명은 운동 지도화에 참여했지만, 동시 해독과 전신 아바타 실험에는 Bravo-1r과 Bravo-6 두 명만 참여했습니다. Bravo-3은 실시간 동시 실험에서 철회했습니다.

**Q. 이 연구가 생각한 말을 음성으로 합성했습니까?**

아닙니다. 이 연구에서 해독한 발화는 화면의 텍스트로 표시했고, 해독한 몸짓은 개인화한 전신 아바타의 움직임으로 보였습니다. 음성 합성은 이 논문의 출력이 아닙니다.

**Q. 말과 몸짓이 하나의 뇌 회로라는 인과 증거입니까?**

아닙니다. 연구진은 일부 피질 영역에서 부분적으로 겹치는 표현을 관찰하고 병렬 분류기가 두 출력을 구분할 수 있음을 보였습니다. 공통 회로의 인과를 확정한 실험은 아닙니다.

## 출처

1. [Brosler 외, Simultaneous speech and gesture decoding, Nature Neuroscience (2026)](https://doi.org/10.1038/s41593-026-02446-2) (paper)
2. [NIH 연구 발표](https://www.nih.gov/news-events/news-releases/neuroprosthesis-paralysis-enables-simultaneous-speech-body-language) (official)
3. [BRAVO 임상시험 등록(NCT03698149)](https://clinicaltrials.gov/study/NCT03698149) (official)
4. [제한 접근 Zenodo 데이터 기록](https://doi.org/10.5281/zenodo.21829509) (data)

_이 문서는 뇌피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._