# 뇌의 '앞선 발화'를 빌린 순환망, 3.2만 파라미터로 96%

> 뉴욕대 히거 연구진이 피질 뉴런이 입력보다 앞서 발화하는 성질을 깊은 연속시간 순환망에 넣자, 6층 모델의 정확도가 조건에 따라 최대 15%p 올랐습니다.

- 출처 사이트: 뇌피셜 (https://aifficial.net/brain/posts/prospective-coding-deep-recurrent-nets/)
- 발행: 2026-09-05
- 카테고리: 뇌와 AI · 태그: 인공신경망, 순환신경망, 전향 부호화, 프리프린트, 논문

## 핵심 답변

뉴욕대 데이비드 히거 연구진은 뉴런이 입력보다 앞선 위상에서 발화하는 '전향 부호화'를 깊은 연속시간 순환망의 층간 입력에 적용했습니다. 시간 방향 역전파를 끊은 진단 조건에서 6층 모델의 정확도는 76.38%에서 91.55%로 올랐고, 완전한 역전파에서도 전향 변형이 모든 설정에서 대조군과 같거나 더 나았으며 폭 32·6층 RQF는 3만 1,900개 매개변수로 Speech Commands 96.09%를 기록했습니다.

## 요약

- 뉴런을 누설 적분기로 쌓으면 층 수만큼 신호가 늦어지고, 교사 신호가 초기 층에 닿을 때는 이미 낡은 활동을 가르치게 됩니다.
- 피질 피라미드 세포가 입력보다 앞서 발화하는 관찰을 1 + τ·d/dt 연산자로 옮겨, 매개변수 없이 각 층의 상향 입력을 '앞당기는' 2탭 갱신을 붙였습니다.
- 공간 전용 역전파에서 6층 RQF 는 91.55% 대 76.38%로 15.17%p 차이가 났고, 완전한 BPTT 에서도 전향 변형이 모든 모델·설정에서 같거나 더 나았습니다.
- 폭 32·6층 RQF 는 3만 1,900개 매개변수로 원시 음성 Speech Commands 96.09%, 폭 64·6층은 1만 6,384 스텝 Path-X 에서 83.56%를 냈습니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 논문 | arXiv:2609.04134 (2026-09-03 제출, cs.LG·cs.NE·q-bio.NC) |
| 저자 | Shivang Rawat, Mirko Morello, Flaviano Morone, David J. Heeger (Telepath·뉴욕대) |
| 핵심 연산자 | χ_τ = 1 + τ·d/dt (매개변수 없는 2탭 갱신) |
| 공간 전용 역전파, 6층 MFCC | 91.55% 대 76.38% (전향 대 비전향, 15.17%p 차이) |
| 폭 32·6층 RQF | 96.09% (매개변수 3만 1,900개, 원시 음성 Speech Commands) |
| Path-X (16,384 스텝) | 83.56% (폭 64·6층 RQF) |


## 무슨 연구인가요

뉴욕대의 데이비드 히거(David J. Heeger) 연구진과 스타트업 텔레패스(Telepath)의 시방 라왓 등은 2026년 9월 3일 arXiv 에 "Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks"를 올렸습니다.  출발점은 뉴런의 기본 성질입니다. 뉴런은 막 시간상수 τ를 가진 누설 적분기처럼 동작해 기억을 얻지만, 그만큼 신호가 늦어집니다. 이런 층을 L개 쌓으면 유효 이완 시간이 대략 Lτ로 늘고, 출력에 도착한 교사 신호가 초기 층에 가르쳐야 할 활동은 이미 Lτ만큼 낡은 것이 됩니다. 



연구진은 이를 '전향 부호화(prospective coding)'로 풀었습니다. 정현파로 변조된 전류를 몸체에 넣으면 피질 피라미드 세포가 입력보다 앞선 위상에서 발화한다는 관찰이 근거이고, 망막 신경절세포 집단·소뇌 푸르키녜 세포·사람 근방추 구심 신경에서도 비슷한 앞선 반응이 보고돼 있습니다.  이 성질을 1 + τ·d/dt 라는 연산자로 정리해 각 층의 상향 입력에 붙였습니다. 매개변수가 없는 2탭 갱신이라 순환 전이와 병렬 스캔은 그대로입니다. 

## 무엇을 확인했나요

기반 모델은 히거의 에너지 모델에서 유도한 복소수 시간 필터 '재귀 직교 필터(RQF)'입니다. 대각 상태공간 모델(SSM)의 특수한 경우이며, 각 필터는 학습 가능한 동조 주파수와 대역폭을 가진 대역통과 필터입니다.  시간 방향 역전파를 끊고 층 방향으로만 역전파하는 진단 조건에서 전향 입력의 효과가 가장 컸습니다. MFCC 로 변환한 Speech Commands 과제에서 4층은 92.63% 대 89.04%, 6층은 91.55% 대 76.38%로, 깊어질수록 격차가 0.69, 3.59, 15.17%p 로 벌어졌습니다. 



완전한 시간 역전파(BPTT)에서도 전향 변형은 RQF, S5, ORGaNICs 세 모델의 모든 설정에서 대조군과 같거나 더 나았습니다. 폭 32·6층 RQF 는 3만 1,900개 매개변수로 원시 음성 Speech Commands 96.09%를 냈고, 폭 64·6층 RQF 는 1만 6,384 스텝짜리 Path-X 에서 83.56%(비전향 81.63%)를 기록했습니다.  저자들은 최소 구성의 RQF 가 모든 원시 음성 깊이에서 αP-S5 보다 정확하면서 매개변수는 더 적었다고 적었습니다. 

## 왜 중요한가요

저자들은 층을 건너뛸 때마다 곱해지는 이산화 계수가 O(h/τ)에서 O(1)로 바뀐다는 것을 선형 RQF 에서 증명했고, 부록에서 전향 입력이 초기 층의 가중치 기울기 노름을 실제로 키운 것을 측정했습니다.  뇌가 왜 입력보다 앞서 발화하는 세포를 갖는지에 대한 계산적 이유 하나를 제시한 셈입니다. 코드는 논문에 적힌 GitHub 저장소로 공개 예정이라고 돼 있으나, 작성 시점에 해당 페이지는 열리지 않았습니다. 



- 이산 시간 게이트 RNN 인 LSTM·GRU 에는 직접 적용되지 않습니다. 연산자가 연속시간 궤적과 내재적 시간상수를 전제로 하기 때문입니다. 
- 증명은 선형 RQF 를 공간 전용 역전파 조건에서 분리한 것이며, 비선형 활성화·잔차 연결·정규화 층·입력 의존 매개변수는 경험적 이득의 크기를 바꿀 수 있습니다. 
- 공간 전용 역전파는 진단용일 뿐 권장 학습법이 아니며, 저자들은 전체 학습 절차가 생물학적으로 타당하다고 주장하지 않았고 성능 극대화도 시도하지 않았습니다. 





이 논문의 매력은 '뇌를 흉내 내니 성능이 올랐다'가 아니라, 왜 뉴런이 앞서 발화하는지에 대한 공학적 설명을 거꾸로 제공한다는 데 있습니다. 깊은 회로에서 늦어지는 신호를 보정하려면 변화율을 미리 더해 보내는 것이 가장 싼 방법이고, 뇌는 그것을 이미 하고 있다는 해석입니다. 다만 결정적 이득은 시간 역전파를 끊은 인위적 조건에서 나왔으므로, 완전한 학습에서의 0.2~0.5%p 차이가 실무적으로 얼마나 의미 있는지는 더 큰 벤치마크에서 확인돼야 합니다.




## 자주 묻는 질문

**Q. 전향 부호화란 무엇인가요?**

정현파로 변조된 전류를 넣으면 피질 피라미드 세포가 입력보다 앞선 위상에서 발화한다는 관찰에서 나온 개념입니다. 논문은 이를 1 + τ·d/dt 라는 연산자로 정리해, 현재 값에 변화율을 더한 값을 다음 층에 넘기는 방식으로 구현했습니다.

**Q. RQF 는 무엇인가요?**

히거의 에너지 모델에서 유도한 복소수 시간 필터로, 대각 상태공간 모델의 특수한 경우입니다. 각 필터는 학습 가능한 동조 주파수와 대역폭을 가진 대역통과 필터이며, 논문은 이를 매개변수 효율이 높은 순환 기반 구조로 제안했습니다.

**Q. LSTM 에도 쓸 수 있나요?**

저자들은 직접 적용되지 않는다고 밝혔습니다. 이 연산자는 연속시간 궤적과 내재적 적분 시간상수 τ를 전제로 하는데, LSTM·GRU 는 단계별 대수적 갱신식으로 정의되기 때문입니다.

## 출처

1. [Rawat et al., Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks, arXiv:2609.04134 (2026)](https://arxiv.org/abs/2609.04134) (paper)
2. [같은 논문 HTML 전문 (표 1~5, 부록 D.2)](https://arxiv.org/html/2609.04134) (paper)
3. [arXiv q-bio.NC 신규 목록 (2026-09-04)](https://arxiv.org/list/q-bio.NC/recent) (other)

_이 문서는 뇌피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._