무슨 연구인가요
뉴욕대의 데이비드 히거(David J. Heeger) 연구진과 스타트업 텔레패스(Telepath)의 시방 라왓 등은 2026년 9월 3일 arXiv 에 "Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks"를 올렸습니다. 논문 출발점은 뉴런의 기본 성질입니다. 뉴런은 막 시간상수 τ를 가진 누설 적분기처럼 동작해 기억을 얻지만, 그만큼 신호가 늦어집니다. 이런 층을 L개 쌓으면 유효 이완 시간이 대략 Lτ로 늘고, 출력에 도착한 교사 신호가 초기 층에 가르쳐야 할 활동은 이미 Lτ만큼 낡은 것이 됩니다. 논문
연구진은 이를 '전향 부호화(prospective coding)'로 풀었습니다. 정현파로 변조된 전류를 몸체에 넣으면 피질 피라미드 세포가 입력보다 앞선 위상에서 발화한다는 관찰이 근거이고, 망막 신경절세포 집단·소뇌 푸르키녜 세포·사람 근방추 구심 신경에서도 비슷한 앞선 반응이 보고돼 있습니다. 논문 이 성질을 1 + τ·d/dt 라는 연산자로 정리해 각 층의 상향 입력에 붙였습니다. 매개변수가 없는 2탭 갱신이라 순환 전이와 병렬 스캔은 그대로입니다. 논문
무엇을 확인했나요
기반 모델은 히거의 에너지 모델에서 유도한 복소수 시간 필터 '재귀 직교 필터(RQF)'입니다. 대각 상태공간 모델(SSM)의 특수한 경우이며, 각 필터는 학습 가능한 동조 주파수와 대역폭을 가진 대역통과 필터입니다. 논문 시간 방향 역전파를 끊고 층 방향으로만 역전파하는 진단 조건에서 전향 입력의 효과가 가장 컸습니다. MFCC 로 변환한 Speech Commands 과제에서 4층은 92.63% 대 89.04%, 6층은 91.55% 대 76.38%로, 깊어질수록 격차가 0.69, 3.59, 15.17%p 로 벌어졌습니다. 논문
- 전향 입력 RQF
- 비전향 RQF
| 항목 | 전향 입력 RQF | 비전향 RQF |
|---|---|---|
| 4층 | 92.63% | 89.04% |
| 6층 | 91.55% | 76.38% |
출처: Rawat et al., arXiv:2609.04134, 표 1
완전한 시간 역전파(BPTT)에서도 전향 변형은 RQF, S5, ORGaNICs 세 모델의 모든 설정에서 대조군과 같거나 더 나았습니다. 폭 32·6층 RQF 는 3만 1,900개 매개변수로 원시 음성 Speech Commands 96.09%를 냈고, 폭 64·6층 RQF 는 1만 6,384 스텝짜리 Path-X 에서 83.56%(비전향 81.63%)를 기록했습니다. 논문 저자들은 최소 구성의 RQF 가 모든 원시 음성 깊이에서 αP-S5 보다 정확하면서 매개변수는 더 적었다고 적었습니다. 논문
왜 중요한가요
저자들은 층을 건너뛸 때마다 곱해지는 이산화 계수가 O(h/τ)에서 O(1)로 바뀐다는 것을 선형 RQF 에서 증명했고, 부록에서 전향 입력이 초기 층의 가중치 기울기 노름을 실제로 키운 것을 측정했습니다. 논문 뇌가 왜 입력보다 앞서 발화하는 세포를 갖는지에 대한 계산적 이유 하나를 제시한 셈입니다. 코드는 논문에 적힌 GitHub 저장소로 공개 예정이라고 돼 있으나, 작성 시점에 해당 페이지는 열리지 않았습니다. 추정
