# 소리로 볼 순간을 고르는 AI, 영상 분석 52초를 18초로 줄였다

> JAIST 오카다 연구진의 EMF-dVAE는 오디오로 봐야 할 구간을 고른 뒤 시각 특징의 15.42%만 써서 면접 영상 1,891개에서 최고 수준 성능을 냈습니다. 사람의 선택적 주의를 본뜬 설계입니다.

- 출처 사이트: 뇌피셜 (https://aifficial.net/brain/posts/audio-guided-visual-attention-ai/)
- 발행: 2026-09-07
- 카테고리: 뇌와 AI · 태그: 뇌와 AI, 선택적 주의, 멀티모달, 효율, 논문

## 핵심 답변

일본 JAIST 오카다 쇼고 교수와 박사과정 Hung Le 연구진이 Information Fusion에 발표한 EMF-dVAE는 사람이 대화 중 소리 변화를 먼저 알아차린 뒤 중요한 순간에만 시선을 돌리는 방식을 본떠, 오디오로 분석할 영상 구간을 고르고 나머지는 버립니다. 면접 영상 1,891개 데이터셋에서 시각 특징의 15.42%만 쓰고 최고 수준 성능을 냈고, 2분 영상당 처리 시간을 52초에서 18초로 약 65% 줄였습니다.

## 요약

- 학습 때 오디오로 가릴 시각 구간을 정하고 복원하게 해, 모델이 과제에 정보가 많은 시각 영역을 스스로 배웁니다.
- 추론 때는 중요한 시각 구간만 골라 오디오·전사 텍스트와 융합합니다.
- ETS-Interview(260명, 2분 영상 1,891개)에서 시각 특징 15.42%만 쓰고 최고 수준 성능, 처리 시간 52초에서 18초.
- 논문은 2026년 7월 11일 온라인 게재, 2027년 1월 1일 Information Fusion 137권 수록 예정입니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 보도자료 | 2026-08-05 (JAIST. 논문 온라인 게재 2026-07-11, DOI 10.1016/j.inffus.2026.104613) |
| 연구진 | JAIST 오카다 쇼고 연구실 (제1저자 Hung Le, 공저자 Hung-Hsuan Huang, Candy Olivia Mawalim, Chee Wee Leong) |
| 모델 | EMF-dVAE (이산 변분 오토인코더 + 멀티모달 융합 네트워크) |
| 데이터셋 | ETS-Interview (260명, 2분 면접 영상 1,891개) |
| 시각 특징 사용률 | 15.42% (약 85%는 버림) |
| 처리 시간 | 52초에서 18초 (2분 영상 1편 기준, 약 65% 단축) |


## 무슨 연구인가요

일본 호쿠리쿠첨단과학기술대학원대학(JAIST) 오카다 쇼고(Shogo Okada) 교수와 박사과정 Hung Le 연구진은 영상에서 봐야 할 순간만 골라 분석하는 AI 모델 EMF-dVAE(Efficient Multimodal Fusion with a discrete Variational Autoencoder)를 개발했습니다. 논문은 2026년 7월 11일 Information Fusion에 온라인 게재됐고, 2027년 1월 1일 137권에 실릴 예정입니다. JAIST는 8월 5일 보도자료를 냈습니다. 

출발점은 뇌와 인공신경망의 효율 차이입니다. 보도자료는 뇌가 효율적인 이유 하나로 "가장 관련 있는 정보에만 집중하고 과제에 따라 인지 노력을 배분하는 능력"을 꼽습니다. 반면 기존 AI는 정보가 거의 없는 프레임까지 전부 분석해 계산 비용이 늘고, 때로는 잡음이 섞여 정확도가 떨어집니다. 



## 어떻게 작동하나요



학습 단계에서 dVAE는 일부가 손상된 시각 데이터를 받는데, 어느 구간을 가릴지는 함께 들어온 오디오로 정합니다. 가려진 시각 정보를 복원하는 과정에서 모델은 과제에 정보가 많은 시각 영역이 어디인지 배웁니다. 추론 단계에서는 가장 중요한 시각 구간만 골라 오디오·언어 정보와 융합합니다.  제1저자 Le는 사람이 대화할 때 상대를 계속 응시하지 않고 "먼저 소리 변화를 알아차린 뒤 중요하다고 느낀 순간에만 시선을 돌린다"고 비유했습니다. 



성능은 ETS-Interview 데이터셋으로 검증했습니다. 260명이 찍은 2분짜리 면접 영상 1,891개입니다. 모델은 전체 시각 특징의 15.42%만 쓰고도 최고 수준의 성능을 냈고, 영상당 처리 시간은 52초에서 18초로 약 65% 줄었습니다. 시각 데이터의 85% 가까이를 버렸는데 오히려 더 빠르고 정확해진 것입니다. 연구진은 불필요한 프레임이 정보성 신호를 가리면서 계산 비용만 키우기 때문이라고 설명합니다. 

## 왜 '뇌와 AI'인가요

오카다 교수는 "뇌가 가장 관련 있는 순간에 주의를 집중하듯, 이 AI는 클립마다 분석할 영상 데이터 양을 자동으로 조절한다"고 말했습니다. 그는 영상이 지배적 데이터가 되는 상황에서 "모든 것을 봐야 하는 AI는 경제적으로도 환경적으로도 확장되지 않는다"며, 5~10년 안에 사람처럼 주의를 배분하는 AI가 면접 코치·튜터링·소통 지원 로봇을 일상 기기에서 돌아가게 할 수 있다고 내다봤습니다.  연구비는 JSPS 과학연구비(26K03016), JST CREST(JPMJCR2563), JST CRONOS(JPMJCS24K7)가 지원했습니다. 




- 보도자료는 "최고 수준 성능"이라고만 밝히고 정확도 수치는 적지 않았습니다. 논문 본문을 확인하기 전에는 개선 폭을 알 수 없습니다. 
- 검증은 면접 영상 한 종류의 데이터셋에서만 이뤄졌습니다. 소리가 시각 정보의 단서가 되지 않는 영상에는 같은 방식이 통하지 않을 수 있습니다. 
- '뇌 영감'은 설계의 비유이지 신경과학 데이터를 학습한 것은 아닙니다. 사람의 주의 배분 기전을 검증한 연구로 읽으면 안 됩니다. 



이 연구에서 뇌과학이 준 것은 데이터가 아니라 질문입니다. "왜 우리는 모든 것을 보지 않고도 잘 알아듣는가"라는 물음이 곧바로 '무엇을 버릴지 먼저 정하는' 설계로 옮겨졌습니다. 최근 AI의 성능 경쟁이 더 많이 보고 더 많이 계산하는 쪽으로 기울어 있는 것을 생각하면, 85%를 버리고도 더 정확해졌다는 결과는 방향 자체를 되묻게 합니다. 다만 면접 영상은 소리와 표정이 함께 움직이는 특수한 장면입니다. 소리가 단서가 되지 않는 세계에서 '어디를 볼지'를 무엇으로 고를지는 다음 숙제입니다.



## 자주 묻는 질문

**Q. 정확도는 얼마나 올랐나요?**

보도자료는 '최고 수준(state-of-the-art) 성능'이라고만 밝히고 구체적 수치는 적지 않았습니다. 불필요한 프레임이 잡음으로 작용하던 것을 제거해 더 빠르면서 더 정확해졌다는 설명입니다.

**Q. 왜 소리로 고르나요?**

제1저자 Le는 사람이 대화할 때 상대를 계속 응시하지 않고 소리 변화를 먼저 알아차린 뒤 중요한 순간에만 시선을 돌린다고 설명합니다. 모델도 오디오를 먼저 분석해 볼 가치가 있는 몇 초 구간을 고릅니다.

**Q. 어디에 쓰이나요?**

연구진은 면접 코치, 소통 훈련 도구, 튜터링 시스템, 소통 지원 로봇처럼 영상을 실시간으로 평가해야 하는 응용을 일상 기기에서 돌릴 수 있게 되기를 기대합니다.

## 출처

1. [AI Learns to Focus Like Humans to Speed Up Video Analysis (JAIST 보도자료, 2026-08-05)](https://www.jaist.ac.jp/english/whatsnew/press/2026/08/10-1.html) (official)
2. [Audio-guided visual selection for efficient multimodal fusion via a discrete variational autoencoder (Information Fusion, DOI)](https://doi.org/10.1016/j.inffus.2026.104613) (paper)
3. [Brain-Inspired AI Cuts Video Processing Time (Neuroscience News, 2026-08-05)](https://neurosciencenews.com/ai-visual-processing-video-neurotech-31184/) (report)

_이 문서는 뇌피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._