무슨 연구인가요
일본 호쿠리쿠첨단과학기술대학원대학(JAIST) 오카다 쇼고(Shogo Okada) 교수와 박사과정 Hung Le 연구진은 영상에서 봐야 할 순간만 골라 분석하는 AI 모델 EMF-dVAE(Efficient Multimodal Fusion with a discrete Variational Autoencoder)를 개발했습니다. 논문은 2026년 7월 11일 Information Fusion에 온라인 게재됐고, 2027년 1월 1일 137권에 실릴 예정입니다. JAIST는 8월 5일 보도자료를 냈습니다. 공식
출발점은 뇌와 인공신경망의 효율 차이입니다. 보도자료는 뇌가 효율적인 이유 하나로 "가장 관련 있는 정보에만 집중하고 과제에 따라 인지 노력을 배분하는 능력"을 꼽습니다. 반면 기존 AI는 정보가 거의 없는 프레임까지 전부 분석해 계산 비용이 늘고, 때로는 잡음이 섞여 정확도가 떨어집니다. 공식
어떻게 작동하나요
오디오 분석
소리 변화로 볼 가치가 있는 몇 초 구간 식별
시각 구간 선택
선택된 구간만 시각 분석, 나머지 프레임은 무시
멀티모달 융합
시각 특징을 오디오·전사 텍스트와 결합
최종 평가
면접 영상 점수 예측
학습 단계에서 dVAE는 일부가 손상된 시각 데이터를 받는데, 어느 구간을 가릴지는 함께 들어온 오디오로 정합니다. 가려진 시각 정보를 복원하는 과정에서 모델은 과제에 정보가 많은 시각 영역이 어디인지 배웁니다. 추론 단계에서는 가장 중요한 시각 구간만 골라 오디오·언어 정보와 융합합니다. 공식 제1저자 Le는 사람이 대화할 때 상대를 계속 응시하지 않고 "먼저 소리 변화를 알아차린 뒤 중요하다고 느낀 순간에만 시선을 돌린다"고 비유했습니다. 공식
| 항목 | 처리 시간 |
|---|---|
| 기존 방식 | 52초 |
| EMF-dVAE | 18초 |
출처: JAIST 보도자료 (2026-08-05). ETS-Interview 데이터셋 기준
성능은 ETS-Interview 데이터셋으로 검증했습니다. 260명이 찍은 2분짜리 면접 영상 1,891개입니다. 모델은 전체 시각 특징의 15.42%만 쓰고도 최고 수준의 성능을 냈고, 영상당 처리 시간은 52초에서 18초로 약 65% 줄었습니다. 시각 데이터의 85% 가까이를 버렸는데 오히려 더 빠르고 정확해진 것입니다. 연구진은 불필요한 프레임이 정보성 신호를 가리면서 계산 비용만 키우기 때문이라고 설명합니다. 공식
왜 '뇌와 AI'인가요
오카다 교수는 "뇌가 가장 관련 있는 순간에 주의를 집중하듯, 이 AI는 클립마다 분석할 영상 데이터 양을 자동으로 조절한다"고 말했습니다. 그는 영상이 지배적 데이터가 되는 상황에서 "모든 것을 봐야 하는 AI는 경제적으로도 환경적으로도 확장되지 않는다"며, 5~10년 안에 사람처럼 주의를 배분하는 AI가 면접 코치·튜터링·소통 지원 로봇을 일상 기기에서 돌아가게 할 수 있다고 내다봤습니다. 공식 연구비는 JSPS 과학연구비(26K03016), JST CREST(JPMJCR2563), JST CRONOS(JPMJCS24K7)가 지원했습니다. 공식
