AI가 컴퓨터를 쓰는 방식이 사람 뇌와 정말 비슷한가요?

입구가 같습니다. 둘 다 프로그램 내부를 모른 채 화면 픽셀만 보고 어디를 누를지 정합니다. 다만 사람은 이 변환을 등쪽 시각 경로에서 100밀리초 안팎에 무의식으로 처리하고, 에이전트는 화면을 읽고 다음 행동을 고르는 일을 매번 추론으로 되풀이합니다.

벤치마크 점수가 낮은데 왜 시연은 잘 되나요?

시연은 사람이 지켜보며 한 번에 한 가지를 시키는 상황이고, 벤치마크는 사람이 끼어들지 않는 상태로 수십에서 수백 단계를 잇습니다. OSWorld 2.0 저자들은 에이전트가 제약을 잊고, 중간에 도착한 정보를 놓치고, 묻는 대신 추측하고, 검증을 건너뛴다고 적었습니다.

그래서 지금 이 기술을 어디에 쓰면 되나요?

연동 규격이 있는 일은 그쪽이 더 빠르고 안정적입니다. 화면에만 남아 있는 단계, 예컨대 API를 열어 두지 않은 앱의 설정 화면이나 지표 화면을 다룰 때가 남는 자리이고, 결과는 사람이 확인해야 합니다.

AI가 마우스를 잡았습니다, 뇌는 80밀리초에 하는 일

GPT-6 Astra가 연동 없이 화면만 보고 컴퓨터를 조작합니다. 사람 뇌는 목표가 튄 지 80~120밀리초에 팔 궤도를 고치는데, 에이전트는 긴 작업에서 아직 20.6%입니다.

뇌피셜 편집부2026년 9월 8일· 2분 읽기원문 보기 ↗

왼쪽에는 사람 머리의 단면과 뇌 뒤쪽에서 위쪽을 지나 앞으로 이어지는 빛나는 경로가, 오른쪽에는 컴퓨터 모니터 화면에서 버튼을 향해 곡선을 그리며 날아가는 커서가 그려진 일러스트. 두 선이 화면 가운데에서 하나로 이어집니다 — 사진: AI 생성 이미지 (gpt-image-2)

TL;DR요약

OpenAI가 9월 3일 내놓은 GPT-6 Astra는 API나 연동 규격 없이 화면을 보고 마우스·키보드를 움직여 컴퓨터를 조작합니다. 사람 뇌는 같은 종류의 일을 등쪽 시각 경로로 처리해 목표가 움직인 지 80~120밀리초 만에 팔 궤도를 고치는 반면, 에이전트는 여러 단계가 이어지는 실무 작업에서 최고 20.6%를 맞히는 데 그칩니다.

Astra는 연동 규격이 없는 앱과 사이트도 사람과 같은 화면·같은 커서로 다룹니다. 9월 7일 시연에서 영상 편집기와 아이폰 미러링까지 다뤘습니다.
사람의 팔은 목표가 튄 지 80~120밀리초에 근육이 먼저 반응하고 130밀리초부터 의도가 얹힙니다. 20명을 잰 iScience 연구 결과입니다.
그 수정을 맡는 자리는 나뉘어 있습니다. 두정엽 hV6A를 자기 자극으로 흔들면 눈으로 본 이동만, hPEc를 흔들면 팔이 밀린 감각만 고치지 못했습니다.
화면에서 누를 자리를 짚는 능력은 전문가용 소프트웨어에서 18.9%(ScreenSpot-Pro 발표 시점)였고, 108개 장기 과제에서는 최고 모델이 20.6%입니다.

핵심 사실

GPT-6 Astra 롤아웃: 2026-09-03컴퓨터 사용을 전면에 내세움
사람의 궤도 수정: 80~120밀리초목표 이동 뒤 근육 반응(EVR), 20명
자기 자극 실험: 30명hV6A는 시각, hPEc는 고유수용 수정만 방해
OSWorld 첫 발표: 사람 72.36% / 모델 12.24%369개 과제, 2024-04
OSWorld 2.0: 20.6%108개 장기 과제, 사람은 중앙값 1.6시간
장기 과제 도구 호출: 평균 318회OSWorld 1.0은 약 30회

연동 없이 화면만 봅니다

OpenAI는 9월 3일 GPT-6 Astra 롤아웃을 시작하며 컴퓨터 사용을 앞세웠습니다. 공지에는 "컴퓨터로 할 수 있는 일은 Astra가 대신 해 준다"고 적혔고, 직업별 컴퓨터 작업을 재는 Agents' Last Exam·AutomationBench·ScreenSpot Pro에서 최고 성적이라고 밝혔습니다. 점수는 공개하지 않았습니다. 공식

9월 7일 올라온 시연이 그 모습을 보여 줍니다. Jack Roberts는 연동 규격이 없는 사이트에서 자료 모으기, Premiere Pro를 열어 5초짜리 B-roll을 타임라인에 끼우기, 자기 앱의 내려받기 과정을 처음 온 사람처럼 밟기, 운영 중인 사이트에 이미지 넣기, 아이폰 미러링으로 인스타그램 지표 읽기를 시켰습니다. 보도

화면 왼쪽에 에이전트의 진행 기록이, 오른쪽에 웹사이트가 열려 있고 커서가 화면 위에 떠 있는 모습 — '첫 마찰 지점은 무료 내려받기 버튼이 파일 대신 계정 생성 화면을 연다는 것'이라는 보고입니다.· 사진: 영상 화면 (Jack Roberts)

Premiere Pro 편집 화면. 타임라인에 영상과 오디오 클립이 올라가 있고 커서가 재생 막대 위에 있습니다 — 편집기를 사람처럼 열어 클립을 끼워 넣습니다. 주고받는 규격 없이 화면과 커서만 씁니다.· 사진: 영상 화면 (Jack Roberts)

사람은 이 변환을 80밀리초에 합니다

사람도 프로그램 속을 모른 채 화면과 손만으로 컴퓨터를 씁니다. 픽셀을 보고 어디로 손을 옮길지 정하는 이 변환은 뒤통수에서 정수리 쪽으로 올라가는 등쪽 시각 경로, 그중에서도 두정엽이 맡습니다. 논문

근전도 전극을 붙인 사람이 터치스크린의 표적을 향해 팔을 뻗고, 화면에는 가까운 표적에서 먼 표적으로 휘어지는 점선 궤적이, 옆 화면에는 두 계단으로 오르는 근활동 그래프가 그려진 일러스트 — 표적이 갑자기 옮겨 가는 순간의 팔 궤도와 근육 활동을 재는 방식입니다.· 사진: AI 생성 이미지 (gpt-image-2)

20명을 잰 iScience 연구에서 표적이 옆으로 튀면 팔 근육은 80~120밀리초 구간에서 먼저 움찔했고 의도가 실린 활동은 130밀리초부터 얹혔습니다. 저자들은 이것이 따로 있는 '자동 조종' 장치가 아니라 피질 아래 반응과 피질 반응이 겹친 하나의 제어라고 봤습니다. 논문

사람 좌반구를 옆에서 본 해부도. 뒤쪽 위편에 두정엽이, 그 아래 뒤쪽에 시각 영역이 자리합니다 — 등쪽 시각 경로는 뒤통수의 시각 영역에서 정수리 쪽 두정엽으로 올라갑니다.· 사진: Henry Vandyke Carter · Public domain

그 안에서 역할까지 갈립니다. 30명에게 자기 자극을 준 실험에서, 두정엽 hV6A를 흔들면 눈으로 본 표적 이동만 못 고쳤고 옆자리 hPEc를 흔들면 손목이 밀린 감각 쪽만 못 고쳤습니다. 논문 눈에서 온 정보와 몸에서 온 정보를 서로 다른 자리가 맡는다는 뜻입니다.

어디서 갈라지나요

에이전트는 누를 지점을 짚는 일부터 막힙니다. 전문가용 소프트웨어 23종의 화면 1,581장으로 만든 ScreenSpot-Pro에서 발표 시점의 최고 모델은 18.9%를 맞혔습니다. 논문

컴퓨터를 쓰는 과제의 성공률

컴퓨터를 쓰는 과제의 성공률
항목	성공률
사람 (OSWorld)	72.36%
최고 모델 2024-04	12.24%
Agent S 자체 발표	72.60%
최고 모델 (장기 과제)	20.60%

출처: 앞의 셋은 OSWorld 369개 과제, 마지막은 OSWorld 2.0 108개 장기 과제

짧은 과제는 빠르게 좁혀졌습니다. 2024년 4월 OSWorld 첫 발표에서 사람은 72.36% 넘게 풀었고 최고 모델은 12.24%였는데 논문, 2025년 12월 Simular은 자사 Agent S가 72.6%로 그 기준선을 넘었다고 발표했습니다. 제3자 검증은 붙지 않았습니다. 보도

길어지면 달라집니다. 2026년 6월 공개된 OSWorld 2.0은 사람이 중앙값 1.6시간을 쓰는 실무 작업 108개를 모았는데, 가장 잘한 모델도 20.6%에 그쳤습니다. 한 과제에 평균 318번의 도구 호출이 들어갔습니다. 저자들이 꼽은 실패는 제약을 잊고, 중간에 도착한 정보를 놓치고, 묻는 대신 추측하고, 검증을 건너뛰는 것이었습니다. 논문 두정엽이 100밀리초 안에 조용히 하는 '바뀌었으니 궤도를 고친다'가 바로 그 자리입니다.

무엇을 보면 되나요

시연 영상도 같은 곳에서 멈춰 섭니다. 마지막 판단 순서는 이렇습니다.

컴퓨터 사용을 언제 쓰나 (영상의 판단 순서)

이 일을 자동화해야 하나
반복되거나 오래 걸리거나 넘길 만한 일인지 먼저 묻습니다
명령줄이나 연동으로 되나
정형화된 일은 그쪽이 대개 더 빠르고 안정적입니다
남은 단계가 화면에만 있나
그때 컴퓨터 사용을 쓰고, 결과는 사람이 확인합니다

'When to use it' 제목 아래 카드 세 개가 놓인 발표 화면. 자동화 여부, 명령줄이나 연동 가능 여부, 화면에만 남은 단계인지를 차례로 묻습니다 — 영상이 마지막에 제시한 판단 순서입니다.· 사진: 영상 화면 (Jack Roberts)

자주 묻는 질문

AI가 컴퓨터를 쓰는 방식이 사람 뇌와 정말 비슷한가요?: 입구가 같습니다. 둘 다 프로그램 내부를 모른 채 화면 픽셀만 보고 어디를 누를지 정합니다. 다만 사람은 이 변환을 등쪽 시각 경로에서 100밀리초 안팎에 무의식으로 처리하고, 에이전트는 화면을 읽고 다음 행동을 고르는 일을 매번 추론으로 되풀이합니다.
벤치마크 점수가 낮은데 왜 시연은 잘 되나요?: 시연은 사람이 지켜보며 한 번에 한 가지를 시키는 상황이고, 벤치마크는 사람이 끼어들지 않는 상태로 수십에서 수백 단계를 잇습니다. OSWorld 2.0 저자들은 에이전트가 제약을 잊고, 중간에 도착한 정보를 놓치고, 묻는 대신 추측하고, 검증을 건너뛴다고 적었습니다.
그래서 지금 이 기술을 어디에 쓰면 되나요?: 연동 규격이 있는 일은 그쪽이 더 빠르고 안정적입니다. 화면에만 남아 있는 단계, 예컨대 API를 열어 두지 않은 앱의 설정 화면이나 지표 화면을 다룰 때가 남는 자리이고, 결과는 사람이 확인해야 합니다.