# AI가 마우스를 잡았습니다, 뇌는 80밀리초에 하는 일

> GPT-6 Astra가 연동 없이 화면만 보고 컴퓨터를 조작합니다. 사람 뇌는 목표가 튄 지 80~120밀리초에 팔 궤도를 고치는데, 에이전트는 긴 작업에서 아직 20.6%입니다.

- 출처 사이트: 뇌피셜 (https://aifficial.net/brain/posts/computer-use-agent-dorsal-stream/)
- 발행: 2026-09-08
- 카테고리: 뇌와 AI · 태그: AI 에이전트, 두정엽, 시각 운동, GPT-6, 논문

## 핵심 답변

OpenAI가 9월 3일 내놓은 GPT-6 Astra는 API나 연동 규격 없이 화면을 보고 마우스·키보드를 움직여 컴퓨터를 조작합니다. 사람 뇌는 같은 종류의 일을 등쪽 시각 경로로 처리해 목표가 움직인 지 80~120밀리초 만에 팔 궤도를 고치는 반면, 에이전트는 여러 단계가 이어지는 실무 작업에서 최고 20.6%를 맞히는 데 그칩니다.

## 요약

- Astra는 연동 규격이 없는 앱과 사이트도 사람과 같은 화면·같은 커서로 다룹니다. 9월 7일 시연에서 영상 편집기와 아이폰 미러링까지 다뤘습니다.
- 사람의 팔은 목표가 튄 지 80~120밀리초에 근육이 먼저 반응하고 130밀리초부터 의도가 얹힙니다. 20명을 잰 iScience 연구 결과입니다.
- 그 수정을 맡는 자리는 나뉘어 있습니다. 두정엽 hV6A를 자기 자극으로 흔들면 눈으로 본 이동만, hPEc를 흔들면 팔이 밀린 감각만 고치지 못했습니다.
- 화면에서 누를 자리를 짚는 능력은 전문가용 소프트웨어에서 18.9%(ScreenSpot-Pro 발표 시점)였고, 108개 장기 과제에서는 최고 모델이 20.6%입니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| GPT-6 Astra 롤아웃 | 2026-09-03 (컴퓨터 사용을 전면에 내세움) |
| 사람의 궤도 수정 | 80~120밀리초 (목표 이동 뒤 근육 반응(EVR), 20명) |
| 자기 자극 실험 | 30명 (hV6A는 시각, hPEc는 고유수용 수정만 방해) |
| OSWorld 첫 발표 | 사람 72.36% / 모델 12.24% (369개 과제, 2024-04) |
| OSWorld 2.0 | 20.6% (108개 장기 과제, 사람은 중앙값 1.6시간) |
| 장기 과제 도구 호출 | 평균 318회 (OSWorld 1.0은 약 30회) |


## 연동 없이 화면만 봅니다

OpenAI는 9월 3일 GPT-6 Astra 롤아웃을 시작하며 컴퓨터 사용을 앞세웠습니다. 공지에는 "컴퓨터로 할 수 있는 일은 Astra가 대신 해 준다"고 적혔고, 직업별 컴퓨터 작업을 재는 Agents' Last Exam·AutomationBench·ScreenSpot Pro에서 최고 성적이라고 밝혔습니다. 점수는 공개하지 않았습니다. 

9월 7일 올라온 시연이 그 모습을 보여 줍니다. Jack Roberts는 연동 규격이 없는 사이트에서 자료 모으기, Premiere Pro를 열어 5초짜리 B-roll을 타임라인에 끼우기, 자기 앱의 내려받기 과정을 처음 온 사람처럼 밟기, 운영 중인 사이트에 이미지 넣기, 아이폰 미러링으로 인스타그램 지표 읽기를 시켰습니다. 





## 사람은 이 변환을 80밀리초에 합니다

사람도 프로그램 속을 모른 채 화면과 손만으로 컴퓨터를 씁니다. 픽셀을 보고 어디로 손을 옮길지 정하는 이 변환은 뒤통수에서 정수리 쪽으로 올라가는 등쪽 시각 경로, 그중에서도 두정엽이 맡습니다. 



20명을 잰 iScience 연구에서 표적이 옆으로 튀면 팔 근육은 80~120밀리초 구간에서 먼저 움찔했고 의도가 실린 활동은 130밀리초부터 얹혔습니다. 저자들은 이것이 따로 있는 '자동 조종' 장치가 아니라 피질 아래 반응과 피질 반응이 겹친 하나의 제어라고 봤습니다. 



그 안에서 역할까지 갈립니다. 30명에게 자기 자극을 준 실험에서, 두정엽 hV6A를 흔들면 눈으로 본 표적 이동만 못 고쳤고 옆자리 hPEc를 흔들면 손목이 밀린 감각 쪽만 못 고쳤습니다.  눈에서 온 정보와 몸에서 온 정보를 서로 다른 자리가 맡는다는 뜻입니다.

## 어디서 갈라지나요

에이전트는 누를 지점을 짚는 일부터 막힙니다. 전문가용 소프트웨어 23종의 화면 1,581장으로 만든 ScreenSpot-Pro에서 발표 시점의 최고 모델은 18.9%를 맞혔습니다. 



짧은 과제는 빠르게 좁혀졌습니다. 2024년 4월 OSWorld 첫 발표에서 사람은 72.36% 넘게 풀었고 최고 모델은 12.24%였는데 , 2025년 12월 Simular은 자사 Agent S가 72.6%로 그 기준선을 넘었다고 발표했습니다. 제3자 검증은 붙지 않았습니다. 

길어지면 달라집니다. 2026년 6월 공개된 OSWorld 2.0은 사람이 중앙값 1.6시간을 쓰는 실무 작업 108개를 모았는데, 가장 잘한 모델도 20.6%에 그쳤습니다. 한 과제에 평균 318번의 도구 호출이 들어갔습니다. 저자들이 꼽은 실패는 제약을 잊고, 중간에 도착한 정보를 놓치고, 묻는 대신 추측하고, 검증을 건너뛰는 것이었습니다.  두정엽이 100밀리초 안에 조용히 하는 '바뀌었으니 궤도를 고친다'가 바로 그 자리입니다.

## 무엇을 보면 되나요

시연 영상도 같은 곳에서 멈춰 섭니다. 마지막 판단 순서는 이렇습니다.







화면을 입구로 삼은 것은 영리한 선택입니다. 모든 소프트웨어가 연동을 열어 주지는 않으니, 사람이 쓰는 통로를 그대로 쓰면 대상이 단번에 넓어집니다. 다만 뇌가 그 통로에서 쓰는 자원은 픽셀 해석만이 아닙니다. 목표를 붙들고, 바뀐 것을 알아채고, 틀렸다 싶으면 되돌리는 몫이 함께 붙어 있습니다. 장기 과제 성적이 20.6%에 머문 이유가 그쪽에 가깝다면, 다음에 봐야 할 숫자는 화면 짚기 점수가 아니라 몇 단계까지 목표를 잃지 않는지입니다.




## 자주 묻는 질문

**Q. AI가 컴퓨터를 쓰는 방식이 사람 뇌와 정말 비슷한가요?**

입구가 같습니다. 둘 다 프로그램 내부를 모른 채 화면 픽셀만 보고 어디를 누를지 정합니다. 다만 사람은 이 변환을 등쪽 시각 경로에서 100밀리초 안팎에 무의식으로 처리하고, 에이전트는 화면을 읽고 다음 행동을 고르는 일을 매번 추론으로 되풀이합니다.

**Q. 벤치마크 점수가 낮은데 왜 시연은 잘 되나요?**

시연은 사람이 지켜보며 한 번에 한 가지를 시키는 상황이고, 벤치마크는 사람이 끼어들지 않는 상태로 수십에서 수백 단계를 잇습니다. OSWorld 2.0 저자들은 에이전트가 제약을 잊고, 중간에 도착한 정보를 놓치고, 묻는 대신 추측하고, 검증을 건너뛴다고 적었습니다.

**Q. 그래서 지금 이 기술을 어디에 쓰면 되나요?**

연동 규격이 있는 일은 그쪽이 더 빠르고 안정적입니다. 화면에만 남아 있는 단계, 예컨대 API를 열어 두지 않은 앱의 설정 화면이나 지표 화면을 다룰 때가 남는 자리이고, 결과는 사람이 확인해야 합니다.

## 출처

1. [Introducing GPT-6-Astra (OpenAI 개발자 커뮤니티 공지)](https://community.openai.com/t/introducing-gpt-6-astra-the-most-intelligent-and-aligned-model-in-the-world/1394703) (official)
2. [GPT-6 Astra 컴퓨터 사용 시연 영상 (Jack Roberts)](https://www.youtube.com/watch?v=j-FffQYiPCY) (other)
3. [Online corrections to visual targets are not a distinct class of movement (iScience, 2026-03-06)](https://pmc.ncbi.nlm.nih.gov/articles/PMC13015247/) (paper)
4. [Functional specialization of the human posterior parietal cortex in visually and proprioceptively driven reaching corrections (Communications Biology, 2025-11-24)](https://pmc.ncbi.nlm.nih.gov/articles/PMC12644796/) (paper)
5. [OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (arXiv:2404.07972)](https://arxiv.org/abs/2404.07972) (paper)
6. [OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks (arXiv:2606.29537)](https://arxiv.org/abs/2606.29537) (paper)
7. [ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use (arXiv:2504.07981)](https://arxiv.org/abs/2504.07981) (paper)
8. [Agent S, OSWorld 72.6% 자체 발표 (Simular, 2025-12-16)](https://www.simular.ai/articles/simulars-computer-use-agent-outperforms-humans) (report)

_이 문서는 뇌피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._