# CUA-Universe — CLI 섞은 9B, OSWorld 40.2%

> 상하이교통대·저장대 연구진이 데스크톱 앱 16종을 GUI+명령줄 혼합 환경으로 만들고 9B 모델을 학습해 OSWorld 성공률을 23.4%에서 40.2%로 올렸습니다. 방법과 수치를 정리했습니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/cua-universe-hybrid-gui-cli-agents/)
- 발행: 2026-09-07
- 카테고리: 논문 한입 · 태그: 논문, 에이전트, 컴퓨터 사용, 벤치마크, 오픈 모델

## 핵심 답변

9월 4일 arXiv에 오른 CUA-Universe는 데스크톱 앱을 재현 가능한 VM으로 만들고 명령줄 도구를 붙이는 App-Forge, GUI와 CLI를 섞은 과제를 합성하는 Task-Weave, 효율적인 경로로 롤아웃해 검증된 궤적을 모으는 Path-Steer 세 부분으로 구성됩니다. 이 궤적으로 학습한 Qwen3.5-9B는 OSWorld 244개 과제에서 성공률이 23.4%에서 40.2%로 16.8%p 올랐고, 단계는 57%, 토큰은 44% 줄었습니다.

## 요약

- 컴퓨터 사용 에이전트가 GUI 클릭에만 의존해 느리고 비싸다는 문제를, 시각 확인과 명령줄을 섞는 '하이브리드' 환경으로 풉니다.
- OSWorld 앱 8종에 Audacity·Blender·Draw.io·Godot·Kdenlive·OBS Studio·QGIS·Zotero 8종을 더해 16개 앱을 VM으로 만들었습니다.
- 학습한 9B는 자체 벤치마크 CUA-Verse에서 점수 0.189→0.582(+39.3점), OSWorld 성공률 23.4%→40.2%, OSWorld-MCP 20.90%→28.69%를 기록했습니다.
- 같은 OSWorld 설정에서 GPT-5.5는 68.0%, 오픈 모델 EvoCUA-8B는 43.3%로 아직 격차가 있고, 코드·데이터는 공개 예정입니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| arXiv 등록 | 2026-09-04 (arXiv:2609.05374) |
| 소속 | 상하이교통대·저장대 |
| 기반 모델 | Qwen3.5-9B (LoRA 3 에폭, 8×A100) |
| 앱 수 | 16종 (OSWorld 8종 + 신규 8종) |
| OSWorld 성공률 | 23.4% → 40.2% (244개 과제, GUI+CLI 설정) |
| CUA-Verse 점수 | 0.189 → 0.582 (8개 앱 × 20개 과제) |


## 무슨 일인가요

컴퓨터 사용 에이전트(CUA)는 대부분 화면을 보고 클릭하는 GUI 방식에 의존해 단계가 길고 토큰을 많이 씁니다. 실제 사람의 작업은 시각 확인과 명령줄 조작이 섞여 있는데, 둘을 함께 지원하는 환경은 만들기 어려워 드물었다는 것이 논문의 출발점입니다.  상하이교통대와 저장대 연구진이 9월 4일 arXiv에 올린 CUA-Universe는 이를 세 부분으로 풉니다. 





앱은 OSWorld의 Chrome, GIMP, LibreOffice Calc·Impress·Writer, Thunderbird, VLC, VS Code 8종에 Audacity, Blender, Draw.io, Godot, Kdenlive, OBS Studio, QGIS, Zotero 8종을 더한 16종입니다.  학습은 Qwen3.5-9B에 단계 단위 궤적으로 LoRA를 3 에폭 적용했고, 8×A100을 썼습니다. 

## 결과: 성공률은 오르고 비용은 줄었습니다



자체 벤치마크 CUA-Verse(8개 앱 × 20개 과제)에서 점수는 0.189에서 0.582로 39.3점 올랐고 단계는 37%, 토큰은 60% 줄었습니다.  OSWorld 244개 과제의 GUI+CLI 설정에서는 성공률이 23.4%에서 40.2%로 16.8%p 올랐고 단계 57%, 토큰 44%가 줄었습니다.  OSWorld-MCP에서는 성공률 20.90%에서 28.69%로, 도구 호출률(TIR)은 10.66%에서 23.36%로 올랐습니다. 

비교 대상과의 거리도 논문에 있습니다. 같은 OSWorld 설정에서 GPT-5.5는 68.0%, Seed2.1 Pro는 59.0%, Kimi K2.5는 54.5%였고, 오픈 모델 EvoCUA-8B는 43.3%로 학습한 9B(40.2%)보다 조금 앞섰습니다.  앱별로는 Blender(0.398)와 Godot(0.460) 같은 3D·공간 앱이 가장 약해 "3D 데이터 커버리지에 여지가 있다"고 적었습니다. 

## 무엇을 보면 되나요

- **에이전트 개발자**: 성공률만큼 눈여겨볼 것은 단계·토큰 감소폭입니다. 같은 과제를 CLI로 우회하면 비용이 절반 가까이 줄 수 있다는 실측입니다.
- **환경 설계자**: 앱을 VM으로 고정하고 CLI를 붙이는 App-Forge 방식은 다른 앱에도 적용할 수 있는 틀입니다. 다만 코드·데이터는 확인 시점에 아직 공개 전이었습니다. 
- **지켜볼 것**: 244개 통제 프로토콜이 아닌 OSWorld 전체 점수, 그리고 공개 후 다른 기반 모델에서의 재현 여부입니다.


논문은 os·multi-app 분할을 제외한 244개 과제로 OSWorld를 평가했고, 코드와 데이터는 공개 예정이라고만 적었습니다. 3D·공간 앱에서 약하다는 점도 스스로 밝혔습니다. 프런티어 모델과의 격차는 성공률 기준 약 28%p입니다. 



"GUI냐 CLI냐"는 오랫동안 에이전트 설계의 갈림길이었는데, 이 논문은 둘을 고르는 능력 자체를 학습 대상으로 삼았습니다. 9B 모델이 단계를 절반 넘게 줄이면서 성공률을 올렸다는 결과는, 컴퓨터 사용 에이전트의 다음 경쟁이 화면 이해 정확도보다 "언제 화면을 보지 않아도 되는지"를 아는 판단력에서 갈릴 것임을 보여줍니다. 



## 자주 묻는 질문

**Q. GUI 전용 에이전트와 무엇이 다른가요?**

실제 업무는 화면을 보며 확인하는 일과 명령줄로 처리하는 일이 섞여 있습니다. 파일 변환이나 일괄 처리는 CLI가 빠르고, 결과 확인은 GUI가 맞습니다. 이 논문은 두 모달리티를 한 환경에서 쓸 수 있게 하고, 어느 쪽을 언제 쓸지 학습시켰습니다.

**Q. OSWorld 전체 점수인가요?**

아닙니다. os와 multi-app 분할을 뺀 244개 과제의 통제 프로토콜입니다. 같은 과제에서 GUI 전용과 GUI+CLI 인터페이스를 짝지어 비교하기 위한 설정이라고 논문은 밝혔습니다.

**Q. 지금 써 볼 수 있나요?**

논문은 코드와 데이터를 공개하겠다고 적었지만 확인 시점에는 저장소 링크가 없었습니다. 환경 구성 요소인 App-Forge, Task-Weave, Path-Steer의 설계는 논문에 상세히 나와 있습니다.

## 출처

1. [CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents (arXiv:2609.05374)](https://arxiv.org/abs/2609.05374) (paper)
2. [논문 전문 HTML (arXiv)](https://arxiv.org/html/2609.05374) (paper)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._