CHAPTER 03 · 25 / 28
AI에게 화면을 보여 주고 컴퓨터 조작을 통째로 맡기기
『ChatGPT Work로 일하기』 제3장 실전! 업무를 통째로 맡기는 기술 · 김재우 · 2026년 11월 23일
컴퓨터 유즈(Computer Use)로 AI가 화면을 보며 클릭하고 입력하게 하는 실습입니다. 게임 플레이와 신청서 작성을 맡겨 보고, 승인 화면과 정확성·보안·비용 측면의 과제를 짚습니다.
CHAPTER 03 · 25 / 28
『ChatGPT Work로 일하기』 제3장 실전! 업무를 통째로 맡기는 기술 · 김재우 · 2026년 11월 23일
컴퓨터 유즈(Computer Use)로 AI가 화면을 보며 클릭하고 입력하게 하는 실습입니다. 게임 플레이와 신청서 작성을 맡겨 보고, 승인 화면과 정확성·보안·비용 측면의 과제를 짚습니다.
ChatGPT Work 데스크톱 앱에서 사용할 수 있는 **컴퓨터 유즈(Computer Use)**는 AI가 화면에 표시된 내용을 읽고, 클릭이나 문자 입력을 스스로 판단해 진행하는 기능입니다(그림 1). 2026년 9월에 나온 GPT-6 Astra부터 성능이 크게 향상되어 다양한 소프트웨어와 웹사이트 조작을 맡길 수 있게 되었습니다. 2026년 11월 현재는 GPT-6.2 Astra가 이런 작업에 권장됩니다.
여기서는 활용 사례를 살펴본 다음, 구체적인 실습으로 ‘게임을 플레이하게 하기’와 ‘신청서를 내려받아 작성하기’를 시도해 봅니다.
그림 1. 컴퓨터 유즈로 컴퓨터 조작 자동화하기
화면의 핵심 문구: AI가 컴퓨터 화면을 보면서 조작한다.
ChatGPT Work의 컴퓨터 유즈는 AI가 컴퓨터 화면을 보면서 마우스 포인터를 움직이고, 클릭하거나 키보드로 입력하는 등의 동작을 실제로 수행하는 기능입니다. 번거로운 조작을 자동화해 업무를 효율화하는 데 활용할 수 있습니다.
GPT-6 Astra가 공개되었을 때 다음과 같은 활용 사례가 소개되었습니다.
핵심은 전용 연동 기능이 없는 소프트웨어도 사람처럼 화면을 보면서 조작할 수 있다는 점입니다. 그동안 AI가 직접 다루지 못했던 도구까지 활용 범위가 넓어지는 것입니다.
컴퓨터 유즈에서는 AI가 브라우저나 다른 앱을 실제로 조작합니다. 따라서 앱을 처음 사용할 때 등에는 그림 2와 같은 승인 화면이 표시될 수 있습니다.
그림 2. 다른 소프트웨어를 조작하기 위한 승인
화면 예시에는 다음과 같은 내용이 표시됩니다.
높은 위험
ChatGPT가 Microsoft Edge를 사용하도록 허용하시겠습니까?
선택 항목: ‘항상 허용’ / ‘거부’ / ‘이 대화에서 허용’
‘이 대화에서 허용’ 또는 ‘항상 허용’을 눌러야 조작이 시작됩니다. 버튼의 이름은 앱 버전에 따라 ‘허용’, ‘취소’ 등으로 표시될 수 있습니다.
이 화면은 ‘AI가 이 앱을 조작해도 되는지’를 사람에게 확인하는 것입니다. 내용을 확인하고 ‘이 대화에서 허용’을 누르면 작업이 계속됩니다. 반대로 의도하지 않은 앱을 열려고 한다면 ‘거부’를 눌러 중지할 수 있습니다.
AI가 컴퓨터를 자유롭게 조작할 수 있게 되면 사용자가 의도하지 않은 앱을 임의로 조작해 예상치 못한 문제가 발생할 수 있습니다. 이를 방지하기 위해 앱을 조작하기 전에 사용자에게 확인을 요청하는 구조입니다.
메모: ‘항상 허용’은 편리하지만 한 번 허용한 앱은 이후 작업에서 확인 없이 조작됩니다. 처음에는 ‘이 대화에서 허용’만 사용하고, 회사 PC에서는 조직에서 허용한 앱과 작업 범위 안에서 실습하세요.
컴퓨터 유즈를 이해하기 쉬운 예로, AI에게 게임을 플레이하게 해 봅시다. 여기서는 잘 알려진 지뢰찾기를 예로 듭니다. 브라우저에서 플레이할 수 있는 지뢰찾기 중 하나를 연 상태에서 다음과 같이 지시합니다.
나머지 내용은 읽기 화면에서 이어서 볼 수 있어요.
이어서 읽기