ilhae.ai

CHAPTER 03 · 25 / 28

AI에게 화면을 보여 주고 컴퓨터 조작을 통째로 맡기기

『ChatGPT Work로 일하기』 제3장 실전! 업무를 통째로 맡기는 기술 · 김재우 · 2026년 11월 23일

컴퓨터 유즈(Computer Use)로 AI가 화면을 보며 클릭하고 입력하게 하는 실습입니다. 게임 플레이와 신청서 작성을 맡겨 보고, 승인 화면과 정확성·보안·비용 측면의 과제를 짚습니다.

여기서 다루는 것

  1. 주의 사항: 승인 화면이 나타날 수 있습니다
  2. 실습 ① AI에게 게임을 플레이하게 하기
  3. 실습 ② 신청서 작성하기
  4. 정확성·보안·비용 측면의 과제

미리 읽기

ChatGPT Work 데스크톱 앱에서 사용할 수 있는 **컴퓨터 유즈(Computer Use)**는 AI가 화면에 표시된 내용을 읽고, 클릭이나 문자 입력을 스스로 판단해 진행하는 기능입니다(그림 1). 2026년 9월에 나온 GPT-6 Astra부터 성능이 크게 향상되어 다양한 소프트웨어와 웹사이트 조작을 맡길 수 있게 되었습니다. 2026년 11월 현재는 GPT-6.2 Astra가 이런 작업에 권장됩니다.

여기서는 활용 사례를 살펴본 다음, 구체적인 실습으로 ‘게임을 플레이하게 하기’와 ‘신청서를 내려받아 작성하기’를 시도해 봅니다.

그림 1. 컴퓨터 유즈로 컴퓨터 조작 자동화하기

화면의 핵심 문구: AI가 컴퓨터 화면을 보면서 조작한다.

ChatGPT Work의 컴퓨터 유즈는 AI가 컴퓨터 화면을 보면서 마우스 포인터를 움직이고, 클릭하거나 키보드로 입력하는 등의 동작을 실제로 수행하는 기능입니다. 번거로운 조작을 자동화해 업무를 효율화하는 데 활용할 수 있습니다.

GPT-6 Astra가 공개되었을 때 다음과 같은 활용 사례가 소개되었습니다.

  • 3D 소프트웨어 조작: Blender 등
  • 게임 엔진 조작: Unreal Engine, Unity 등
  • 전자회로 CAD 조작: KiCad 등
  • 스프레드시트 소프트웨어 조작: Excel 등
  • 웹사이트와 앱 제작 및 동작 확인
  • 온라인 양식 입력
  • 디자인 소프트웨어 조작: Canva, Illustrator 등

핵심은 전용 연동 기능이 없는 소프트웨어도 사람처럼 화면을 보면서 조작할 수 있다는 점입니다. 그동안 AI가 직접 다루지 못했던 도구까지 활용 범위가 넓어지는 것입니다.

주의 사항: 승인 화면이 나타날 수 있습니다

컴퓨터 유즈에서는 AI가 브라우저나 다른 앱을 실제로 조작합니다. 따라서 앱을 처음 사용할 때 등에는 그림 2와 같은 승인 화면이 표시될 수 있습니다.

그림 2. 다른 소프트웨어를 조작하기 위한 승인

화면 예시에는 다음과 같은 내용이 표시됩니다.

높은 위험
ChatGPT가 Microsoft Edge를 사용하도록 허용하시겠습니까?
선택 항목: ‘항상 허용’ / ‘거부’ / ‘이 대화에서 허용’

‘이 대화에서 허용’ 또는 ‘항상 허용’을 눌러야 조작이 시작됩니다. 버튼의 이름은 앱 버전에 따라 ‘허용’, ‘취소’ 등으로 표시될 수 있습니다.

이 화면은 ‘AI가 이 앱을 조작해도 되는지’를 사람에게 확인하는 것입니다. 내용을 확인하고 ‘이 대화에서 허용’을 누르면 작업이 계속됩니다. 반대로 의도하지 않은 앱을 열려고 한다면 ‘거부’를 눌러 중지할 수 있습니다.

AI가 컴퓨터를 자유롭게 조작할 수 있게 되면 사용자가 의도하지 않은 앱을 임의로 조작해 예상치 못한 문제가 발생할 수 있습니다. 이를 방지하기 위해 앱을 조작하기 전에 사용자에게 확인을 요청하는 구조입니다.

메모: ‘항상 허용’은 편리하지만 한 번 허용한 앱은 이후 작업에서 확인 없이 조작됩니다. 처음에는 ‘이 대화에서 허용’만 사용하고, 회사 PC에서는 조직에서 허용한 앱과 작업 범위 안에서 실습하세요.

실습 ① AI에게 게임을 플레이하게 하기

컴퓨터 유즈를 이해하기 쉬운 예로, AI에게 게임을 플레이하게 해 봅시다. 여기서는 잘 알려진 지뢰찾기를 예로 듭니다. 브라우저에서 플레이할 수 있는 지뢰찾기 중 하나를 연 상태에서 다음과 같이 지시합니다.

나머지 내용은 읽기 화면에서 이어서 볼 수 있어요.

이어서 읽기

ilhae.ai 안내 도우미대기 중

글자를 치면 사이트 자료를 바로 찾아요. AI 대화는 하루 20번까지이고, 질문 앞부분은 서비스 개선을 위해 30일 보관해요. 개인정보는 적지 마세요.