컴퓨터 제어 사용하기

1. 컴퓨터 제어 사용하기

지금까지 Work는 파일을 읽고 쓰고 명령을 실행하는 방식으로 일했습니다. 그런데 세상의 많은 프로그램은 파일이나 명령이 아니라 화면과 마우스로만 다룰 수 있습니다. 사내 전용 프로그램, 오래된 업무 시스템, 버튼을 눌러야만 하는 웹 사이트 같은 것들입니다. 컴퓨터 제어(Computer Use)는 이 마지막 영역을 여는 기능입니다. ChatGPT가 화면을 보고, 마우스를 움직이고, 키보드를 입력해 사람처럼 프로그램을 조작합니다.

실제로 한 외신 기자는 이 기능으로 ChatGPT에게 체스 프로그램을 시켜보았는데, 화면 속 체스판을 읽고 말을 옮기며 게임을 진행하는 모습을 보여주었습니다. 화면을 '이미지'가 아니라 '조작할 수 있는 대상'으로 이해한다는 뜻입니다.

1.1 켜는 방법

컴퓨터 제어는 플러그인으로 제공됩니다.

앱에서 플러그인 > Computer Use를 엽니다.
설치 안내가 나오면 플러그인을 설치합니다.
Computer Use 서버와 스킬 설정을 켭니다.
시스템 권한을 요구하면 안내에 따라 허용합니다.

운영체제별로 요구 권한과 동작 방식이 다릅니다.

구분	macOS	Windows
필요 권한	화면 기록, 손쉬운 사용(Accessibility)	별도 시스템 권한 없이 앱 내 승인
동작 방식	화면 잠금 상태에서 백그라운드 작업 가능	활성 데스크톱의 포그라운드에서만 동작
작업 중 내 컴퓨터 사용	잠금 상태로 두고 다른 일 가능	작업 동안 마우스·키보드를 에이전트가 사용

Windows에서는 에이전트가 일하는 동안 내 마우스가 움직이는 것을 지켜보게 됩니다. macOS는 화면을 잠근 채 뒤에서 작업시킬 수 있어 한층 실용적입니다.

1.2 승인 모델

컴퓨터 제어는 작업 중에 프로그램 단위로 접근 허락을 구합니다. 예를 들어 엑셀을 조작해야 하면 "엑셀에 접근해도 될까요?"라고 묻는 식입니다.

이번만 허용: 해당 작업에서만 허용합니다.
항상 허용: 반복 작업에 쓰는 프로그램이라면 항상 허용으로 등록할 수 있습니다. 이 목록은 내 컴퓨터의 설정 파일(config.toml)에 저장되며, 설정 화면에서 관리할 수 있습니다.

1.3 무엇에 쓰면 좋은가

공식 문서가 권하는 사용처는 다음과 같습니다.

파일로는 접근할 수 없는 화면 전용 프로그램 조작: 사내 시스템에서 데이터 조회·입력, 설정 화면 확인.
여러 프로그램에 걸친 작업: 웹에서 자료를 확인해 데스크톱 프로그램에 입력하는 식의 다리 놓기.
브라우저 작업: 로그인이 필요한 웹 페이지 탐색과 양식 입력.
(개발자라면) 개발 중인 앱 화면 테스트와 버그 재현.

반대로, 파일을 다루는 일에는 컴퓨터 제어를 쓸 이유가 없습니다. 파일 작업은 지금까지처럼 Work의 기본 방식이 훨씬 빠르고 정확합니다. 컴퓨터 제어는 화면으로만 접근되는 대상을 위한 마지막 수단으로 아껴 쓰세요.

1.4 할 수 없는 일

컴퓨터 제어에는 의도적으로 막아둔 영역이 있습니다.

터미널(명령어 창) 자체를 조작하는 일과 ChatGPT 앱 자신을 조작하는 일은 할 수 없습니다.
관리자 인증을 대신 통과할 수 없습니다. UAC 창이나 암호 입력이 뜨면 멈추고 사람을 기다립니다.
보안·개인정보 확인 창을 대신 승인할 수 없습니다.

에이전트가 제 권한을 스스로 키우는 길을 막아둔 설계입니다. 사람의 확인이 필요한 관문은 반드시 사람 손에 남습니다.

민감한 작업에는 쓰지 마세요. 계정, 결제, 비밀번호를 다루는 화면은 내가 옆에서 매 단계를 승인할 수 있을 때만 맡기고, 자리 비운 사이에 돌리지 않는 것이 원칙입니다. 또 로그인된 브라우저를 조작하게 하면 웹 페이지의 악성 콘텐츠가 에이전트를 속이려 들 수 있고, 사이트는 에이전트의 행동을 내 계정의 행동으로 간주합니다. 보안 이야기는 8장에서 자세히 다룹니다.

다음 절에서는 결과물을 세상에 내보내는 기능들, 내장 브라우저와 Sites를 다룹니다.