컴퓨터 사용 API, 20단계 작업 0.04~1.84달러

글쓴이김성진·발행일2026년 10월 27일

AI에게 브라우저를 맡겨서 양식을 채우고, 서비스 화면을 눌러 보며 테스트하고, 여러 사이트를 돌며 자료를 모으게 하고 싶다면 가장 먼저 만나는 이름이 컴퓨터 사용(computer use) API입니다. 이번 주 OpenAI가 컴퓨터 사용 능력을 앞세운 GPT-6.1 Terra를 내놓았습니다. 그런데 세 회사(OpenAI, Anthropic, Google) 문서를 나란히 읽어 보면 “어느 모델이 더 똑똑한가”보다 먼저 내 프로그램이 무엇을 직접 해야 하고 청구서가 어떤 모양으로 자라는지가 갈립니다.

컴퓨터 사용 API는 AI가 화면 스크린샷을 보고 “여기를 클릭”, “이 글자를 입력” 같은 명령을 돌려주면, 내 프로그램이 그 명령을 실제로 실행하고 새 스크린샷을 다시 보내는 되풀이(루프)입니다. 이 글은 이 되풀이를 세 곳에서 어떻게 짜는지, 값표가 어떻게 다른지, 그리고 스크린샷이 열 장, 스무 장 쌓이면 입력 토큰이 얼마로 불어나는지를 계산했습니다. 토큰은 AI가 글과 그림을 쪼개 읽는 단위로, 값은 보통 100만 토큰당 달러로 매겨집니다.

기준일은 2026년 10월 27일입니다. OpenAI 컴퓨터 사용 가이드와 모델 문서 다섯 곳, Anthropic 컴퓨터 사용 문서와 가격 페이지, Google Gemini API 컴퓨터 사용 문서와 가격 페이지를 직접 열어 읽었습니다. Google 문서의 한국어판은 Google이 AI로 번역했다고 밝혀 둔 페이지라 코드와 함수 이름은 영어 원형을 따랐습니다. 계산 결과는 제가 정한 가정 위에 서 있고, 세 곳의 API를 실제로 호출해 본 것은 아닙니다.

세 곳이 공통으로 시키는 일: 화면은 내가 돌려야 합니다

가장 먼저 알아 둘 공통점이 있습니다. 세 곳 모두 브라우저나 데스크톱을 대신 돌려 주지 않습니다. AI는 “어디를 눌러라”라는 명령만 돌려주고, 그것을 실행하는 가상 컴퓨터는 내가 준비해야 합니다. Google 문서는 이를 “클라이언트 측 실행 환경을 구현해야 한다”고 적었고, Anthropic은 “내 애플리케이션이 내가 통제하는 환경에서 모든 호출을 실행한다”고 적었습니다. OpenAI도 “세션, 권한, 정리는 내 애플리케이션 몫”이라고 합니다.

컴퓨터 사용 API 문서 세 곳이 공통으로 권하는 것도 같습니다. 격리된 가상 머신이나 컨테이너, 접속 가능한 사이트 목록(허용 목록), 중요한 행동 전의 사람 확인, 로그 보관입니다. 화면 속 글이 AI에게 명령처럼 읽히는 프롬프트 인젝션(웹페이지나 이미지에 숨긴 “이전 지시를 무시해” 같은 글) 때문입니다. 이 환경을 직접 꾸리기 싫다면 클라우드 브라우저나 샌드박스를 빌리는 길이 있는데, 그 비교는 클라우드 브라우저 API 비교와 AI 샌드박스 비교에서 다뤘습니다.

OpenAI: 도구가 하나가 아니라 네 갈래입니다

OpenAI 가이드는 시작 페이지에서 무엇을 보여 줄지와 누가 환경을 돌릴지로 길을 나눕니다.

• ComputerToolset: 스크린샷과 마우스·키보드 동작을 쓰는 방식입니다. SDK가 Responses API 호출 되풀이를 대신 돌려 주고, 나는 화면을 읽고 동작을 실행하는 driver만 만듭니다.
• BrowserToolset: 스크린샷 대신 페이지 글과 탭·컨트롤을 쓰는 방식입니다. 내 드라이버가 고른 동작만 함수 도구로 열어 줍니다.
• 코드 실행 방식: 모델이 PyAutoGUI나 Playwright 같은 라이브러리로 화면을 조작하는 코드를 쓰고, 내 환경이 그 코드를 실행해 결과(스크린샷 포함)를 돌려줍니다. 문서는 “한 번의 호출에 동작, 반복, 조건 로직을 묶을 수 있다”고 설명합니다.
• OpenAI가 호스팅하는 브라우저: Agents API 컴퓨터 사용 가이드에서 따로 안내합니다.

내가 환경을 직접 돌리기 싫다면 문서가 표로 올려 둔 파트너 환경이 있습니다. Browserbase(Stagehand 드라이버), Browser Use, Daytona, E2B Desktop입니다.

문서의 첫 예제는 가짜 택배 수령 페이지를 띄워 놓고 “수령 상세 보기를 눌러 보관함 번호와 수령 코드를 알려 줘”라고 시키는 것입니다. 예제 모델은 gpt-6.1-sol이고, 허용하는 동작은 스크린샷과 왼쪽 클릭뿐이며, 요청은 최대 6번, 페이지 네트워크 요청은 전부 막습니다. 즉 처음부터 동작과 횟수에 상한을 거는 예제입니다. 문서도 별도로 “단계, 시간, 비용 상한을 두고 취소를 지원하라”고 적었습니다.

안전 관련으로는 두 가지가 눈에 띕니다. 하나는 API가 돌려주는 **보류 중인 안전 검사(pending safety checks)**가 있으면 예제가 멈춘다는 점입니다. 사람 승인 콜백을 붙여야 계속 진행됩니다. 다른 하나는 스크린샷의 detail 값을 original로 두면 해상도를 보존한다는 점으로, 이미지를 줄이면 모델이 준 좌표를 원래 화면 좌표로 되돌려야 합니다.

가격은 모델 값표를 그대로 따릅니다. OpenAI 가격 페이지에서 컴퓨터 사용 전용 요금 줄은 찾지 못했습니다. 다만 도구 정의가 요청마다 몇 토큰을 더하는지에 대한 수치도 문서에 없었습니다.

Anthropic: 도구 하나에 멤버 열일곱 개입니다

Anthropic의 컴퓨터 사용 도구는 이름부터 다릅니다. 요청의 tools에 {"type": "computer_toolset_20260801"} 한 줄을 넣으면 screenshot, left_click, type, zoom 등 멤버 도구 17개가 한꺼번에 열립니다. 일부 호출은 toolset_name: "computer"라는 표시를 달고, 결과를 돌려줄 때도 같은 표시를 반드시 달아야 합니다. 빠뜨리면 요청이 거부됩니다.

이 방식에서 독특한 것이 **배치 동작(batch action)**입니다. Claude가 한 번의 응답에 “클릭, 입력, 스크린샷”처럼 여러 동작을 묶어 돌려줄 수 있습니다. 내 코드는 순서대로 실행하다가 하나가 실패하면 나머지는 Not executed: an earlier computer action in this turn failed.라는 정해진 문구로 되돌립니다. 그러면 Claude가 성공·실패·건너뜀을 읽고 다시 계획합니다. 한 번에 한 동작만 처리하는 루프라면 disable_parallel_tool_use를 켜면 됩니다.

세부 사항도 짚어 둡니다.

• 고정 부담: 가격 페이지에 “기본 멤버를 선언하면 요청에 입력 토큰이 약 4,500개 더해진다(소넷 5에서는 약 4,590, 나머지 지원 모델에서는 약 4,520)“고 적혀 있습니다. 도구 정의와 사용 안내문이 차지하는 몫입니다. zoom을 끄면 약 410토큰이 빠집니다.
• 지원 모델: Fable 5·5.1, Mythos 5·5.1, 오퍼스 4.8·5·5.5, 소넷 5·5.5, 하이쿠 5.5입니다. Claude API와 Google Cloud(구글 관리형)에서는 5.5 이후 모델이 새 도구 묶음만 받고, 예전 도구 버전 이름을 쓰면 오류를 돌려줍니다. Amazon Bedrock, AWS 플랫폼, Microsoft Foundry에서는 예전 베타 도구 버전만 쓸 수 있다고 적혀 있습니다.
• 해상도: 고해상도 등급 모델은 긴 변 2,576픽셀, 시각 토큰 4,784개까지 받고, 이전 모델은 1,568픽셀·약 115만 화소입니다. 좌표는 항상 내가 돌려준 스크린샷의 픽셀 공간 기준입니다. 줄여서 보냈다면 실행 전에 되돌려야 합니다.
• 스크린샷 정리: 요청 하나에 이미지가 20장 이하가 되도록 간격을 정하라는 안내가 있습니다. 그리고 5.5 계열에서는 클라이언트에서 오래된 스크린샷을 지우지 말라고 합니다. 앞 장을 지우면 뒤따르는 모든 생각 블록이 무효가 되기 때문입니다. 대신 이미지를 2,000픽셀 이하로 줄이고 서버 쪽 도구 결과 지우기 기능을 쓰라고 안내합니다.
• 인젝션 방어: 도구가 돌려주는 스크린샷 등을 분류기가 자동으로 훑어 의심되면 Claude가 먼저 사용자 의도를 확인하게 합니다. 사람이 없는 흐름에서는 이 추가 보호가 맞지 않을 수 있어 끌 수 있다고 적혀 있습니다.
• 캐시: 도구 묶음 정의 자리에 cache_control을 달 수 있어서, 고정 부담 4,500토큰을 캐시에 얹기 좋은 구조입니다. 캐시가 무엇인지는 프롬프트 캐싱 비교에서 풀었습니다.

가격은 따로 없습니다. 가격 페이지는 “컴퓨터 사용은 표준 도구 사용 가격을 따른다”고 적었습니다.

Google: 프리뷰이고, 좌표는 0에서 999입니다

Google은 Interactions API에서 컴퓨터 사용을 지원합니다. 문서의 최소 예는 이렇습니다.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Search for 'Gemini API' on Google.",
    tools=[{"type": "computer_use", "environment": "browser"}]
)

환경 값으로 ENVIRONMENT_BROWSER, ENVIRONMENT_MOBILE, ENVIRONMENT_DESKTOP 세 종류가 문서에 나옵니다. 브라우저뿐 아니라 모바일과 데스크톱 에이전트를 같은 구조로 만든다는 점이 OpenAI·Anthropic 가이드와 다른 포인트입니다. 모델이 돌려주는 동작은 click, double_click, triple_click, middle_click, right_click, move, long_press 같은 함수 호출이고, 좌표 x·y는 0~999의 정규화된 값이라서 내 화면 크기로 직접 환산해야 합니다. 화면 크기를 요청에 알려 줄 필요는 없다고 합니다. 동작마다 모델이 이유를 적는 intent 필드도 붙습니다.

안전 구조가 가장 구체적입니다. 응답에 safety_decision이 실려 있고 값은 허용, require_confirmation(사용자 승인 필요), 차단 중 하나입니다. 승인이 필요하면 최종 사용자에게 묻고 function_result에 safety_acknowledgement를 실어 보냅니다. 기본 제공 정책 범주는 일곱 가지입니다.

Gemini 3.5 Flash-Lite 이상에서는 스크린샷에 숨은 적대적 안내를 찾아 차단하는 프롬프트 인젝션 감지도 선택으로 켤 수 있습니다. 사고 수준(thinking level)을 낮출수록 표준 자동화 작업에는 균형이 좋다는 안내도 있습니다.

주의할 것은 상태 표기입니다. 문서 상단에 “컴퓨터 사용은 프리뷰 기능이므로 오류와 보안 취약점이 있을 수 있다”고 적혀 있습니다. 중요한 결정, 민감한 데이터, 고칠 수 없는 오류가 나는 작업에는 쓰지 말라는 경고도 같이 있습니다. 가격 페이지에서 컴퓨터 사용 도구는 “무료 등급 사용 불가, 모델 가격에 따라 일반 토큰으로 청구”입니다.

구조를 한 표로 놓으면

값표: 모델이 곧 요금입니다

컴퓨터 사용 도구 자체에 요금이 붙지 않으니, 청구서는 어느 모델을 얹느냐로 정해집니다. 세 회사 공식 페이지에서 옮긴 값표는 이렇습니다. 단위는 100만 토큰당 달러(입력/출력)입니다.

여기서 눈에 띄는 것은 Google의 두 모델 모두 날짜가 박힌 값이라는 점입니다. 3.8 Flash는 올해 말까지 입력 0.75달러인데 새해 첫날부터 2배가 됩니다. Argon도 11월 30일 이후 2배입니다. 지금 계산한 월 예산이 한 달 뒤에 두 배가 될 수 있다는 뜻입니다.

20단계 작업을 계산하면: 스크린샷이 쌓이고 청구서는 제곱으로 자랍니다

되풀이 루프에서 가장 많이 오해되는 것이 입력 토큰이 단계 수에 비례하지 않는다는 점입니다. 매 요청에 지금까지의 대화가 전부 다시 실려 갑니다. 1단계는 스크린샷 1장, 20단계는 앞의 19장 포함 20장이 실립니다. 단계가 20개면 스크린샷 읽기 횟수는 1+2+…+20=210번입니다.

가정은 이렇게 두었습니다. 이 숫자들은 제가 정한 것이지 측정값이 아닙니다.

• 작업 한 건은 20단계입니다. 단계마다 스크린샷 1장이 새로 붙습니다.
• 스크린샷 한 장은 1,500토큰, 모델의 응답(동작 + 짧은 설명)은 150토큰입니다.
• 첫 지시문은 500토큰입니다.
• Anthropic은 위의 고정 부담 약 4,520토큰(소넷 5.5·오퍼스 5.5·하이쿠 5.5)을 요청마다 더합니다. OpenAI와 Google은 문서에 수치가 없어 0으로 두었습니다. 즉 이 두 곳에 유리한 낙관값입니다.
• 세 회사의 토큰 계산 방식이 달라 같은 화면이 다른 토큰 수로 잡힐 수 있지만, 여기서는 같다고 둡니다.

이 가정으로 20단계 작업 한 건의 입력은 OpenAI·Google이 35만 3천 5백 토큰, Anthropic이 44만 3천 9백 토큰입니다. 출력은 모두 3천 토큰입니다. 스크린샷 읽기만 31만 5천 토큰으로, Anthropic 기준 입력의 71%입니다. 그중 28만 5천 토큰은 이미 본 스크린샷을 다시 읽는 몫이고, Anthropic의 고정 부담 9만 4백 토큰은 20% 남짓입니다.

마지막 열은 첫 요청만 전부 새로 읽고 이후에는 이전 내용을 캐시 읽기 단가로 읽으며 새로 붙는 스크린샷과 응답만 새 입력으로 센 이상적인 하한입니다. 캐시를 쓰는 값(OpenAI는 별도 캐시 쓰기 요금이 있는 모델이 있습니다)은 넣지 않았습니다. 그래서 실제 청구서는 두 열 사이 어딘가에 놓입니다.

표에서 읽을 것은 네 가지입니다.

첫째, 가장 싼 곳과 가장 비싼 곳의 차이가 약 50배입니다. 0.037달러에서 1.836달러입니다. 하지만 이 숫자를 모델 순위로 읽으면 안 됩니다. 작은 모델은 같은 20단계를 못 풀거나 40단계가 걸릴 수 있습니다. 단계가 40개로 늘면 스크린샷 읽기 횟수는 210번이 아니라 820번이 됩니다. 단계 수가 두 배면 입력은 네 배 가까이 늡니다.

둘째, 캐시를 쓰면 같은 작업이 약 4.6배에서 6.3배 싸집니다. 컴퓨터 사용 루프는 앞부분이 그대로 반복되는 구조라 캐시 효과가 가장 큰 사용처입니다. Anthropic은 도구 묶음 정의에 캐시 표시를 달 수 있고, OpenAI도 Terra와 Sol은 캐시 입력 단가가 일반 입력의 5%입니다. 다만 Anthropic 문서가 “클라이언트에서 오래된 스크린샷을 지우지 말라”고 한 이유가 여기에 있습니다. 앞을 지우면 캐시 접두부도, 생각 블록도 깨집니다.

셋째, Google 값은 날짜를 봐야 합니다. 3.8 Flash의 연말까지 0.276달러가 새해에는 0.553달러입니다. 월말에 비용을 확정하지 말고 날짜를 넣은 예산표를 만드는 편이 낫습니다.

넷째, Anthropic의 고정 부담은 이 가정에서 20%입니다. 단계가 적은 작업일수록 비중이 커집니다. 2단계짜리 작업이라면 4,520토큰이 스크린샷 3장 몫(4,500토큰)과 맞먹습니다. 짧은 작업을 많이 돌리는 서비스라면 이 고정 부담에 캐시를 거는 것이 거의 필수입니다.

세 곳의 안전 장치가 내 코드에 요구하는 것

보안 방어를 모델이 알아서 해 줄 것이라고 기대하면 안 됩니다. 세 곳 모두 마지막 책임이 내 쪽에 있습니다.

• OpenAI: 보류 중인 안전 검사가 오면 사람 승인 흐름을 붙여야 합니다. 허용 동작을 코드에서 좁히는 방식(예제의 beforeAction)이 기본입니다.
• Anthropic: 분류기가 훑지만 문서가 직접 “클릭하기 전에 사람이 확인하라”고 합니다. 특히 배치 동작은 한 번의 응답 안에서 여러 단계를 끝낼 수 있어서, 확인은 블록마다 실행 전에 해야 합니다.
• Google: safety_decision과 범주 설정이 가장 구조화돼 있지만, 문서도 설정된 재정의와 상관없이 응용 프로그램이 안전 결정 처리를 항상 구현해야 한다고 못 박았습니다.

결제, 계정 생성, 메시지 전송, 약관 동의 같은 동작은 어느 곳이든 사람 확인 뒤로 미루는 것이 공통 결론입니다. Google 범주 일곱 개가 사실상 그 목록입니다.

고르는 순서: 질문 네 개로 줄입니다

컴퓨터 사용 API를 고를 때 던질 질문은 네 개로 줄어듭니다.

1. 환경을 내가 돌릴 수 있는가. 못 돌린다면 OpenAI는 파트너 환경(Browserbase, Browser Use, Daytona, E2B Desktop)이 문서에 올라 있어 길이 가장 분명합니다. 직접 돌린다면 세 곳 모두 Playwright 예제가 있습니다.
2. 브라우저만인가, 모바일·데스크톱도인가. Google은 세 환경을 같은 구조에 담습니다. 다만 프리뷰입니다.
3. 작업이 짧고 많은가, 길고 적은가. 짧고 많으면 고정 부담과 캐시 설계가 청구서를 좌우하고(Anthropic), 길면 스크린샷 누적이 좌우합니다(전부).
4. 돈이 오가는 동작이 있는가. 있다면 모델보다 승인 흐름 설계가 먼저입니다.

읽은 것, 계산한 것, 써 보지 못한 것

이 글은 세 API를 호출해 보지 않았습니다. 그러므로 어느 모델이 20단계를 실제로 풀어내는지, 스크린샷이 정말 1,500토큰으로 잡히는지, 단계가 몇 개로 끝나는지는 모릅니다. 가장 확실하게 말할 수 있는 것은 하나입니다. 컴퓨터 사용 API 청구서는 모델 값표에 “단계 수의 제곱”이 곱해지는 구조이고, 줄이는 길은 캐시와 상한입니다. 지금 쓰려는 작업 하나를 골라 단계 수를 세어 보고, 위 표의 가정을 내 숫자로 바꿔 넣어 보시기 바랍니다.