AI API 한도 5곳, 첫 등급 요청이 18배 갈립니다

글쓴이김성진·발행일2026년 10월 6일

AI API 키를 처음 받아 반복문으로 질문 수십 개를 연달아 보내 본 분이라면, 어느 순간 429라는 숫자와 함께 요청이 튕겨 나온 경험이 있을 겁니다. 서비스가 고장 난 게 아니라 한도에 걸린 것입니다. 그런데 이 한도는 회사마다 세는 방식도, 올리는 방법도 전혀 다릅니다.

xAI는 어제(2026년 10월 5일) 한도 문서를 갱신했습니다. 그래서 오늘 다섯 곳의 공식 문서를 한꺼번에 열어 봤습니다. 가장 큰 차이는 첫 등급에서 나옵니다. 각 사의 대표 모델 기준으로 첫 등급이 분당 몇 번 호출을 받아 주는지만 놓고 보면, xAI의 grok-4.7은 초당 150건이라 분당 9,000건이고 OpenAI의 GPT-6.1 Sol은 분당 500건입니다. 18배 차이입니다.

이 글은 두 부류를 위해 씁니다. 처음 API를 붙여 보며 429 오류를 만난 분, 그리고 곧 사용자가 늘어날 서비스에서 어느 회사의 한도가 덜 막힐지 따져 보는 분입니다. 낯선 말은 글 끝에 따로 풀어 두었습니다.

기준은 이렇습니다. OpenAI·앤트로픽·xAI·딥시크는 공식 문서 페이지를 직접 열어 읽었고, OpenAI는 모델별 문서의 표를 가져왔습니다. 구글 문서는 로그인 화면으로 넘어가서 원문을 직접 열지 못했고 페이지 요약으로 확인했습니다. 이 글의 환산과 계산은 전부 제가 한 것이고, 한도 숫자 자체는 문서에 적힌 그대로입니다.

한 표에 놓으면: 첫 등급이 받는 숫자

표를 읽을 때 조심할 곳이 세 군데 있습니다. 첫째, 기준 모델이 서로 다릅니다. GPT-6.1 Sol과 Opus 5.5, grok-4.7은 성능이 같은 모델이 아니라 각 사의 대표 모델 한도를 가져온 것입니다. 둘째, xAI는 분당이 아니라 초당으로 세므로 60을 곱해야 분당이 됩니다. 셋째, 같은 “토큰 한도”라도 무엇을 세는지가 다릅니다. 이 부분은 아래에서 따로 다룹니다.

등급이 오르는 방법은 세 갈래입니다

한도를 올리는 방식은 크게 돈을 얼마나 냈는지, 얼마나 써 왔는지, 아니면 아예 등급이 없는지로 갈립니다.

OpenAI와 xAI는 결제액이 곧 등급입니다. 구글은 결제액에 시간을 더합니다. 100달러를 결제해도 첫 결제 후 3일은 지나야 Tier 2가 되고, Tier 3은 1,000달러에 30일이 걸립니다. 기능을 서둘러 열고 싶어도 시간을 건너뛸 방법이 없습니다. 구글 문서는 무료에서 Tier 1로는 보통 즉시, 이후 승급은 10분 안에 반영된다고 밝힙니다.

앤트로픽은 금액표 대신 “사용 이력과 계정 상태에 따라 자동으로 배치되고, 이용하면서 올라간다”고 적습니다. 새 조직은 표준 한도보다 낮은 평가(Evaluation) 등급에서 시작할 수 있다고도 합니다. 그 등급의 숫자는 문서에 없어서, 처음 받는 숫자는 콘솔의 한도 화면을 열어야 알 수 있습니다.

xAI에는 알아 둘 규칙이 하나 더 있습니다. 한 번 오른 등급은 내려가지 않습니다. 문서가 “등급은 강등되지 않는다”고 적었습니다. 등급 계산에는 선불 크레딧 구매와 실제 결제된 청구서가 들어갑니다.

OpenAI: 5달러 결제와 500달러 지출 사이에서 한도가 열 번 뜁니다

제가 연 GPT-6 Astra, GPT-6 Sol, GPT-6.1 Sol 문서는 요청·토큰 한도가 모두 같은 표였습니다. GPT-6.1 Sol의 등급별 한도는 이렇습니다.

눈에 띄는 곳이 둘 있습니다. Tier 1에서 Tier 2로 올라갈 때 요청 한도가 500에서 5,000으로 열 배 뛰지만, 토큰 한도는 두 배만 늘어납니다. 그래서 요청이 짧은 서비스는 훨씬 여유로워지고, 긴 문서를 던지는 서비스는 크게 달라지지 않습니다. 또 Tier 2와 Tier 3은 요청 한도가 같고 토큰만 늘며, Tier 4에서 Tier 5로 가면 토큰 한도가 4,000,000에서 40,000,000으로 열 배입니다.

표의 첫 칸을 돈으로 바꿔 보겠습니다. GPT-6.1 Sol은 입력 100만 토큰에 2달러입니다. Tier 1에서 분당 50만 토큰을 입력으로만 꽉 채워 보내면 1분에 1달러가 나갑니다. OpenAI는 이 한도와 별개로 조직마다 월 사용 한도를 두는데 Tier 1은 100달러입니다. 한도를 꽉 채워 쓴다는 단순 가정이면 100분 만에 월 한도에 닿습니다. 실제 서비스가 그렇게 쓸 일은 드물지만, 한도의 두 겹 구조를 보여 주는 숫자입니다.

OpenAI에는 숫자 말고 속도 규칙도 있습니다. 요청이 갑자기 늘면 한도 안인데도 slow_down이라는 429가 뜹니다. 문서는 입력 토큰이 분당 100만에 이른 뒤에는 15분마다 50%를 넘지 않게 올리라고 안내합니다. 그리고 max_tokens를 크게 잡으면 한도가 더 빨리 찹니다. OpenAI는 한도를 max_tokens와 요청 글자 수로 추정한 토큰 중 큰 쪽으로 계산한다고 적었기 때문입니다.

앤트로픽: 분당 숫자는 넉넉하고, 월 지출 상한이 먼저 닿습니다

앤트로픽의 Start 등급 한도는 Opus 5.5, Sonnet 5.5, Haiku 4.5가 모두 같습니다. 분당 요청 1,000건, 입력 200만 토큰, 출력 40만 토큰입니다. 가장 큰 모델군인 Fable 5.x는 요청 1,000건, 입력 50만, 출력 10만 토큰으로 낮습니다. 등급이 오르면 이렇게 움직입니다.

앤트로픽의 특이점은 한도가 숫자가 아니라 월 지출 상한에서 먼저 막히기 쉽다는 것입니다. Start 등급은 한 달에 500달러까지만 쓸 수 있고, 닿으면 다음 달 1일 0시(UTC)까지 요청이 멈춥니다. 이때도 오류는 429로 오지만, 속도 한도 429와 달리 retry-after 헤더가 없습니다. 재시도해 봐야 소용없습니다. 문서는 오류 안의 error_code가 enforced_spend_limit_reached인지 보고 구분하라고 안내합니다. SDK가 자동으로 재시도하는 경우에도 월 상한에 걸렸다면 계속 실패합니다.

문서에는 이런 문장도 있습니다. “여기 적힌 한도는 보장된 최소치가 아니라 허용되는 최대 사용량입니다.” 적힌 숫자가 항상 나온다는 약속이 아니라는 뜻입니다. 사용량이 급격히 늘면 별도의 가속 한도 때문에도 429가 올 수 있어서, 트래픽을 서서히 늘리라고 권합니다.

구글: 숫자는 로그인해야 보이고, 10분마다 쓸 수 있는 돈이 따로 있습니다

제가 읽은 구글 페이지 요약에는 모델별 요청·토큰·일일 요청 숫자가 없고 “AI Studio에서 확인하라”고만 안내돼 있었습니다. 대신 등급 구조는 공개돼 있습니다.

주목할 건 세 번째 칸입니다. 구글은 속도 한도 말고도 10분 단위로 쓸 수 있는 금액에 상한을 둡니다. 문서는 이 지출 기반 한도가 최근 10분을 굴려 가며 계산된다고 안내합니다. Tier 1은 10분에 10달러까지입니다. 갑자기 몰린 호출이 순식간에 돈을 태우는 사고를 막으려는 안전장치로 읽힙니다. 한도는 API 키가 아니라 프로젝트 단위로 걸리고, 일일 요청 한도는 태평양 시간 자정에 초기화됩니다. 프리뷰·실험 모델은 한도가 더 빡빡하다고 문서가 적었습니다.

참고로 제미나이 앱(챗봇)의 요금제 한도는 API 한도와 다른 제도입니다. 앱 쪽은 무료 제미나이 Flash-Lite 글에서 다뤘고, 이 글은 개발자용 API만 봅니다.

xAI: 초당으로 세고, 캐시된 토큰도 전부 셉니다

xAI는 등급이 다섯 개(Tier 0~4)에 기업용이 따로 있고, 모델마다 한도가 다릅니다. 같은 Tier 0에서도 모델에 따라 이만큼 갈립니다.

grok-4.5·4.6·4.7은 같은 한도 칸에 있고, 4.3과 4.20 계열은 그보다 낮으며, 멀티 에이전트가 가장 낮습니다. 이미지·영상 생성은 토큰이 아니라 초당 요청으로만 제한되며 Tier 0에서 이미지 6건, 영상 10건입니다.

xAI는 “캐시된 프롬프트 토큰도 한도에 센다”고 문서에 적었습니다. 값은 할인되지만 한도에서는 할인이 없습니다. 이 점이 앤트로픽과 정반대입니다.

문서는 Tier 0이 기본이라고만 적고, 결제 없이도 호출되는지는 말하지 않습니다. 계정을 만들자마자 이 숫자가 그대로 보이는지는 콘솔에서 확인해야 합니다.

딥시크: 분당 횟수가 아니라 동시에 몇 줄이 도는지 셉니다

딥시크는 요청 횟수도 토큰 수도 아니라 동시 연결 수로 한도를 겁니다. deepseek-flash는 계정당 2,500개, deepseek-v4-pro는 500개입니다. 요청을 보낸 순간부터 답이 끝날 때까지가 연결 하나로 계산되고, 한도를 넘기면 429가 옵니다. 문서 기준으로 이 한도는 API 키가 아니라 계정 단위입니다.

답이 오래 걸리는 모델일수록 연결이 오래 점유됩니다. 20초씩 걸리는 응답이라면 연결 하나가 1분에 세 번 쓰이는 셈이라, 2,500개로 분당 약 7,500건까지 소화합니다(이 글의 단순 계산). 응답이 2초면 같은 연결이 30번 돌아서 분당 75,000건입니다. 모델이 느려질수록 같은 한도가 작아집니다.

한도를 올리고 싶으면 “용량 증설 요청”을 내면 되고, 추가 비용은 없다고 문서가 밝힙니다. 서비스 이용자별로 한도와 캐시를 나누려면 요청에 user_id를 넣을 수 있습니다. 증설을 받은 계정은 총량 한도와 user_id별 한도가 같이 걸립니다.

같은 “토큰 한도”가 아닙니다

표에서 가장 오해하기 쉬운 부분입니다. 세 곳이 세는 방식이 다릅니다.

앤트로픽 문서의 예를 들면, 20만 토큰짜리 문서가 이미 캐시에 올라가 있고 50토큰짜리 질문을 하면 입력 한도에는 약 50토큰만 잡힙니다(캐시에 처음 쓰는 요청은 입력 한도에 셉니다). 같은 일을 xAI에서 하면 20만 토큰이 모두 잡힙니다. 그래서 프롬프트를 반복해서 쓰는 에이전트라면, 같은 “분당 200만 토큰”이어도 앤트로픽이 훨씬 넉넉하게 느껴질 수 있습니다. 반대로 매번 새로운 긴 글을 넣는 서비스에서는 이 차이가 없습니다. 캐시 가격 자체가 궁금하시면 프롬프트 캐싱 비교글을 참고하세요.

429가 뜨면 이 순서로 봅니다

429는 한 가지 오류가 아닙니다. 적어도 세 가지로 갈립니다.

1. 속도 한도: 분당 요청이나 토큰을 넘었습니다. 응답에 retry-after(몇 초 뒤에 다시 하라는 값)가 오면 그 초만큼 쉽니다. 앤트로픽은 anthropic-ratelimit-requests-remaining, anthropic-ratelimit-input-tokens-reset 같은 헤더로 남은 양과 복구 시각까지 알려 주고, OpenAI도 x-ratelimit-remaining-tokens, x-ratelimit-reset-tokens로 같은 정보를 줍니다.
2. 월 지출 상한: 앤트로픽은 등급의 월 상한에 닿으면 enforced_spend_limit_reached가 든 429를 주고, OpenAI는 하드 지출 한도에 닿으면 429를 줍니다. 기다려도 풀리지 않으니 한도 설정을 바꿔야 합니다. 참고로 앤트로픽에서 내가 직접 건 상한에 닿으면 429가 아니라 400(invalid_request_error)이 옵니다.
3. 급증 한도: 트래픽이 갑자기 늘었을 때 걸립니다(OpenAI slow_down, 앤트로픽 가속 한도). 속도 한도 안인데도 뜨므로 서서히 늘려야 합니다.

기다리는 코드는 이렇게 짭니다. 헤더에 초가 있으면 그만큼, 없으면 1초, 2초, 4초처럼 점점 길게 쉽니다(여기에 무작위 약간을 더해 여러 호출이 동시에 재시도하는 일을 막습니다). 가짜 서버로 429를 두 번 내고 세 번째에 성공하게 만들어 직접 돌려 봤을 때, 1.0초와 2.9초를 쉰 뒤 총 4.2초 만에 성공했습니다.

import json, random, time
import urllib.request, urllib.error

def post_with_backoff(url, max_retries=5):
    for attempt in range(max_retries):
        req = urllib.request.Request(url, data=b"{}", method="POST")
        try:
            with urllib.request.urlopen(req) as r:
                return json.load(r)
        except urllib.error.HTTPError as e:
            if e.code != 429 or attempt == max_retries - 1:
                raise
            wait = e.headers.get("retry-after")
            wait = float(wait) if wait else 2 ** attempt + random.random()
            time.sleep(wait)

월 지출 상한에 걸린 경우는 이 코드가 도움이 되지 않습니다. 위 2번 유형은 error_code를 먼저 읽어서 재시도하지 말고 알림을 보내야 합니다.

대입해 보기: 동시에 100명이 쓰는 챗봇이라면

숫자를 내 서비스에 대어 봐야 어느 한도가 먼저 닿는지 보입니다. 아래는 이 글이 가정한 값입니다. 사용자 100명이 각자 30초에 한 번씩 질문하고, 질문마다 입력 3,000토큰을 보내 출력 500토큰을 받고, 응답에 20초가 걸린다고 해 보겠습니다.

• 분당 요청: 100명 × 2번 = 200건
• 분당 토큰: 200건 × 3,500 = 70만 토큰(입력 60만, 출력 10만)
• 동시 연결: 초당 요청 약 3.3건 × 응답 20초 = 약 67개

같은 부하인데 OpenAI Tier 1만 막힙니다. 요청 수는 여유로운데 토큰이 먼저 닿습니다. 그래서 이 서비스라면 OpenAI는 50달러를 결제해 Tier 2로 올리거나 입력 길이를 줄여야 합니다. 이 계산은 호출이 고르게 들어온다고 본 것이어서, 한꺼번에 몰리는 순간에는 위 숫자의 몇 배가 필요합니다. 앤트로픽은 이미 캐시된 앞부분이 있다면 입력 쪽 여유가 더 커집니다.

처음 키를 받으면 이렇게 시작합니다

• 지출 상한부터 직접 낮춥니다. OpenAI는 알림과 하드 상한을 구분합니다. 알림은 통지만 보내고 호출은 계속되고, 하드 상한은 넘으면 429를 줍니다. 앤트로픽도 등급 상한보다 낮게 내 상한을 걸 수 있습니다. 실수로 반복문이 돌아도 청구서가 정해진 선에서 멈춥니다.
• 응답 최대 길이는 필요한 만큼만 잡습니다. OpenAI에서는 max_tokens가 한도 계산에 들어가므로 크게 잡을수록 손해입니다.
• 호출 수를 갑자기 늘리지 않습니다. OpenAI의 15분마다 50%를 기준으로 삼으면 세 곳의 급증 한도를 모두 피하기 쉽습니다.
• 일괄 처리는 배치로 보냅니다. OpenAI Tier 1은 GPT-6 계열 배치 대기열이 150만 토큰, 앤트로픽은 배치 요청 대기가 Start 등급에서 20만 건입니다. 즉시 응답이 필요 없는 일을 일반 호출로 보내면 한도를 먼저 쓰게 됩니다.
• 내 서비스의 첫 장애 지점을 계산해 둡니다. 응답이 평균 몇 초 걸리는지, 한 번에 몇 토큰을 보내는지로 분당 요청·토큰·동시 연결 중 어느 쪽이 먼저 닿는지 보면 됩니다. 딥시크라면 동시 연결, 긴 문서를 다루면 토큰, 짧은 질문이 많다면 요청 수가 먼저 닿습니다.

근거로 읽은 문서

• OpenAI: Rate limits 가이드, GPT-6.1 Sol 모델 문서
• 앤트로픽: Rate limits 문서
• 구글: Gemini API Rate limits (로그인 화면으로 넘어가 페이지 요약으로 확인)
• xAI: Consumption and rate limits (2026년 10월 5일 갱신)
• 딥시크: Rate Limit & Isolation

이 글에서 확인하지 못한 것

• 구글 모델별 숫자. 구글 문서는 요청·토큰·일일 요청 숫자를 AI Studio 화면에서만 보여 줍니다. 위 표의 구글 등급 정보는 페이지 요약으로 확인했고, “청구 등급 상한”이 월 단위인지 문서가 표 안에서 풀어 쓰지는 않았습니다.
• 처음 받는 실제 숫자. OpenAI 무료 등급의 모델별 한도, 앤트로픽 평가 등급의 숫자, xAI Tier 0이 결제 없이 열리는지는 문서에 없습니다. 내 계정에서 얼마가 보이는지는 각 콘솔에서 확인해야 합니다.
• 같은 일을 시킨 실측. 이 글은 문서에 적힌 한도를 비교했을 뿐, 같은 부하를 다섯 곳에 직접 걸어 429가 언제 뜨는지 잰 것이 아닙니다. 문서도 적힌 숫자는 최대치이지 보장치가 아니라고 말합니다.
• 모델 성능. GPT-6.1 Sol, Opus 5.5, grok-4.7은 성능이 같지 않습니다. 한도만 비교한 글입니다.

이 글에 나온 낯선 말

• 429: “요청이 너무 많다”는 HTTP 오류 번호입니다.
• RPM·RPS: 분당(초당) 요청 횟수입니다. 질문 한 번이 요청 한 번입니다.
• TPM: 분당 토큰 수입니다. 토큰은 모델이 글을 읽는 단위로, 글자를 잘게 나눈 조각입니다.
• ITPM·OTPM: 앤트로픽이 입력(보내는 글)과 출력(받는 글)을 따로 세는 분당 토큰 한도입니다.
• 동시 연결: 요청을 보낸 뒤 답이 끝나지 않은 채로 열려 있는 연결의 수입니다.
• 캐시(프롬프트 캐싱): 앞부분이 같은 긴 프롬프트를 저장해 두었다가 싸게 다시 쓰는 기능입니다.
• 배치: 급하지 않은 요청을 한꺼번에 맡겨 두고 나중에 결과를 받는 방식입니다.

정리: 상황별로 이렇게 고르겠습니다

다섯 곳의 한도는 숫자 자체보다 무엇을 세고 무엇을 올리는 기준으로 삼는가가 다릅니다. 가입하면 먼저 콘솔의 한도 화면을 열어 지금 보이는 숫자를 확인하고, 지출 상한을 내 손으로 낮춰 두는 것까지가 첫날 할 일입니다.