VS Tip AppAI 비교 · 지도 앱 비교 · 은행 앱 비교 · 스마트 가이드

리랭크 API 6곳, 문서가 길면 값 순서가 뒤집힙니다

글쓴이발행일

리랭크 API 6곳 문서가 길면 값 순서가 뒤집힌다

문서 검색 기능을 만들다 보면 이런 순간이 옵니다. 검색은 되는데 정답이 3등, 5등에 숨어 있습니다. 위의 몇 개만 AI에게 읽히는 구조라면 그 정답은 AI에게 가지도 못합니다. 이때 가장 흔한 처방이 **리랭커(reranker)**를 끼우는 것입니다. 검색으로 모은 후보 수십 개를 질문과 한 쌍씩 다시 읽고 점수를 매겨 순서를 새로 짜는 모델입니다.

지난주 코히어가 Rerank 5를 내놓으면서 이 시장이 다시 눈에 들어왔습니다. 그런데 여섯 곳의 공식 문서를 나란히 읽어 보니 모델 이름보다 먼저 눈에 띈 것은 값을 세는 단위가 두 갈래라는 점이었습니다. 어떤 곳은 읽은 토큰 수로, 어떤 곳은 검색 한 번(후보 100개까지)으로 값을 매깁니다. 그래서 후보가 많고 문서가 길어질수록 “어디가 싼가”의 답이 뒤집힙니다. 후보 100개에 문서가 1,000토큰이면 같은 검색 1,000건이 한 곳에서는 5.10달러, 다른 곳에서는 1.00달러입니다.

이 글은 코히어, 보야지 AI, 지나(Jina), 클라우드플레어 Workers AI, 구글 클라우드, AWS 베드록의 리랭크 문서와 가격 페이지를 2026년 10월 28일에 직접 열어 읽고 정리했습니다. 토큰은 AI가 글을 쪼개 읽는 단위입니다. 아래 청구서는 제가 정한 가정으로 계산한 값이고, 여섯 곳의 API를 실제로 호출해 본 것은 아닙니다. 어디까지 확인했고 어디가 비었는지는 마지막 절에 따로 적었습니다.

리랭크가 하는 일: 임베딩 검색 뒤에 한 번 더 읽는 단계

임베딩 검색은 질문과 문서를 따로따로 숫자 묶음(벡터)으로 바꿔 놓고 가까운 것을 찾습니다. 빠르고 값이 싸지만, 질문과 문서가 서로를 보지 않고 매겨진 점수입니다. 리랭커는 질문과 문서를 한 쌍으로 함께 읽고 점수를 냅니다. 보야지 문서는 이 구조를 “교차 인코더(cross-encoder)“라고 부르고, 임베딩 검색이나 BM25 같은 키워드 검색으로 모은 상위 후보에 얹는 것이 일반적인 쓰임이라고 설명합니다.

그래서 리랭크는 검색을 대체하지 않습니다. 검색이 50개를 가져오면 리랭커가 그 50개의 순서를 다시 매기고, 나는 위의 5개만 AI에게 넘깁니다. 임베딩 모델의 값과 한도는 임베딩 API 비교에서, 벡터를 담는 저장소는 벡터 DB 비교에서 다뤘으니 이 글은 그 뒤 단계만 봅니다.

코히어 문서가 꼽는 쓰임은 네 가지입니다. 기존 키워드·벡터·하이브리드 검색 위에 얹어 재색인 없이 관련도를 올리는 것, RAG(AI가 검색 결과를 읽고 답하는 구조)에서 AI에게 넘길 문맥을 고르는 것, 관련도 문턱값을 정해 “모르겠다”를 돌려주는 것, 티켓을 알려진 이슈에 맞추는 분류성 작업입니다. 세 번째는 점수가 질문이 달라도 같은 눈금이어야 쓸 수 있어서, 모델마다 점수의 성격이 같은지가 뒤에서 한 번 더 중요해집니다.

값을 세는 단위가 두 갈래입니다

여섯 곳을 읽고 가장 먼저 정리한 것은 모델이 아니라 청구서가 무엇을 세는가입니다.

보야지는 토큰을 세는 식까지 문서에 적어 두었습니다. “(질문 토큰 수 × 문서 수) + 모든 문서의 토큰 합계”입니다. 질문이 20토큰이고 후보가 50개면 질문만으로 1,000토큰이 더해집니다. 질문이 길수록, 후보가 많을수록 이 항이 커집니다.

구글은 “한 번의 검색은 문서 100개까지”라고 정의하고, 문서가 100개를 넘으면 100의 배수마다 1을 더한다고 적었습니다. 문서 132개는 2번, 200개도 2번, 399개는 4번, 401개는 5번으로 셉니다. AWS 베드록도 같은 방식입니다. 한 번의 질의는 문서 조각 100개까지이고, 350개를 넣으면 4번으로 셉니다.

코히어: 지난주 나온 Rerank 5, 단가는 토큰으로 적혀 있습니다

코히어는 2026년 10월 21일 Rerank 5를 공개했습니다. 두 단계입니다. rerank-v5.0-pro는 복잡하고 추론이 필요한 질문, 길거나 전문적인 문서에 맞춘 고품질 버전이고, rerank-v5.0-fast는 지연이 짧고 처리량이 큰 작업에 맞춘 가벼운 버전입니다. 모델 크기는 Pro 약 20억, Fast 약 5억 매개변수입니다.

공개된 사양은 이렇습니다.

항목Rerank 5 Pro / Fast
문맥 길이32,768토큰(질문과 문서를 합쳐서)
한 요청의 문서 수최대 10,000개
문서 한 개의 기본 상한max_tokens_per_doc 기본 4,096토큰
질문 길이최대 2,048토큰
언어100개 넘음(영어, 중국어, 한국어, 힌디어, 일본어 등에 초점)
입력텍스트만. 표나 JSON은 YAML 문자열로 넣음
출력문서별 0~1 사이의 보정된 관련도 점수
지침 입력지원하지 않음

가격은 발표 글에 “API 가격은 100만 토큰당 Pro 0.05달러, Fast 0.02달러”라고 한 줄로 적혀 있습니다. 같은 코히어의 이전 모델인 Rerank 3.5는 AWS 베드록 가격 페이지에서 검색 1,000건당 2.00달러로 팔립니다. 코히어 자체 API에서 Rerank 3.5가 어떻게 과금됐는지는 이 글에서 확인하지 못했지만, 같은 회사의 두 모델이 서로 다른 단위로 적혀 있는 셈입니다. 다만 Rerank 5가 토큰을 어떤 식으로 세는지(질문 토큰에 문서 수를 곱하는지)는 발표 글과 모델 문서, API 레퍼런스에서 찾지 못했습니다. 레퍼런스의 응답 예시는 이전 모델 응답이라 search_units 값이 1.0으로 찍혀 있고, 응답 형식에는 input_tokens와 search_units가 둘 다 있습니다. 아래 계산은 보야지 식을 똑같이 적용한 값이며, 문서 토큰만 센다면 4% 안쪽에서 낮아집니다.

Rerank 5의 새 기능은 **컨텍스트 포커스(Context Focus)**입니다. 요청에 relevant_spans를 켜면 문서 순위와 함께 각 문서 안에서 질문과 맞는 구간의 글자 위치(시작·끝)와 점수를 돌려줍니다. 그 구간만 AI에게 넘기면 AI가 읽는 토큰이 줄어듭니다. 기본은 꺼짐이고 코히어 API에서만 쓸 수 있습니다. 코히어가 질문응답 데이터 30개로 잰 값으로는 문맥의 절반을 걷어내도 답변 품질이 96% 유지되고, 4분의 3을 걷어내면 87%가 남았습니다. 이 숫자는 코히어가 자기 평가로 낸 것이고, 문서 스스로도 요약처럼 문서 전체가 필요한 질문, 표·양식·코드가 섞인 문서에서는 효과가 덜하다고 한계를 적어 두었습니다.

한도는 코히어 속도 제한 표에서 리랭크가 시험(trial) 키 분당 10회, 운영(production) 키 분당 1,000회로 적혀 있습니다. 배포 길은 코히어 API 외에 Model Vault(전용 추론), Microsoft Foundry, Amazon SageMaker, 자체 VPC·온프레미스가 있습니다.

보야지 AI: rerank-3와 rerank-3-lite, 질문 토큰에 문서 수가 곱해집니다

보야지의 현재 리랭커는 두 모델입니다. rerank-3은 “정확도가 가장 높고 대부분의 응용에 권한다”고, rerank-3-lite는 “지연에 민감한 응용을 위한 빠르고 값싼 모델”이라고 문서가 설명합니다. 둘 다 문맥 32,000토큰이고, 한 요청에 문서 최대 1,000개, 질문 최대 8,000토큰입니다. 요청 하나의 총 토큰은 60만을 넘을 수 없습니다. 이전 세대인 rerank-2.5(지침을 붙여 관련도를 유도할 수 있다고 문서에 적힌 모델)와 2, 1 계열은 구형 표로 내려가 있고 API에서는 여전히 쓸 수 있습니다.

가격표는 다음과 같습니다.

모델100만 토큰당요청당 추정(문서 100개, 질문+문서 500토큰)무료 토큰
rerank-30.05달러0.0025달러2억
rerank-3-lite0.02달러0.0010달러2억

숫자가 코히어 Rerank 5와 똑같습니다(Pro 0.05달러, Fast 0.02달러). 겹치는 이유는 이 글이 알 수 없습니다. 보야지 문서에서 눈에 띈 것은 두 가지입니다. 하나는 표의 무료 2억 토큰 표시는 rerank-3 줄에 적혀 있는데, 표 바로 위 문장은 “rerank-2.5, rerank-2.5-lite, rerank-2, rerank-2-lite의 처음 2억 토큰이 무료”라고 구형 이름을 적었다는 점입니다. 문서 안에서 어긋나니, 무료 칸이 정확히 어느 모델에 붙는지는 계정 화면에서 확인해야 합니다. 다른 하나는 위에 적은 토큰 세는 식입니다.

속도 제한은 가장 낮은 등급 기준으로 rerank-3가 분당 토큰 200만(TPM)·분당 요청 2,000회, rerank-3-lite가 분당 토큰 400만·요청 2,000회입니다. 이 숫자가 뒤에서 생각보다 일찍 걸립니다. 계산은 “속도 제한이 먼저 걸리는 곳”에서 합니다.

지나(Jina): 0.6B에 문맥 13만 토큰, 그런데 가중치는 비상업 조건입니다

지나의 현재 리랭커는 jina-reranker-v3.5이고 2026년 7월 27일에 나왔습니다. 모델 페이지는 0.6B(6억) 매개변수, 입력 131K(약 13만) 토큰, 지원 언어 93개(학습 언어 24개)라고 적었습니다. 구조가 다른 모델과 다릅니다. 질문과 후보 문서 전부를 하나의 문맥 창에 함께 넣고 문서마다 마지막 토큰에서 표현을 읽어 점수로 바꾸는 방식(“리스트와이즈”)입니다. 지나는 이 방식으로 6억 매개변수 모델이 40억 매개변수급 모델과 맞먹는다고 설명하지만, 지나가 자기 글에서 한 주장입니다.

제공 경로가 많습니다. 모델 페이지는 Elastic Inference Service, Jina API, AWS SageMaker, Microsoft Azure, Google Cloud, Hugging Face, 폐쇄망 배포를 줄줄이 적었고, 가볍게 돌릴 수 있는 GGUF와 애플 실리콘용 MLX 양자화판도 있다고 합니다.

여기서 반드시 읽어야 할 줄이 라이선스 CC-BY-NC-4.0입니다. 비상업(NC) 조건이라 모델 파일을 내 서버에서 상업적으로 돌릴 수는 없습니다. 지나 리랭커 페이지의 문의 답변도 같은 말을 합니다. 토큰을 사는 것은 호스팅 API 사용권일 뿐 가중치를 내 인프라에서 돌릴 권리가 아니고, 그 권리는 Elastic이 2026년 8월 10일부터 연 단위 별도 상품으로 판다고 적혀 있습니다. 정리하면 지나 리랭커는 호스팅 API(토큰 구매)와 가중치 상업 이용(Elastic 연 계약), 두 길로 나뉩니다. 호스팅 API의 토큰당 가격은 이 글에서 확인하지 못했습니다. 그래서 아래 계산표에서 지나는 뺐습니다.

클라우드플레어 Workers AI: bge-reranker-base 하나, 100만 토큰에 0.003달러

클라우드플레어는 리랭커로 BAAI의 @cf/baai/bge-reranker-base 하나를 호스팅합니다. 모델 페이지의 분류는 “Text Classification”이고, 질문 하나와 contexts 배열을 넣으면 각 문맥의 관련도 점수를 돌려줍니다(top_k로 상위 몇 개만 받기도 가능). 문서는 이 점수를 0과 1 사이 값으로 바꾸려면 시그모이드 함수를 쓰라고 안내합니다. 문서 설명대로라면 코히어처럼 보정된 0~1 점수가 아니라 변환이 필요한 점수이니, 문턱값을 정하려면 내 데이터로 직접 맞춰야 합니다.

가격은 가격 페이지에 “100만 입력 토큰당 0.003달러(283 뉴런)”, 모델 페이지에 “0.00311달러”라고 적혀 있습니다. 두 표기는 같은 값입니다. Workers AI의 뉴런 단가가 1,000뉴런당 0.011달러라 283뉴런이 0.00311달러입니다. 무료 칸은 하루 10,000뉴런이고, 이를 토큰으로 바꾸면 하루 약 3,500만 토큰입니다. 초과하려면 Workers 유료 플랜이 필요합니다.

문서가 알려주지 않는 것도 분명합니다. 모델 페이지에 한 문서가 읽을 수 있는 최대 토큰, 한 번에 넣을 수 있는 contexts 수, 지원 언어, 질문 토큰을 문서 수만큼 곱해 세는지가 적혀 있지 않습니다. 속도 제한은 Text Classification 유형 분당 2,000회입니다. 값이 압도적으로 싼 대신 스펙 문서가 얇습니다. 한국어 문서를 다룰 때는 내 데이터로 재 보지 않고 믿기 어렵습니다.

구글 클라우드: 검색 1,000건에 1달러, 후보 100개까지 같은 값

구글의 리랭크는 구글 클라우드 Agent Search 문서에 있는 랭킹 API입니다. 가격 페이지는 “Ranking 1,000건당 1.00달러”로 적었고, 1년·3년 약정 할인 상품(Gemini Enterprise 유연 절약 플랜)으로는 0.90달러, 0.80달러입니다. 한 번의 질의는 문서 100개까지이고 그 이상은 100개 단위로 더해집니다.

모델은 semantic-ranker-default-005(기본)와 semantic-ranker-fast-005(빠른 판)이 2026년 9월 1일에 나왔습니다. 둘 다 텍스트 25개 언어, 문서(레코드) 한 개당 1,024토큰입니다. 이전 004는 같은 1,024토큰, 003은 512토큰이고, 표에 오른 모델의 폐기 시점은 모두 “미정”입니다. 한 요청에 레코드 최대 1,000개까지 넣을 수 있고, 제목과 본문을 합친 길이가 한도를 넘으면 뒤가 잘립니다. 모델 이름을 적지 않으면 semantic-ranker-default@latest로 가서 최신 모델이 바로 적용됩니다. 편한 대신 점수 분포가 어느 날 바뀔 수 있으니 문턱값을 쓴다면 모델 이름을 고정해야 합니다. 점수는 0~1의 실수로 나옵니다.

문서가 1,024토큰을 넘으면 뒤가 잘린다는 점이 구글의 숨은 대가입니다. 값은 길이와 무관하지만 긴 문서는 앞부분만 읽힙니다.

AWS 베드록: 코히어 Rerank 3.5를 검색 1,000건 2달러에 판매

AWS 베드록 가격 페이지에는 리랭크가 두 갈래로 나옵니다. 코히어 모델은 Rerank 3.5가 검색 1,000건당 2.00달러입니다. 질의 하나가 문서 조각 100개까지이고 넘으면 여러 질의로 셉니다. 베드록이 직접 내놓은 Amazon-rerank-v1.0도 “질의 1,000건당” 가격으로 적혀 있는데, 이 줄의 금액 칸이 가격 페이지의 정적 화면에서는 {priceOf!...} 같은 자리표시 문자로만 보여서 얼마인지 확인하지 못했습니다.

같은 페이지의 관리형 지식 베이스 표에는 “관리형 리랭커로 재순위화”가 추가 요금 없이(0달러) 포함된다고 적혀 있습니다. 직접 리랭크 API를 부르는 것과 지식 베이스 안에서 쓰는 것은 청구가 다른 길입니다. 코히어 문서 기준 Rerank 3.5의 문맥은 4,000토큰(4k)입니다.

한 표로 줄 세우면

곳모델과금 단위단가문맥·한도언어확인 못 한 것
코히어Rerank 5 Pro토큰100만당 0.05달러32,768, 문서 10,000개100+토큰 세는 식
코히어Rerank 5 Fast토큰100만당 0.02달러32,768, 문서 10,000개100+토큰 세는 식
보야지rerank-3토큰100만당 0.05달러32,000, 문서 1,000개확인 못 함무료 칸 적용 모델
보야지rerank-3-lite토큰100만당 0.02달러32,000, 문서 1,000개확인 못 함무료 칸 적용 모델
지나jina-reranker-v3.5토큰(추정)확인 못 함131K93API 가격, 상업 사용은 별도 계약
클라우드플레어bge-reranker-base토큰100만당 0.003달러문서에 표기 없음표기 없음문서 길이·개수
구글semantic-ranker-default-005검색 100개까지 1건1,000건당 1.00달러문서당 1,024, 요청당 1,000개25한국어 성능
AWS 베드록코히어 Rerank 3.5검색 100개까지 1건1,000건당 2.00달러4k문서 참조Amazon Rerank 가격

보야지 리랭커 문서의 모델 표에는 지원 언어 목록이 없습니다. 이전 세대인 rerank-2.5는 다국어를 지원한다고 적혀 있고, 코히어의 비교표에는 보야지 Rerank 3의 언어별 점수가 실려 있습니다.

계산 1: 후보 50개, 문서 500토큰이면 구글이 코히어 Pro보다 쌉니다

가정은 이렇습니다. 검색 한 번에 후보가 50개, 후보 문서 한 개가 500토큰, 질문이 20토큰입니다. 보야지 식으로 세면 입력은 20 × 50 + 50 × 500 = 26,000토큰입니다. 코히어와 클라우드플레어도 같은 식으로 센다고 가정했고, 이 가정은 위에 적었듯 문서로 확인하지 못했습니다.

곳검색 1,000건검색 100만 건
클라우드플레어 bge-reranker-base0.08달러약 81달러
코히어 Rerank 5 Fast / 보야지 rerank-3-lite0.52달러520달러
구글 랭킹 API(후보 50개 = 1건)1.00달러1,000달러
코히어 Rerank 5 Pro / 보야지 rerank-31.30달러1,300달러
AWS 베드록 코히어 Rerank 3.52.00달러2,000달러

이 가정에서는 Fast·lite가 구글보다 거의 반값으로 싸고 Pro·rerank-3가 구글보다 30% 비쌉니다. 베드록의 Rerank 3.5가 가장 비쌉니다. 클라우드플레어는 코히어 Fast의 약 6분의 1(0.08 대 0.52)이고 베드록과는 25배 가까이 벌어집니다(0.08 대 2.00).

무료 칸으로 환산하면 보야지의 2억 토큰은 이 가정에서 약 7,700번 검색, 클라우드플레어의 하루 무료 칸은 하루 약 1,360번 검색입니다. 장난감 서비스는 무료 칸 안에서 끝납니다.

계산 2: 후보 100개, 문서 1,000토큰이면 순서가 뒤집힙니다

후보를 100개로 늘리고 문서도 1,000토큰으로 키웁니다. 질문은 그대로 20토큰입니다. 입력은 20 × 100 + 100 × 1,000 = 102,000토큰입니다. 후보 100개는 구글과 베드록이 “검색 1건”으로 치는 한도 끝이고, 구글의 문서당 1,024토큰 한도 안에 들어옵니다.

곳검색 1,000건검색 100만 건
클라우드플레어 bge-reranker-base0.32달러약 317달러
구글 랭킹 API1.00달러1,000달러
AWS 베드록 코히어 Rerank 3.52.00달러2,000달러
코히어 Rerank 5 Fast / 보야지 rerank-3-lite2.04달러2,040달러
코히어 Rerank 5 Pro / 보야지 rerank-35.10달러5,100달러

계산 1에서 구글보다 반값이던 Fast·lite가 계산 2에서는 구글의 두 배이고, 베드록 Rerank 3.5와 사실상 같은 값(2.04 대 2.00)입니다. Pro·rerank-3는 구글의 5.1배입니다. 토큰 과금의 값은 입력에 비례해 약 3.9배로 불어났지만(26,000 → 102,000토큰) 검색 횟수 과금의 값은 그대로이기 때문입니다.

뒤집히는 지점은 단가에서 바로 계산됩니다. 검색 한 번이 구글 기준으로는 0.001달러이고, 토큰 과금 Pro·rerank-3은 100만 토큰에 0.05달러이니, 입력이 2만 토큰을 넘는 순간부터 구글이 쌉니다. Fast·lite는 5만 토큰입니다. 베드록의 Rerank 3.5(검색 한 번 0.002달러)는 Pro와는 4만 토큰, Fast와는 10만 토큰이 지점입니다.

비교입력이 이보다 길면 검색 횟수 과금이 쌈
구글 대 Pro·rerank-320,000토큰
구글 대 Fast·lite50,000토큰
베드록 Rerank 3.5 대 Pro·rerank-340,000토큰
베드록 Rerank 3.5 대 Fast·lite100,000토큰

내 서비스가 어느 쪽인지는 평균 검색의 입력 토큰으로 갈립니다. 위 두 계산은 그 사이에 있습니다. 짧은 FAQ 문장 20개를 줄 세운다면 토큰 과금이, 긴 매뉴얼 단락 100개를 줄 세운다면 검색 횟수 과금이 유리합니다.

속도 제한이 먼저 걸리는 곳

값 다음으로 부딪히는 것이 한도입니다. 보야지의 가장 낮은 등급은 rerank-3이 분당 200만 토큰입니다. 계산 1의 입력(검색당 26,000토큰)이면 분당 약 76건, 계산 2의 입력(102,000토큰)이면 분당 약 19건이 상한입니다. rerank-3-lite는 분당 400만 토큰이라 각각 약 153건, 약 39건입니다. 요청 수 한도(분당 2,000회)는 한참 위에 있어서, 보야지는 요청 수가 아니라 토큰 수로 막힙니다. 서비스가 커져 등급이 올라가는 길은 문서에서 확인하지 못했습니다.

코히어는 운영 키에서 분당 1,000회입니다. 토큰 상한은 속도 제한 표에 적혀 있지 않았습니다. 시험 키는 분당 10회라 개발 단계에서 부하 시험을 하기 어렵습니다. 클라우드플레어의 분당 2,000회는 작업 유형별 상한이고, 구글의 요청당 레코드 1,000개는 한도지만 분당 요청 한도는 이 글에서 확인하지 못했습니다.

품질 숫자는 누가 쟀나: 코히어 자체 평가의 한국어 줄

여섯 곳 중 순위표를 공개한 곳은 코히어였고, 그 숫자는 코히어가 만든 방법(RCP-nDCG@10)으로 코히어가 잰 값입니다. 한국어 줄만 옮기면 이렇습니다. 코히어 내부 평가 모음(20개 언어, 74개 데이터셋)의 한국어 점수입니다.

모델한국어 점수
코히어 Rerank 5 Pro91.8
코히어 Rerank 5 Fast89.9
보야지 Rerank 389.9
코히어 Rerank 4 Pro89.8
Qwen3-Reranker-8B88.0
보야지 Rerank 3 Lite86.6
Qwen3-Reranker-0.6B80.8

Pro와 보야지 Rerank 3의 차이는 1.9점입니다. Fast는 보야지 Rerank 3와 소수점까지 같고 값은 5분의 2(0.02 대 0.05달러)입니다. 이 표만 보면 Fast가 합리적인 선택처럼 보이지만, 독립 기관이 같은 데이터로 잰 순위표는 이 글에서 찾지 못했습니다. 코히어의 BRIGHT(추론이 필요한 검색 평가) 점수 82.2도 보야지 Rerank 3보다 5.8점 높다고 같은 발표 글이 적었으나 역시 자체 평가입니다.

구글·클라우드플레어·지나의 한국어 점수는 이 글에서 같은 기준으로 비교하지 못했습니다. 그래서 이 표는 “누가 더 정확하다”는 증거가 아니라, 코히어가 자기 제품을 이렇게 평가한다는 기록으로만 읽어야 합니다. 또 보정된 0~1 점수를 주는 곳(코히어, 구글)과 원시 점수를 주는 곳(클라우드플레어)은 문턱값을 쓰는 방식이 다릅니다.

내 서비스에 옮기는 순서: 검색 로그 한 줄에서 시작합니다

여기까지의 숫자를 내 서비스에 옮기려면 순서가 필요합니다.

  1. 평균 검색 입력을 잽니다. 로그에서 한 검색의 질문 토큰 수, 후보 수, 후보 문서 토큰 합계를 뽑아 질문 토큰 × 후보 수 + 문서 토큰 합계를 계산합니다. 이 값이 2만 토큰 아래면 토큰 과금, 5만 토큰을 넘으면 검색 횟수 과금을 먼저 봅니다. 그 사이는 가격보다 한도와 품질로 가릅니다.
  2. 후보 수를 줄일 수 있는지 봅니다. 토큰 과금은 후보 수에 비례해 늘고, 검색 횟수 과금은 100개까지 같은 값입니다. 후보를 50개에서 20개로 줄여도 순위가 거의 그대로면 토큰 과금의 값이 절반 이하로 내려갑니다.
  3. 문서를 먼저 자릅니다. 구글은 문서당 1,024토큰, 코히어는 max_tokens_per_doc 기본 4,096토큰에서 자릅니다. 문서가 아닌 단락 단위로 쪼개 넣는 편이 값과 정확도 둘 다에 유리한 경우가 많습니다. 이 부분은 문서에서 확인한 사실이 아니라 제 추정이니 시험으로 확인하세요.
  4. 한국어 정답이 있는 실제 질문 100개로 시험합니다. 질문마다 정답 문서를 손으로 표시하고, 리랭크 전 상위 3개 안에 정답이 든 비율과 리랭크 후의 비율을 비교합니다. 후보를 넓히면 리랭크가 건질 수 있는 정답도 늘지만 값도 늘어납니다. 이 시험이 순위표보다 훨씬 믿을 만합니다.
  5. 문턱값을 쓸 거면 모델 이름을 고정합니다. 구글의 @latest는 모델이 바뀌면 점수 분포도 바뀝니다. 코히어는 보정된 점수라고 설명하고, 클라우드플레어는 시그모이드 변환을 직접 해야 합니다.
  6. 상업 이용 조건을 읽습니다. 지나 모델을 내 서버에서 돌린다면 CC-BY-NC-4.0에 걸립니다. API 사용과 가중치 사용은 계약이 다릅니다.

상황별로 먼저 시험해 볼 곳

이 글이 확인하지 못한 것

기준일은 2026년 10월 28일입니다. 코히어 Rerank 5 발표 글·모델 문서·API 레퍼런스·속도 제한 문서, 보야지의 리랭커·가격·속도 제한 문서, 지나의 리랭커 소개 페이지와 v3.5 모델 페이지, 클라우드플레어 Workers AI 가격·모델·제한 페이지, 구글 클라우드의 랭킹 API 가이드와 Vertex AI Search 가격 페이지, AWS 베드록 가격 페이지를 직접 열어 읽었습니다.

읽은 것은 문서에 적힌 사실이고, 계산한 것은 제가 정한 두 가지 가정(후보 50개·문서 500토큰, 후보 100개·문서 1,000토큰) 위의 청구서입니다. 써 보지 못한 것이 가장 큽니다. 여섯 곳의 API를 한 번도 호출하지 않았기 때문에 실제 지연 시간, 한국어 정확도, 청구서에 찍히는 토큰 수는 이 글에 없습니다. 특히 다음은 비어 있습니다.

가격과 한도는 자주 바뀌는 값입니다. 쓰기 직전에 각 가격 페이지의 최신 값으로 한 번 더 계산해 보세요.