프롬프트푸는 오픈AI 소속, 라가스 마지막 버전은 1월

글쓴이김성진·발행일2026년 10월 29일

AI 챗봇이나 검색 기능을 서비스에 올려 본 분이라면 이런 경험이 있을 겁니다. 프롬프트(AI에게 주는 지시문) 한 줄을 고쳤더니 어제까지 잘 되던 질문이 갑자기 엉뚱한 답을 합니다. 어디서 망가졌는지 알려면 같은 질문 수십 개를 다시 던지고 답을 눈으로 비교해야 하는데, 이 일이 하루를 통째로 먹습니다. 이 반복을 대신해 주는 도구가 LLM 평가(eval) 도구입니다. 질문 묶음과 채점 규칙을 한 번 적어 두면, 지시문이나 모델을 바꿀 때마다 같은 시험을 돌려 점수를 내 줍니다.

이 분야는 오픈소스 도구가 여러 갈래로 갈려 있고, 인터넷의 비교 글은 대부분 기능 표만 늘어놓습니다. 이번에 프롬프트푸(promptfoo), 딥이발(DeepEval), 라가스(Ragas), 인스펙트(Inspect AI), 오픈AI 이발스(openai/evals) 다섯 곳을 열어 보고 가장 먼저 눈에 띈 것은 기능이 아니라 관리 상태였습니다. 프롬프트푸 README 첫머리에는 “Promptfoo is now part of OpenAI”(프롬프트푸는 이제 오픈AI의 일부)라고 적혀 있습니다. 라가스의 마지막 정식 버전은 올해 1월 13일에 나온 0.4.3입니다. 별(스타) 수가 비슷해 보여도 지금 어느 도구가 움직이고 있는지는 꽤 다릅니다.

이 글은 2026년 10월 29일에 GitHub 저장소 정보(API), PyPI·npm 패키지 기록, 각 프로젝트의 문서와 요금 페이지를 직접 열어 읽고 정리했습니다. 그리고 프롬프트푸와 인스펙트는 제 윈도우 11 컴퓨터에 설치해, 실제 AI를 부르지 않는 모의 모델로 시험을 한 번씩 돌려 봤습니다. 딥이발, 라가스, 오픈AI 이발스는 설치하지 않았습니다. 어느 도구가 더 정확하게 채점하는지도 재 보지 않았습니다. 이 글이 알려 드리는 것은 “각 도구가 무엇이고, 얼마나 살아 있고, 돈이 드는 지점이 어디인지”입니다.

시험지, 채점 규칙, 점수표: 평가 도구의 세 부품

평가 도구는 부품이 세 개입니다. 첫째는 시험지, 곧 질문 묶음입니다. “환불은 며칠 안에 되나요?” 같은 질문을 20개, 200개씩 모읍니다. 둘째는 채점 규칙입니다. 답에 특정 단어가 들어 있는지, 올바른 JSON 형식인지, 3초 안에 왔는지 같은 것입니다. 셋째는 점수표입니다. 지시문을 바꾼 전후의 통과율을 나란히 보여 줍니다.

채점 규칙은 크게 두 갈래입니다.

• 정답 맞히기: 글자가 들어 있는가, 정규식에 맞는가, JSON인가, 응답 시간과 비용이 기준 안인가를 코드로 판정합니다. AI를 부르지 않으므로 추가 비용이 0입니다.
• AI 심사위원: 다른 AI에게 “이 답이 질문에 맞는가?”를 물어 점수를 받습니다. 영어권에서는 LLM-as-judge라고 부릅니다. 사람이 읽고 판단하던 항목(요약의 품질, 말투)을 자동화할 수 있지만, 채점 한 번마다 AI 호출이 한 번 이상 일어납니다.

그래서 평가 도구를 고를 때 “지표가 몇 개냐”보다 먼저 볼 것은 내가 쓸 채점 방식이 어느 쪽이냐입니다. 뒤의 ‘심사위원 비용’ 절에서 이 차이를 숫자로 계산합니다.

운영 중인 서비스의 호출 기록을 모아 보는 도구(Langfuse, LangSmith, Helicone, Braintrust, Arize)는 LLM 관측 도구 비교에서 다뤘습니다. 이 글은 서비스에 올리기 전에 시험지를 돌리는 쪽입니다.

다섯 곳을 한 줄씩

RAG는 검색한 문서를 AI에게 읽혀 답하게 하는 구조입니다. 파이테스트는 파이썬 개발자가 코드를 시험할 때 쓰는 표준 도구인데, 딥이발은 이 사용법을 AI 답변 시험에 옮겨 왔습니다.

별 수보다 달력을 보세요: 2026년 10월 29일 저장소 상태

GitHub 저장소 정보를 같은 날 한꺼번에 조회했습니다. 최신 정식 버전은 npm·PyPI 등록 기록 기준입니다.

“열린 이슈·PR”은 GitHub가 이슈와 풀 리퀘스트(코드 반영 요청)를 합쳐서 세는 값입니다.

별 수만 보면 프롬프트푸가 앞서고 딥이발, 오픈AI 이발스, 라가스가 비슷한 무리로 보입니다. 하지만 달력을 같이 놓으면 그림이 달라집니다.

• 프롬프트푸·딥이발·인스펙트: 최근 며칠 안에 새 버전이 나왔고 코드도 올라왔습니다.
• 라가스: 새 정식 버전이 1월 13일 이후 없고, 코드도 2월 24일 이후 올라오지 않았습니다. 별이 1만 6천 개인 도구인데 코드가 올라온 지 8개월이 됐습니다.
• 오픈AI 이발스: 파이썬 패키지는 2024년 5월 이후 갱신이 없고 코드는 4월 14일이 마지막입니다. 별은 많지만 README는 대시보드 쪽으로 안내합니다. 자세한 것은 뒤에서 봅니다.

딥이발은 한 가지를 더 확인해야 했습니다. GitHub의 “최신 릴리스” 표시는 9월 22일의 python-v4.2.4인데, 패키지 저장소인 PyPI에는 10월 27일의 4.3.2가 올라와 있습니다. 위 표는 사용자가 실제로 설치하는 PyPI 기록을 따랐습니다.

여기서 조심할 점이 있습니다. 새 버전이 없다는 것이 못 쓴다는 뜻은 아닙니다. 기능이 이미 안정된 도구는 조용할 수 있습니다. 다만 평가 도구는 AI 쪽 변화(도구 호출, 에이전트, 멀티모달)를 따라가야 하는 물건이어서, 조용한 도구는 내가 쓸 최신 모델과 방식을 지원하는지 직접 시험해 보고 고르는 편이 안전합니다.

프롬프트푸: 오픈AI 소속이 된 MIT 도구

프롬프트푸는 GitHub 소개에서 스스로를 “LLM 앱을 평가하고 레드팀(일부러 공격해 보는 시험)하는 명령줄 도구이자 라이브러리”라고 설명합니다. 설치는 npm install -g promptfoo, brew install promptfoo, pip install promptfoo, 설치 없이 npx promptfoo@latest 중에서 고를 수 있습니다. 평가는 내 컴퓨터에서 로컬로 돌아간다고 README가 적었습니다. PyPI의 promptfoo 0.2.0(9월 18일)은 이 명령줄 도구를 파이썬에서 부르는 껍데기이고, 본체는 npm의 0.125.1입니다.

소속이 바뀐 점이 이 도구에서 가장 큰 사실입니다. README에 “Promptfoo is now part of OpenAI”라는 문장이 있고, 같은 README는 “오픈소스이며 MIT 라이선스 그대로”라고 적었습니다. 소개란에는 “오픈AI와 앤스로픽이 쓴다(Used by OpenAI and Anthropic)“는 문구도 있습니다. 합류 시점과 조건은 1차 자료로 확인하지 못했습니다. 제3자 글은 3월 무렵을 가리키지만 1차 자료가 아니어서 이 글의 근거로는 쓰지 않았습니다. 이 소속이 채점에 영향을 준다는 근거는 없습니다. 다만 여러 회사 모델을 나란히 평가하는 일이 이 도구의 주된 쓰임이어서, 모델 회사 한 곳이 도구를 가졌다는 사실은 알고 선택하시길 권합니다. 라이선스가 MIT이므로 최악의 경우에도 지금 버전을 가져다 쓰거나 복제(포크)할 길은 열려 있습니다.

채점 규칙은 문서 목록 기준 63가지입니다. 정답 맞히기 계열이 46가지, 모델의 도움을 받는 계열이 17가지입니다.

• 정답 맞히기 예: equals, contains, regex, is-json, is-sql, latency(응답 시간), cost(호출 비용), javascript, python, 함수 호출 형식 검사, 에이전트의 도구 사용 순서 검사
• 모델 보조 예: llm-rubric(내가 쓴 기준표로 심사), g-eval, factuality, context-faithfulness, answer-relevance, select-best

점수 계산은 단순합니다. 검사마다 가중치가 기본 1.0이고, 한 시험의 점수는 가중 평균입니다. threshold(통과선)를 정하면 점수가 그 이상일 때 통과이고, 정하지 않으면 가중치가 0이 아닌 검사가 전부 통과해야 합니다. 가중치를 0으로 두면 점수에는 안 넣고 기록만 합니다.

직접 돌려 본 결과입니다. 윈도우 11에서 npx [email protected]로 설정 파일 하나를 만들었습니다. 공급자는 프롬프트를 그대로 되돌려주는 echo를 써서 AI 호출 비용이 들지 않게 했고, 시험은 두 건이었습니다. 한 건은 답에 “서울”이 들어 있는지, 다른 한 건은 “대구”가 들어 있는지 봤고, 일부러 두 번째가 실패하도록 짰습니다. 결과는 1건 통과, 1건 실패(50%)였고 종료 코드는 100이었습니다. 종료 코드가 0이 아니므로 CI(코드를 올릴 때 자동으로 돌리는 검사)에서 이 명령 하나로 “시험 실패 시 배포 중단”을 걸 수 있습니다. 처음 실행은 패키지를 내려받느라 1분 28초가 걸렸습니다(이 컴퓨터, 이 날 기준). 이때 캐시는 일부러 껐습니다. README가 캐시 기능을 쓸 수 있다고 적었는데, 같은 호출을 반복할 때 비용을 줄이는 쪽입니다.

가격은 요금 페이지에 세 단계로 적혀 있습니다.

달러 금액은 페이지 어디에도 없었습니다. 공개판의 레드팀 한도(월 1만 프로브)는 평가 자체와 별개로 걸린 상한입니다. 레드팀은 AI 앱에 일부러 나쁜 입력을 넣어 보는 안전 시험입니다. 이쪽 서비스를 비교한 글은 AI 가드레일 API 비교에서 볼 수 있습니다.

딥이발: 파이테스트 쓰듯 돌리는 지표 41개

딥이발은 파이썬 라이브러리입니다. README는 스스로를 “파이테스트와 비슷하지만 LLM 앱 단위 시험에 특화됐다”고 소개합니다. 설치는 pip install -U deepeval이고, PyPI 기록상 파이썬 3.9 이상 4 미만이 필요합니다. 시험은 deepeval test run으로 돌리고, 코드 안에서는 assert_test로 통과 여부를 겁니다. 노트북에서는 시험 없이 evaluate()를 부를 수 있습니다.

기본 지표는 41개, 여덟 묶음입니다. README 목록을 합치면 이렇습니다.

• 직접 만드는 지표 3
• 에이전트 8
• 여러 번 대화하는 경우(멀티턴) 5
• 음성 5
• RAG 6
• MCP 3
• 멀티모달 5
• 기타 6

RAG 묶음 안에 RAGAS 지표가 한 줄 포함돼 있습니다. G-Eval은 README가 “내가 정한 기준으로 사람처럼 채점하는, 연구에 근거한 LLM 심사 지표”라고 설명하는 항목입니다. 에이전트가 어떤 순서로 도구를 불렀는지 따라가며 채점하려면 @observe() 표시와 evals_iterator() 흐름을 쓰고, 오픈AI·앤스로픽·랭체인·크루AI·구글 ADK 등과 연동하는 예가 README에 있습니다.

README가 레드팀을 다루는 방식은 조심해서 읽어야 합니다. 로드맵 항목에 “레드팀”이 있고 기업 대상 플랫폼 쪽에 “기본 제공 레드팀”이 적혔지만, 오픈소스 쪽 레드팀 기능은 설명하지 않았습니다. 레드팀이 필요하면 프롬프트푸 쪽이 문서상 분명합니다.

플랫폼은 따로 있습니다. 딥이발은 Confident AI 팀이 만들었고, Confident AI는 그들이 파는 호스팅 서비스입니다. README는 deepeval login을 하면 시험 결과가 그 플랫폼에 쌓인다고 적었습니다. 요금 페이지는 이렇습니다.

Starter와 Team 요금은 조직 하나당 월 요금이고 사용자 수로 늘지 않는다고 페이지에 적혀 있습니다. 포함량을 넘으면 데이터 1 GB-월당 1달러가 더 붙습니다. GB-월은 한 달 동안 저장한 데이터의 양입니다. Free는 한도를 넘으면 추가 시험 실행이 잠기고 추가 추적 데이터는 버려집니다. 가장 눈여겨볼 곳은 Free의 “시험 실행 주 5회”입니다. 클라우드에서 쓸 때 하루 한 번 이상 돌리려면 바로 한도에 닿습니다. 반대로 로컬에서 오픈소스 라이브러리만 쓰면 이 제한은 없습니다.

라가스: RAG 지표 30개, 그런데 마지막 정식 버전은 1월 13일

라가스는 RAG 평가 지표로 이름을 알린 도구입니다. 공식 문서의 지표 목록은 7묶음 30개입니다.

문서는 “LLM 기반 지표는 점수를 내려고 LLM을 한 번 이상 부를 수 있다”고 적었을 뿐, 지표마다 심사 모델이 필요한지 표시하지는 않았습니다. 이름으로 보면 BLEU·ROUGE·정확히 일치 같은 문자열 비교 계열은 심사 모델 없이 계산될 것 같지만, 그것은 제 추측이고 문서가 확인해 주지는 않습니다. 쓰기 전에 지표별 문서를 열어 보세요.

상태는 앞서 말한 대로입니다. 정식 버전 0.4.3이 1월 13일, 마지막 코드가 2월 24일이고 열린 이슈·PR은 642개입니다. 저장소 주소는 explodinggradients에서 vibrantlabsai로 옮겨졌고(옛 주소로 접속하면 HTTP 301, 영구 이전 응답이 돌아옵니다), LICENSE 파일의 저작권자는 Vibrant Labs입니다. README의 템플릿 목록에서 RAG 평가는 지금 쓸 수 있고, 에이전트 평가(agent_evals)는 “곧 공개(Coming Soon)“로 표시돼 있습니다. 지표 목록에는 에이전트 항목이 4개 있으니, 지표는 있어도 시작 템플릿은 아직이라는 뜻으로 읽힙니다.

라가스는 “지표가 어떻게 정의되는지” 문서를 읽기에는 여전히 좋은 자료입니다. 다만 최신 모델이나 에이전트 형식에 맞춰 바로 쓰려면 먼저 작은 시험으로 돌아가는지 확인해야 합니다. 같은 RAG 지표를 한 줄 가져다 쓰는 길은 딥이발의 RAG 묶음에도 있습니다.

인스펙트: 에이전트를 가둬 놓고 시험하는 연구용 틀

인스펙트는 영국 AI안전연구소(UK AI Security Institute)와 Meridian Labs가 만든 평가 프레임워크입니다. 개발 사이트가 설명하는 뼈대는 Task = Dataset + Solver + Scorer입니다. 데이터셋은 입력과 정답이 짝지어진 샘플, 솔버는 답을 만드는 단계(generate() 한 번부터 완전한 에이전트까지), 스코어러는 채점입니다.

다른 네 도구와 가장 다른 점은 샌드박스와 에이전트입니다.

• 샌드박스: 도커, 쿠버네티스, 모달(Modal), 프록스목스(Proxmox), 베이그런트(Vagrant)를 지원하고, 확장 API로 다른 환경을 붙일 수 있다고 적혀 있습니다. 에이전트가 코드를 실행하는 시험을 내 컴퓨터가 아니라 격리된 곳에서 하겠다는 설계입니다.
• 에이전트: 기본 제공 react() 에이전트와 다중 에이전트 구성 요소가 있고, 클로드 코드·코덱스 CLI·제미나이 CLI 같은 외부 에이전트도 시험 대상으로 돌릴 수 있다고 합니다.
• 결과 보기: inspect view 명령으로 웹 화면에서 기록을 봅니다. VS Code 확장도 있습니다.
• 자료 규모: 미리 만들어 둔 평가가 200개 넘게 있고, 모델 공급자는 20곳 넘게 내장돼 있으며 허깅페이스·vLLM·SGLang으로 로컬 모델도 부를 수 있다고 소개합니다.

설치는 pip install inspect-ai이고 PyPI 기록상 파이썬 3.11 이상이 필요합니다. 라이선스는 MIT입니다. 별은 3,126개로 다섯 곳 중 가장 적지만 최신 버전 0.3.286이 어제(10월 28일) 나왔습니다.

직접 돌려 본 결과입니다. 파이썬 3.14.7 가상환경에 설치하자 0.3.286이 깔렸습니다. 질문 두 개(“한국의 수도는?”, “일본의 수도는?”)에 includes()(답에 정답 글자가 들어 있는지) 채점을 붙이고, 실제 AI 대신 모의 모델 mockllm/model을 지정해 돌렸습니다. 모의 모델은 정해진 문장만 돌려주므로 정확도는 0.000으로 나왔습니다. 여기서 눈여겨본 것이 두 가지입니다.

첫째, 정확도가 0인데도 종료 코드는 0이었습니다. 앞의 프롬프트푸는 시험이 실패하면 100을 돌려줬던 것과 대조됩니다. 인스펙트로 점수 기준 CI 차단을 하려면 결과 기록을 읽어서 판정하는 단계를 따로 두어야 할 수 있습니다. 이쪽은 제가 문서에서 해결 방법을 확인하지 못했습니다. 둘째, 윈도우에서는 시작할 때 “Control server failed to start … module ‘socket’ has no attribute ‘AF_UNIX‘“라는 경고가 떴습니다. 실시간 제어 화면 없이 평가는 끝까지 돌아갔고 결과 파일도 만들어졌지만, 윈도우 사용자는 이 경고를 만난다는 것을 알아 두시길 바랍니다.

오픈AI 이발스 저장소: 대시보드로 안내하는 원조

openai/evals는 이 분야의 원조 격입니다. 별 19,672개에 포크 3,125개로 관심은 컸습니다. 지금 상태는 README에서 읽을 수 있습니다.

• 맨 위 배너: “You can now configure and run Evals directly in the OpenAI Dashboard”(이제 OpenAI 대시보드에서 바로 평가를 설정하고 돌릴 수 있습니다). 저장소가 폐기됐다는 문장은 없습니다.
• 기여 안내: “we are currently not accepting evals with custom code!”(코드를 직접 넣은 평가는 지금 받지 않습니다). YAML로 정의하는 모델 채점형 평가는 받습니다.
• 설치: pip install evals, 파이썬 3.9 이상, 환경변수 OPENAI_API_KEY가 필요합니다. 레지스트리 데이터는 Git-LFS(큰 파일 저장 방식)로 받아야 합니다.
• 활동: 마지막 코드 4월 14일, PyPI 패키지 마지막 등록은 2024년 5월 1일의 3.0.1.post1입니다.

라이선스는 README 문장에는 MIT로 적혀 있는데 GitHub의 자동 판정은 “판정 불가(NOASSERTION)“로 나옵니다. 쓰기 전에 LICENSE 파일을 직접 여는 편이 안전합니다. 대시보드 Evals의 기능과 요금은 이번에 확인하지 않았습니다. 이 저장소를 지금 새로 시작하는 프로젝트의 기본 도구로 삼을 이유는 크지 않아 보이고, OpenAI 모델을 대시보드에서 평가하려는 경우에 참고할 쪽으로 보입니다.

다섯 곳을 같은 칸에 놓으면

“확인 못 함”은 해당 기능이 없다는 뜻이 아니라, 제가 읽은 페이지에서 찾지 못했다는 뜻입니다.

심사위원 비용: 시험 200개에 지표 4개면 호출이 800번입니다

AI 심사위원 방식에서는 시험 개수 × 지표 개수만큼 AI 호출이 일어납니다. 예를 들어 시험지 200개에 심사 지표 4개를 붙이면 한 번 돌릴 때 호출이 800번입니다. 아래는 제가 정한 가정으로 계산한 값입니다. 실제 도구가 호출 횟수를 어떻게 세는지는 지표마다 다를 수 있습니다.

• 호출 한 번에 입력 1,500토큰, 출력 200토큰이 쓰인다고 가정합니다. 토큰은 AI가 글을 쪼개 읽는 단위입니다. 질문, 답, 채점 기준표를 한꺼번에 넣으면 이 정도가 되기 쉽습니다.
• 한 번 돌리면 입력 120만 토큰, 출력 16만 토큰입니다. (800 × 1,500 = 1,200,000, 800 × 200 = 160,000)
• 심사 모델 단가를 입력 100만 토큰당 1달러, 출력 100만 토큰당 5달러라고 가정하면 한 번에 2.00달러(입력 1.20달러 + 출력 0.80달러)입니다.
• 하루에 10번 돌리면 20달러, 30일이면 600달러입니다.

같은 시험을 정답 맞히기 규칙(contains, regex, is-json, latency 같은 것)으로 바꿀 수 있는 항목은 이 호출이 0번이 됩니다. 그래서 순서는 이렇게 잡는 편이 합리적입니다. 코드로 판정할 수 있는 것은 코드로 하고, 사람의 감각이 필요한 항목에만 AI 심사위원을 붙입니다. 같은 입력의 호출을 반복한다면 캐시를 쓰는 길도 있습니다. 프롬프트푸 README는 캐시 기능을 소개합니다.

심사 호출은 몇 시간 늦어도 상관없는 경우가 많아서, 속도 대신 값을 낮추는 등급을 가진 곳이 있다면 쓸 만합니다. 곳마다 어떤 등급을 어떤 조건으로 파는지는 AI API 속도 등급 비교에서 정리했습니다.

첫 주에 할 일: 실패한 질문 20개 모으기

처음부터 200개짜리 시험지를 만들 필요는 없습니다. 아래 순서가 시간 대비 효과가 가장 큽니다.

1. 실패한 질문 20개를 모읍니다. 사용자가 불만을 표시했거나 직접 틀린 걸 확인한 질문 20개를 모아 두고, 각각 “답에 꼭 있어야 할 것”을 한 줄씩 적습니다.
2. 정답 맞히기로 먼저 채점합니다. 포함되어야 할 단어, 나오면 안 되는 단어, JSON 형식, 응답 시간, 호출 비용부터 거는 것입니다. 이 단계는 비용이 0입니다.
3. 한 번 돌려 종료 코드를 확인합니다. 실패했을 때 0이 아닌 값을 돌려주는 도구(프롬프트푸는 제 실험에서 100)는 CI에 바로 끼울 수 있습니다. 인스펙트처럼 0을 돌려주는 도구는 결과를 읽는 단계가 더 필요합니다.
4. 정말 필요한 항목에만 AI 심사위원을 붙입니다. 요약의 정확도나 말투처럼 코드로 못 보는 것만 골라, 위의 호출 수 계산을 먼저 해 봅니다.
5. 결과를 어디에 모을지 정합니다. 프롬프트푸는 promptfoo view, 인스펙트는 inspect view로 로컬 화면에서 보고, 딥이발은 Confident AI에 올릴 수 있습니다. 클라우드 Free의 “주 5회”가 내 사용 횟수에 맞는지 계산합니다.
6. 분기마다 저장소 날짜를 봅니다. 이 글의 표를 만든 방식 그대로, 최신 버전 날짜와 마지막 코드가 올라온 날을 확인하는 데 5분이면 됩니다.

이럴 땐 이 도구부터

• 프롬프트와 모델을 바꿔 가며 나란히 비교하고 싶다: 프롬프트푸. YAML 한 파일로 시작하고 MIT입니다. 오픈AI 소속이라는 점이 마음에 걸리면 라이선스상 복제할 수 있다는 점을 기억하세요.
• 파이썬 코드를 짜는 팀이고, 이미 파이테스트를 쓴다: 딥이발. deepeval test run으로 시험을 CI에 얹기 쉽습니다. 호스팅은 필요할 때 Free부터 쓰면 됩니다.
• 검색(RAG) 품질 지표의 정의를 보고 싶다: 라가스 문서. 다만 설치해서 쓸 때는 최신 환경에서 돌아가는지 작은 시험부터 하세요. 딥이발의 RAG 묶음도 선택지입니다.
• 에이전트가 코드를 실행하는 시험을 격리된 곳에서 하고 싶다 / 안전 연구: 인스펙트. 샌드박스와 에이전트 구성 요소가 문서에 있고, 파이썬 3.11 이상이 필요합니다.
• OpenAI 모델만 쓰고 웹 화면에서 하고 싶다: OpenAI 대시보드 Evals. 이 글은 기능과 요금을 확인하지 않았으니 공식 문서에서 직접 보세요. 오픈AI 이발스 저장소는 참고용으로 보는 편이 낫습니다.

이번에 재 보지 못한 것

• 채점 품질: 어느 도구의 심사 지표가 사람 판단과 더 가까운지는 재 보지 않았습니다.
• 직접 써 본 범위: 프롬프트푸(0.125.1)와 인스펙트(0.3.286)만 설치해 모의 모델로 한 번씩 돌렸습니다. 딥이발, 라가스, 오픈AI 이발스는 설치하지 않았고 저장소·문서·패키지 기록을 읽은 정리입니다.
• 프롬프트푸의 오픈AI 합류: README 문장만 확인했고 합류 시점, 조건, 앞으로의 운영 방침은 1차 자료로 확인하지 못했습니다.
• 가격: 프롬프트푸 엔터프라이즈·온프레미스는 금액이 공개돼 있지 않았습니다. 딥이발 Starter·Team의 시험 실행 한도는 요금 페이지에 표기가 없었습니다. 라가스와 인스펙트의 호스팅 요금제는 확인하지 못했습니다.
• 숫자의 시점: 별 수, 열린 이슈·PR, 마지막 코드 날짜는 2026년 10월 29일에 조회한 값이고 매일 바뀝니다. 딥이발은 GitHub 최신 릴리스 표시와 PyPI 기록이 달라 PyPI를 따랐습니다.
• 라가스의 지표별 LLM 사용 여부: 문서가 지표마다 구분해 두지 않았습니다.
• 인스펙트의 CI 판정: 점수 기준으로 종료 코드를 바꾸는 방법이 있는지 문서에서 찾지 못했습니다.
• 윈도우 외 환경: 제 실험은 윈도우 11에서만 했습니다. 인스펙트의 경고는 맥·리눅스에서는 다를 수 있습니다.