Baseten Grid 공개 프리뷰: 코딩 에이전트의 모델 선택과 비용을 한곳에서

코딩 에이전트의 비용을 줄이려면 토큰 단가만 비교해서는 부족하다. 싼 모델이 여러 번 재시도하거나 도구 호출에 실패하면 한 작업을 끝내는 데 드는 총비용은 오히려 늘 수 있다. Baseten이 11월 4일 발표한 Grid는 이런 문제를 겨냥해 모델 선택과 사용량 관리, 정책 적용을 한 계층에 모은다.

Baseten 공식 발표에 따르면 Grid는 공개 프리뷰이며 조기 접근을 위해 대기자 명단에 등록해야 한다. 모든 팀이 즉시 사용할 수 있는 정식 출시로 이해해서는 안 된다.

라우터가 고르는 것은 토큰 단가만이 아니다

Grid의 Baseten Router는 조직이 허용한 모델 목록에서 요청에 맞는 모델을 선택한다. 회사는 예상 작업 성능과 비용을 함께 고려하며 재시도, 실패한 도구 호출, 불완전한 답변도 비용 판단에 포함한다고 설명한다. 개발자가 매번 모델을 직접 바꾸는 부담을 줄이려는 설계다.

게이트웨이는 여러 모델 제공자에 대한 접근과 사용량을 한곳에서 관리한다. 발표에 열거된 제공자는 OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock, Baseten이다. 팀별 모델 접근 권한, 예산, 회사가 관리하는 자격 증명도 다룬다. 별도의 가드레일은 게이트웨이 수준에서 요청과 응답에 설정 가능한 안전 정책을 적용한다.

Baseten은 Claude Code, Codex, OpenCode, Pi를 연결할 수 있다고 밝힌다. 사내 애플리케이션과 에이전트도 Anthropic 또는 OpenAI API를 호출한다면 기본 URL과 모델 ID를 통해 같은 엔드포인트에 연결할 수 있다고 설명한다. 실제 호환성과 설정 범위는 사용하는 클라이언트와 프리뷰 조건을 확인해야 한다.

비용 절감 수치를 읽는 방법

Baseten은 초기 벤치마크에서 Opus 5.5 대비 작업당 비용을 거의 70% 줄이면서 품질 차이는 0.9%포인트였다고 주장한다. 이는 회사가 제시한 실험 결과다. 독립적으로 재현된 결과로 확인하지 않았고 회사도 실제 절감액은 작업 구성과 원하는 비용·품질 균형에 따라 달라진다고 밝힌다.

따라서 도입 여부를 판단할 때는 토큰 가격표와 함께 완료된 작업당 비용을 측정하는 편이 낫다. 같은 작업 묶음에서 성공률, 재시도와 도구 호출 실패, 사람의 수정 시간, 응답 지연을 함께 비교하면 라우팅으로 얻는 이익과 품질 손실을 볼 수 있다. 보안 정책과 데이터 처리 조건도 조직의 요구사항에 맞춰 따로 검토해야 한다.

지금 제공되는 것과 앞으로의 계획

발표에 따르면 팀은 선택적으로 작업 추적 데이터를 공유해 자사 워크로드에 맞춘 라우터 학습에 활용할 수 있다. 반면 장시간 작업을 클라우드 호스팅 에이전트에 위임하고 여러 에이전트를 조율하는 기능, 자체 가드레일 지원 등은 앞으로의 계획으로 소개됐다. 현재 프리뷰에서 이미 제공되는 기능과 구분할 필요가 있다.

모델 선택을 자동화하더라도 최적의 비용과 품질은 팀마다 다르다. 작은 실제 작업 묶음으로 기준선을 만들고 대기자 명단과 프리뷰 접근 조건을 확인한 뒤 비교하는 것이 출발점이다.

출처: Baseten, Introducing Baseten Grid, 2026년 11월 4일

자체검증: 6/6 통과. 고유명사와 수치, 주장 및 프리뷰 조건을 보존했다. 연결어미 뒤 쉼표 3곳을 제거했다. 등급 B (변경률은 게이트 확인).

<!-- /HUMANIZE-SUMMARY -->