Sarvam Prism: 선택지 확률로 답하는 의사결정 모델과 배포 조건

Sarvam은 2026년 11월 3일 의사결정 전용 모델 Prism을 공개했다. 정해진 선택지 중 어느 쪽이 맞는지 확률로 답하는 모델이다. 고객 문의를 담당 부서로 보내거나 에이전트 실행 기록을 검토할 때 긴 답변에서 결론을 추출하는 단계를 줄이려는 개발자가 살펴볼 만하다. 11월 8일 브리핑에서 발견했지만 공개일은 11월 3일이다. 공식 발표

44ms를 읽을 때 필요한 조건

Sarvam이 발표한 세 평가 지표 평균은 71.8점이며 중앙 응답 시간은 44ms다. 회사가 비교한 25개 모델 가운데 100ms 미만으로 답한 모델로 범위를 좁히면 평균 점수가 가장 높았다는 주장이다. 전체 모델 가운데 정확도가 가장 높다는 주장은 아니다.

측정은 NVIDIA B200 한 장에서 요청 1,000건을 하나씩 보내는 조건으로 진행했다. 모델 카드의 95백분위 지연은 420ms다. 중앙값만 보고 서비스의 느린 요청이나 동시 접속 처리량을 추정하기는 어렵다. 이번 확인에서는 성능을 독립 재현하지 않았다. 공식 평가 설명 · 모델 카드의 측정 조건

선택지 확률을 업무 흐름에 붙이기

공식 API는 입력 상황과 질문을 받아 예·아니요 판정, 단일 선택, 순서가 있는 척도에 답한다. 응답에는 선택지별 확률이 포함된다. 지원 언어는 영어와 인도 언어 10종, Hinglish이며 한국어 지원이나 한국어 평가 결과는 확인하지 못했다. API 문서

개발 단계에서는 실제 문의에 정답 부서를 붙인 표본으로 오분류와 검토 비율을 함께 재는 편이 좋다. 예를 들어 자신감이 낮은 문의를 사람에게 넘긴다면, 자동 처리한 건의 정확도와 사람이 받은 건수가 모두 운영 비용에 들어간다. 이 문단은 도입을 위한 제안이며 Prism으로 측정한 결과가 아니다.

자체 배포와 호스팅 API의 범위

공식 Hugging Face 저장소에는 Apache 2.0 라이선스의 가중치와 추론 코드가 공개돼 있다. 모델 카드는 FP8을 지원하고 약 120GB의 여유 메모리가 있는 NVIDIA GPU 한 장을 요구한다. 전용 FP8 배치를 쓰므로 일반적인 추론 서버에 그대로 올릴 수 없으며 제공한 prism.py로 로드하도록 안내한다. 공식 배포본과 요구 사항

문맥 한도도 경로에 따라 다르다. 로컬 모델 카드는 질문당 131,072토큰을 적고 있지만 호스팅 API 문서는 32,768토큰으로 제한한다. API는 이미지 입력과 스트리밍을 지원하지 않는다. 긴 실행 기록을 평가하려면 실제 사용할 경로의 제한부터 확인해야 한다. API 입력 한도 · 로컬 요청 형식