Attest로 에이전트 CI 검사하기: 녹화 재생과 실제 동작 검증의 범위
녹화한 모델 응답으로 현재 에이전트 코드를 시험하는 Attest를 살펴본다. 실제 녹화의 부작용, 재생 프록시의 범위, 평가 누락 시 병합 정책을 구분한다.

Attest는 녹화한 모델 응답으로 Python과 TypeScript 에이전트의 현재 코드를 시험하는 오픈소스 프레임워크다. 도구 호출 순서와 횟수, 모의 백엔드의 최종 상태를 검사한다. 공식 저장소는 Apache-2.0 라이선스를 명시한다.
11월 15일 개발자가 Reddit에 사용 흐름을 소개했다. 출시일은 별개다. 공식 GitHub 기록상 1.1.0은 2026년 11월 10일 UTC에 공개됐다. 1.1.1은 11월 11일 UTC에 나온 문서 패치이며 평가·재생·정책 동작을 바꾸지 않는다.
답변이 맞아도 환불은 두 번 실행될 수 있다
개발팀의 refund-desk 데모는 실제 고객 사고가 아닌 합성 사례다. 모의 결제 API가 환불을 반영한 뒤 응답을 늦춘다. 에이전트는 타임아웃을 보고 멱등성 키 없이 재시도해 같은 주문에 환불을 두 번 남긴다. 사용자에게 보여 준 답변만 검사하면 이 오류를 놓칠 수 있다.
Attest의 행동 계약은 주문별 issue_refund 호출 횟수를 제한한다. 효과 계약은 모의 백엔드에 남은 환불 건수를 검사한다. 호출 기록과 최종 상태를 따로 확인하는 방식이다. 데모의 결함 수정에는 멱등성 키와 상태 확인이 포함된다. 이 예제는 실제 결제 시스템의 안전성을 입증하지 않는다.
녹화할 때와 CI에서 재생할 때
`attest capture`는 로컬 프록시를 통해 모델 요청과 응답, 실행 흔적을 수집한다. 녹화 시에는 실제 제공자를 호출하거나 외부 시스템을 바꿀 수 있다. 부작용이 있는 작업은 모의 환경이나 폐기 가능한 환경에서 실행해야 한다.
CI에서는 현재 에이전트 코드가 실행된다. 재생 프록시가 녹화한 모델 응답을 돌려준다. 프롬프트나 대화가 달라져 녹화와 맞지 않으면 엄격 재생이 실패한다. 이 결과는 해당 녹화와 계약에 대한 회귀 검사다. 새로운 모델의 응답 품질까지 보장하지 않는다.
생성된 테스트의 프록시는 OPENAI_BASE_URL과 ANTHROPIC_BASE_URL을 바꾼다. 다른 제공자의 요청까지 모두 차단하지는 않는다. 공식 가이드는 다른 제공자의 자격증명도 빼고 실행하라고 안내한다. ATTEST_EGRESS=block 역시 Attest의 가드를 설치한 프로세스에 적용된다. 모든 하위 프로세스를 격리하는 샌드박스로 해석하면 안 된다.
녹화 파일의 비밀 제거는 패턴 기반이다. 민감정보를 전부 지운다는 보장은 없다. 공유 전에는 파일을 직접 검토해야 한다. 자동으로 만든 계약도 검토 대상이다. 녹화한 잘못된 행동을 그대로 기준으로 삼지 않았는지 확인해야 한다.
평가하지 못한 검사는 합격과 다르다
1.1.0 릴리스는 평가하지 않은 assertion chain과 네이티브 테스트 실패를 놓치는 경로를 다룬다. 검사를 구성한 뒤에는 evaluate()로 실행해야 한다. 평가 후 검사를 덧붙였다면 다시 평가해야 한다.
공식 judge 가이드에 따르면 모델 평가자의 잘못된 응답이나 인증 실패는 not_evaluated로 남는다. 이 상태는 합격이 아니다. 다만 기본 병합 정책은 이를 경고로 처리한다. 평가 실패 때 병합도 막으려면 not_evaluated: block 설정이 필요하다.
작은 모의 사례부터 도입하기
refund-desk를 실행하려면 uv, Node.js 22+, pnpm이 필요하다. 데모는 API 키 없이 동작하지만 패키지 설치와 최초 엔진 다운로드에는 네트워크를 쓴다. 공식 저장소를 받은 뒤 다음 명령으로 흐름을 확인한다.
make setup walkthrough데모가 재현하는 것은 정해 둔 결함과 계약의 관계다. 실제 서비스에 적용할 때는 재시도와 중복 실행 같은 자기 서비스의 실패 조건으로 계약을 작성해야 한다. 녹화 재생 검사가 통과해도 실제 모델과 외부 시스템을 연결한 별도 검증은 남는다. 여기서 소개한 동작은 공식 문서와 예제를 대조한 결과이며, 이 글을 위해 데모를 직접 실행하거나 운영 성능을 측정하지는 않았다.



Discussion
No comments yet