Qwen3.8 pi 어댑터 공개: 코딩 점수와 체크포인트 선택 조건
pi용 Qwen3.8 LoRA 어댑터의 코딩 평가를 체크포인트 선택 조건과 함께 살핀다. GGUF 미재평가와 실행 설정도 확인한다.

harness-hub의 Qwen3.8-27B-pi-adapted는 pi 코딩 에이전트용 LoRA 어댑터다. 공식 저장소 생성일은 2026년 11월 16일이며 18일 브리핑에서 소개됐다. 18일을 최초 공개일로 단정하지 않는다.
평가 점수를 읽는 조건
제작진은 thinking을 끄고 pi에서 과제당 한 번 시도했다. SWE-bench Pro의 어려운 51개 과제에서 기본 모델은 39.2%, 어댑터는 64.7%를 기록했다. 차이는 25.5%p다. Terminal-Bench 2.1의 두 모델 공통 채점 86개 과제에서는 39.5%에서 55.8%로 올랐다.
제작진은 SWE-bench Pro 점수와 Terminal-Bench 일부 과제 점수를 보며 step 160을 골랐다. 따라서 이 평가를 체크포인트 선택과 완전히 분리된 시험으로 해석하면 안 된다. 수치는 제작진의 측정이며 이 글에서 독립적으로 재현하지 않았다. 다른 하네스와 전체 SWE-bench Pro를 사용하는 기본 모델 카드의 점수와도 직접 비교하기 어렵다.
실행 설정과 공개 범위
모델 카드에 따르면 AsyncGRPO와 LoRA로 학습했으며 어댑터 라이선스는 Apache-2.0이다. 실행에는 기본 모델 Qwen/Qwen3.8-27B가 필요하다.
vLLM 설정은 enable_thinking을 false로 두고 --mamba-cache-mode align을 사용한다. pi에는 "api": "openai-completions"를 지정한다. 제작진은 Responses API로 학습하거나 평가하지 않았다고 명시했다.
GGUF 어댑터도 공개됐지만 재평가는 하지 않았다. 양자화 버전에서 같은 점수가 나오는지는 별도 확인이 필요하다.
출처: 공식 모델 카드, 저장소 메타데이터. 발견 경로: AI Weekly 11월 18일 브리핑.



Discussion
No comments yet