All posts

Qwen3.8 pi 어댑터 공개: 코딩 점수와 체크포인트 선택 조건

pi용 Qwen3.8 LoRA 어댑터의 코딩 평가를 체크포인트 선택 조건과 함께 살핀다. GGUF 미재평가와 실행 설정도 확인한다.

Qwen pi 코딩 에이전트용 LoRA 어댑터를 상징하는 은색 모듈과 검은 서버, 코드 패널 및 평가 카드의 개념 일러스트

harness-hub의 Qwen3.8-27B-pi-adapted는 pi 코딩 에이전트용 LoRA 어댑터다. 공식 저장소 생성일은 2026년 11월 16일이며 18일 브리핑에서 소개됐다. 18일을 최초 공개일로 단정하지 않는다.

평가 점수를 읽는 조건

제작진은 thinking을 끄고 pi에서 과제당 한 번 시도했다. SWE-bench Pro의 어려운 51개 과제에서 기본 모델은 39.2%, 어댑터는 64.7%를 기록했다. 차이는 25.5%p다. Terminal-Bench 2.1의 두 모델 공통 채점 86개 과제에서는 39.5%에서 55.8%로 올랐다.

제작진은 SWE-bench Pro 점수와 Terminal-Bench 일부 과제 점수를 보며 step 160을 골랐다. 따라서 이 평가를 체크포인트 선택과 완전히 분리된 시험으로 해석하면 안 된다. 수치는 제작진의 측정이며 이 글에서 독립적으로 재현하지 않았다. 다른 하네스와 전체 SWE-bench Pro를 사용하는 기본 모델 카드의 점수와도 직접 비교하기 어렵다.

실행 설정과 공개 범위

모델 카드에 따르면 AsyncGRPO와 LoRA로 학습했으며 어댑터 라이선스는 Apache-2.0이다. 실행에는 기본 모델 Qwen/Qwen3.8-27B가 필요하다.

vLLM 설정은 enable_thinking을 false로 두고 --mamba-cache-mode align을 사용한다. pi에는 "api": "openai-completions"를 지정한다. 제작진은 Responses API로 학습하거나 평가하지 않았다고 명시했다.

GGUF 어댑터도 공개됐지만 재평가는 하지 않았다. 양자화 버전에서 같은 점수가 나오는지는 별도 확인이 필요하다.

출처: 공식 모델 카드, 저장소 메타데이터. 발견 경로: AI Weekly 11월 18일 브리핑.

Discussion

No comments yet