Foundry Local의 Qwen3.8-27B 코딩 지원: GPU 조건과 Copilot 연결

Microsoft가 11월 5일 Foundry Local에서 Qwen3.8-27B를 실행하고 GitHub Copilot에 연결하는 코딩 구성을 소개했다. 클라우드 추론 비용과 코드 전송이 부담스러운 개발자라면 살펴볼 만하다. 다만 이번 발표가 Foundry Local 전체의 정식 출시를 뜻하지는 않는다. 함께 안내한 CLI 0.13.0은 공개 프리뷰다.

GPU 메모리와 문맥 길이를 함께 본다

Microsoft 공식 발표에 따르면 4비트 모델 크기는 약 18GB다. 회사는 24GB VRAM에서 최대 64K 토큰, 32GB 이상에서 최대 262K 토큰의 문맥을 지원한다고 설명한다. 이를 모든 GPU의 동일한 속도 보장으로 읽어서는 안 된다.

ONNX Runtime을 사용하며 추측 디코딩, KV 캐시 양자화, 접두부 캐시 등을 결합한다. Microsoft의 llama.cpp 비교는 RTX 5090과 DGX Spark에서 수행한 자체 측정이다. 이 글에서는 속도나 코딩 품질을 독립 재현하지 않았다. Mac과 AMD GPU로 이 모델의 지원을 넓히겠다는 내용은 향후 계획이다.

설치보다 먼저 확인할 런타임

CLI 0.13.0 릴리스 노트는 프리뷰 상태와 별도 런타임 설치를 명시한다. x64에는 CUDA 12와 호환 cuDNN 9, ARM64에는 CUDA 13과 호환 cuDNN 9가 필요하다. Windows에서는 DLL 경로, Linux에서는 라이브러리 검색 경로를 설정해야 한다. 환경을 바꾼 뒤 새 터미널에서 서버를 재시작하라는 안내도 있다.

공식 글의 연결 예제는 다음 순서다. Foundry Local CLI 0.13.0 이상을 준비하고 아래 명령으로 모델을 불러온다. 첫 실행에는 모델 다운로드가 발생할 수 있다.

foundry --version
foundry model load qwen3.8-27b
foundry server status

이후 Copilot 앱에서 모델 공급자로 Foundry Local을 추가하고 내 컴퓨터의 상태 명령이 반환한 API 주소를 Base URL에 넣는다. 화면 예제의 포트를 그대로 복사하지 않는다.

로컬 추론의 범위를 확인한다

GitHub의 BYOK 문서는 사용자가 설정한 공급자로 클라이언트가 모델 요청을 직접 보낸다고 설명한다. 지원 범위는 클라이언트와 설정 방식에 따라 달라진다. 로컬 모델을 쓴다고 개발 도구의 모든 통신이 사라진다고 단정할 근거는 없다.

도입 시험에서는 같은 저장소의 작은 수정 작업부터 비교하는 편이 낫다. 응답 시간과 테스트 통과 여부를 기록하고 모델 다운로드 이후에도 패키지 설치나 외부 검색에 네트워크가 필요한지 따로 확인한다. 이는 발표 자료의 성능 주장이 아니라 실제 업무 적합성을 판단하기 위한 점검 제안이다.