Branchy 분산 추론 실험: 병렬 분기의 속도와 모델 배포 조건
Branchy는 모델 중간층을 병렬 분기로 학습해 기기 간 대기를 줄인다. 세 기기의 자체 측정과 품질 차이, 공개 모델 파일 및 사설 네트워크 실행 조건을 확인했다.

노트북과 스마트폰에 언어 모델을 나눠 올리면 메모리 부족을 피할 수 있지만 기기 사이에서 결과를 기다리는 시간이 늘어난다. ManuXD32가 공개한 Branchy는 모델 중간층을 병렬 분기로 학습해 이 대기 시간을 줄이는 연구 프로토타입이다. 11월 17일 Reddit에서 개발자가 실험을 소개했다. GitHub API에 기록된 저장소 생성일은 11월 16일 UTC다.
현재 공개된 자료는 연구 코드와 실험 문서다. 아래 성능 수치는 개발자가 보고한 측정값이며 이 글에서 실험을 재현하거나 독립 검증하지 않았다. 공식 저장소에서 구조와 실험 범위를 확인할 수 있다.
한 토큰 늦게 받아 네트워크 대기를 줄인다
일반적인 층 분할에서는 앞 기기가 계산을 마쳐야 다음 기기가 계산한다. Branchy는 중간층을 여러 분기로 나눈다. 각 기기가 분기를 동시에 계산하고 조정 기기가 결과를 합친다.
원격 분기의 결과는 한 토큰 늦게 사용한다. 학습 중에는 일부 분기를 무작위로 빠뜨려 기기가 늦거나 연결이 끊기는 경우도 다룬다. 이 구조는 학습 방식까지 바꾸므로 기존 모델을 분할하는 도구와 적용 조건이 다르다.
개발자는 같은 기기 구성에서 분기 분할이 층 분할보다 1.5~2.6배 빨랐다고 보고했다. 실제 기기는 서버, Ryzen 5 5500U 노트북, Snapdragon 8 Gen 3 스마트폰의 세 대였다. 더 많은 기기에서 낼 성능은 아직 예측 단계다.
품질과 속도를 함께 읽어야 한다
공식 모델 문서에 따르면 비교 대상은 TinyStories로 학습한 313.4M 순차 모델과 309.4M 분기 모델이다. 두 모델의 평가 손실은 각각 1.143과 1.255였다. 개발자는 블라인드 평가에서 분기 모델의 이야기가 45%의 비교에서 선택됐다고 밝혔다.
분기 구조의 속도 수치에는 이 품질 차이가 함께 따른다. 작은 영어 이야기 모델에서 나온 결과를 범용 코딩 모델의 성능으로 해석할 근거는 없다. 개발자가 시험한 서로 다른 세 기기 구성에서는 모델이 한 기기의 메모리에 들어가면 스마트폰 단독 실행이 분산 구성보다 빨랐다고 한다.
반대로 메모리를 제한한 노트북과 스마트폰이 모델을 나눠 실행한 실험에서는 층 분할이 초당 7토큰, 분기 분할이 초당 9~11토큰을 기록했다. 이 역시 해당 장비와 실험 조건에 한정된 자체 측정이다. 모델 구성 문서에는 두 모델의 파라미터 수와 학습 조건이 정리돼 있다.
설치 전에 모델 파일과 실행 권한을 확인한다
빠른 시작 명령의 다운로드 주소는 사용자가 지정하는 형태다. 실제 배포 파일은 Models-v1 릴리스에서 확인했다. GitHub API에 기록된 공개 시각은 11월 16일 20:48 UTC다. 릴리스에는 분기 모델 ZIP, 순차 모델 ZIP, tokenizer.json이 올라와 있다. 모델 문서는 각 가중치 파일의 크기를 약 1.25 GB로 설명한다. 릴리스 안내대로 ZIP을 풀고 토크나이저와 함께 프로젝트 루트의 models 폴더에 넣는다. 이 글에서는 파일 전체 다운로드와 모델 실행까지 검증하지 않았다.
설치 문서에 따르면 Linux x86-64와 Android Termux에서 시험했다. 워커는 공유 비밀을 아는 조정 기기가 보낸 코드를 워커 실행 사용자의 권한으로 실행한다. 따라서 개발자는 통제할 수 있는 사설 네트워크에서만 사용하도록 명시한다. 웹 UI는 기본적으로 127.0.0.1에서 열리며 로그인 기능이 없다. 설치 문서를 먼저 읽고 시험 환경을 정하는 편이 좋다.
코드의 라이선스는 Apache License 2.0이고 문서·결과·학습 모델은 CC BY 4.0이다. 기존 LFM3와 Qwen 가중치는 포함되지 않으며 각 배포자의 라이선스를 따른다. 재현을 시도한다면 실험 재현 안내의 비교 구성을 먼저 확인할 수 있다. 대형 모델에서도 같은 효과가 있는지는 추가 실험으로 확인해야 한다.



Discussion
No comments yet