Tree-Ising 연구: 추론 반복을 고치는 가중치 수정과 비용 비교 조건

Tree-Ising은 작은 언어 모델이 추론을 반복하다 답을 끝내지 못하는 문제를 가중치 수정으로 다룬 연구다. Hadi Salloum과 Ammar Ali는 2026년 11월 10일 논문을 제출했다. 논문 초록

가중치를 어떻게 고쳤나

연구진은 BF16 가중치의 부호와 지수를 수정한다. 출력 행마다 QUBO 문제를 푼다. 연구진은 GPU에서 시뮬레이티드 어닐링 등을 실행했다. 역전파나 LLM 토큰은 쓰지 않았다. 방법

정확도와 비용의 비교 조건

연구진은 문제당 생성 4회 조건으로 Qwen3.5-0.8B를 평가했다. MATH-500 정확도는 기존 에이전트 수정이 51.7%, Tree-Ising 어닐링이 54.6%였다고 보고했다. 독립 재현 결과는 아니다.

논문은 실행당 GPU 비용을 약 0.90달러로 추산한다. 다만 기존 에이전트의 해법 탐색 전체와 이미 정한 수정 절차의 실행을 비교했다. Tree-Ising은 0.8B 실험에서 기존 에이전트가 고른 층과 수정량 정보를 활용했다. 양쪽 방법의 개발 비용도 제외했다. 평가와 비용

MATH-500에는 개발 중 살펴본 100문제가 포함된다. 나머지 400문제에서도 개선을 보고했지만 일반 언어 능력과 지시 이행의 부작용은 평가하지 않았다. 한계

적용 전에 확인할 것

공식 저장소에는 README만 있고 코드 공개를 예고한다. 아직 실행 가능한 구현을 확보했다고 볼 수 없다. 공식 저장소

도입을 검토한다면 코드 공개 뒤 같은 평가 조건부터 재현해야 한다. 수정 전후의 답변 종료율과 서비스 고유 작업의 품질을 함께 확인하는 편이 좋다. 비용을 추정할 때도 실패 원인 탐색과 수정 실행을 따로 계산해야 비교가 가능하다.