All posts

Sketchpad: 세 칸씩 읽는 작은 모델의 산술 정확성 검증과 배포 조건

Sketchpad는 매 단계가 세 칸만 읽도록 제한해 산술 정확성을 검증한다. 2,446개 화면 검사와 Lean 정리의 전제, 브라우저 실행 및 가중치 이용 조건을 살펴본다.

격자 계산지의 세 칸만 읽는 관찰 창과 작은 신경망 칩으로 Sketchpad의 단계별 산술 검증을 표현한 AI 생성 개념도

큰 수를 더하는 모델이 시험 문제를 모두 맞혔다고 해서 처음 보는 길이의 계산까지 보장되지는 않는다. Sketchpad는 계산 한 단계가 읽는 입력을 세 칸으로 제한해 이 문제를 다룬다. MIT Media Lab의 Mostafa ‘Neo’ Mohsenvand가 11월 3일 공개한 연구다. 오늘 발견한 논문이며 새 제품의 정식 출시 소식과는 구분한다. 논문 제출 이력

긴 계산을 작은 입력으로 나누기

Qwen3.5-0.8B에 1,020만 개 매개변수의 LoRA 어댑터를 붙였다. 모델은 작업지의 세 칸을 이미지로 읽고 숫자, 올림이나 빌림, 다음 연산을 출력한다. 런타임은 결과를 적고 관찰 위치를 옮긴다. 모델이 이전 단계의 대화 기록을 계속 읽지 않는 구조다. 공식 저장소

이 구조에서는 가능한 입력 화면이 2,446개로 묶인다. 저자는 그 화면을 모두 정확히 처리하면 어떤 길이의 실행도 기준 절차와 일치한다는 정리를 Lean으로 증명했다고 보고했다. 단, 런타임이 허용된 화면만 내보내고 기준 절차가 올바르다는 전제가 있다. 작업지 배치와 고전 산술 절차 자체를 Lean으로 형식화한 것은 아니다. 논문 3절

측정 결과와 보장의 범위

저자는 Apple M4의 WebGPU·16비트 실행에서 2,446개 화면을 모두 통과했다고 보고했다. 사전 등록한 비교 문제 220개도 모두 맞혔으며 문제에는 최대 1,000자리 덧셈과 20자리 곱셈이 포함된다. 이 수치는 저자의 실험 결과다. 이번 확인에서는 모델 실행이나 Lean 빌드를 독립적으로 재현하지 않았다. 공식 결과 설명

산술 정확성은 문장제 이해까지 보장하지 않는다. 대화용 어댑터는 개발에 쓰지 않은 GSM8K 문항에서 기반 모델보다 5.8점 낮았다고 논문과 모델 카드가 밝힌다. 다른 GPU나 실행 정밀도를 쓸 때도 인증 조건을 다시 확인해야 한다. 모델 카드

실행보다 먼저 확인할 이용 조건

공식 저장소의 데모는 처음에 녹화된 실행을 보여준다. 직접 실행하려면 모델을 불러와야 하며 약 1.9GB 다운로드와 WebGPU 지원 브라우저가 필요하다는 안내가 있다. 코드의 라이선스는 Apache 2.0이다. 실행 안내

가중치에는 별도의 독점 라이선스가 붙어 있다. 현재 문서는 수정하지 않은 모델을 공식 데모 안에서 개인 평가 목적으로 실행하는 것만 허용하고 상업 이용·수정·재배포 등을 제한한다. 기반 Qwen 모델의 라이선스만 보고 같은 조건으로 배포해서는 안 된다. 가중치 라이선스

개발자 관점에서 참고할 설계는 검증할 입력 공간을 작게 만드는 방식이다. 서비스에 적용하려면 계산 단계의 정확성에 더해 문제를 식으로 옮기는 과정과 런타임도 검토해야 한다. 이는 논문을 바탕으로 한 해석이며 범용 계산기나 운영용 모델로의 교체를 권하는 결론은 아니다.

Discussion

No comments yet