Lazarus 연구: 뉴런 7개로 바꾼 에이전트와 가중치 감사의 한계

Microsoft Research가 2026년 11월 10일 Lazarus 연구를 공개했다. 연구진은 거의 활성화되지 않는 뉴런 몇 개의 가중치를 바꿨다. 특정 문자열을 본 AI 에이전트가 공격자 명령을 출력하도록 만든 실험이다. 공격자가 이 방식을 쓰려면 먼저 모델 체크포인트를 수정할 권한이 있어야 한다. 일반 대화에 문자열을 넣는 것만으로 원본 모델이 감염되지는 않는다. 공식 연구 발표

작은 가중치 변경이 도구 실행에 미치는 영향

Lazarus는 모델의 마지막 피드포워드 블록에서 평소 잘 작동하지 않는 뉴런을 수정한다. 특정 문자열이 문맥에 나타나면 수정한 뉴런이 지정된 출력 토큰을 밀어주는 방식이다. 연구진은 여러 뉴런을 연결해 명령 문자열을 출력했다. 에이전트가 그 출력을 도구 호출로 실행하면 피해 범위는 에이전트에 부여한 권한에 따라 달라진다.

모델 전체를 다시 학습할 필요는 없다. 공식 연구 소개는 가중치를 수식으로 정한 뒤 해당 부분만 수백 번의 경사 갱신으로 다듬을 수도 있다고 설명한다. 따라서 학습이 전혀 필요 없다는 표현만으로 모든 실험 절차를 설명하기는 어렵다. 공식 연구 요약

성공률과 탐지율의 조건

연구진은 Nemotron-Terminal-8B에서 12,000개가 넘는 뉴런 중 7개를 수정했다. 트리거가 있는 실행과 없는 실행을 합쳐 23개 궤적으로 맞춘 실험이다. 별도 평가에서는 트리거가 있는 궤적의 최소 98.8%에서 공격 출력을 냈으며 트리거가 없는 평가 궤적에서는 공격 출력이 없었다고 보고했다. 이 수치는 연구진의 실험 결과이며 실제 서비스 전체의 공격 성공률은 아니다.

방어 실험에서 기준 모델 없이 검사한 에이전트는 수정된 평가용 체크포인트의 91.4%를 탐지했다. 오탐률은 9.7%였다. 탐지율과 오탐률을 함께 봐야 운영 시 정상 모델을 거부할 부담도 판단할 수 있다. 이 글은 독립 재현 실험을 수행하지 않았다. 연구진의 평가 수치

배포팀이 확인할 모델 이력과 실행 권한

Microsoft는 이 기법을 무기화한 공격자를 관측하지 못했다고 밝혔다. 회사는 배포 전과 업데이트 후에 선언된 기준 모델과 체크포인트의 가중치 차이를 검사하라고 권고한다. 넓게 분산되는 정상 미세조정과 달리 일부 벡터만 크게 달라지는 이상을 찾는 방식이다.

개발팀은 공급자가 공개한 파일 해시와 출처를 확인하고 승인한 모델을 접근 통제된 레지스트리에 보관할 수 있다. 모델 검사와 함께 에이전트의 도구 권한을 줄이고 실행 코드를 격리하는 조치도 필요하다. Microsoft는 외부 통신 제한과 영향이 큰 도구 호출에 대한 사람의 승인도 권고한다.

파일 직렬화나 악성코드 검사는 가중치 수준의 검사와 다루는 위험이 다르다. Microsoft는 검사 통과가 안전한 행동을 보장하지 않는다고 명시한다. Foundry의 출처 확인·컨테이너 검사와 추가 개발 중인 가중치 스캐닝·모델 서명 계획도 구분해서 읽어야 한다. 공식 보안 지침