AI 모델의 신뢰성 검증을 위한 제로 지식 머신러닝(zkML) 기술이 한 단계 더 진화했다.

라그랑주 랩스(Lagrange Labs)는 최근 기술 블로그를 통해, 자체 개발한 zkML 프루빙 시스템 ‘DeepProve’가 구글의 최신 경량 LLM 모델인 Gemma 3의 추론을 완전 검증하는 데 성공했다고 발표했다.

이는 DeepProve가 상업적으로 주목받는 대형 AI 모델의 추론 전 과정을 처음으로 검증한 사례로, 구조적 확장성과 범용성 면에서 중요한 이정표로 평가된다.

Gemma 3는 Grouped Query Attention(GQA), Local+Global 교차 어텐션, RoPE 위치 인코딩, RMSNorm, GeGLU 활성화 함수 등 경량화에 최적화된 트랜스포머 아키텍처를 도입한 모델이다.

DeepProve는 이 모델의 구조를 지원하기 위해 기존 GPT 스타일 프루빙 프레임워크를 모듈화해 확장하고, 주요 연산 증명 로직을 정비했다.

특히, GQA 처리를 위한 MHA 헤드 그룹화와 MLE 기반 가지치기, RoPE 위치 인코딩을 위한 Hadamard 연산 + 가산 커밋 방식, GeGLU 활성화와 RMSNorm을 위한 증명 경로 등을 개별적으로 구현하여, 최신 트랜스포머 구조를 체계적으로 처리할 수 있게 했다.

또한, DeepProve는 모델 내부에서 반복적으로 재사용되는 텐서(예: RoPE)를 한 번만 커밋하고 그래프 내에서 참조를 공유하는 텐서 중복 제거 메커니즘을 새롭게 도입했다.

이를 통해 긴 시퀀스를 처리하는 모델에서도 증명 비용을 비약적으로 줄일 수 있게 되었으며, 동일 텐서가 여러 층에서 등장하더라도 중복 계산이 필요 없도록 최적화되었다.

그래프 수준에서도 중요한 구조 개선이 있어, 기존의 단순 그래프와 포트 그래프가 혼합된 구조를 버리고 완전한 인하우스 포트 그래프 아키텍처로 전면 교체하여 계층 간 입력·출력 연결을 엄격히 정의하고 분산 증명 및 병렬화 기반 구조로 전환했다.

여기에 파이토치의 ‘einsum’ 표기법에서 영감을 받은 통합 Einsum 증명 계층을 새롭게 도입함으로써 다양한 선형 연산을 하나의 표현으로 통합했고, 이를 통해 증명 논리를 단순화하고 증명 속도를 높였다.

라그랑주는 이러한 업그레이드를 기반으로 향후 멀티 노드 기반 분산 프루빙, 런타임 병렬화 최적화에 집중할 계획이라고 밝혔다.

단일 GPU 수준을 넘어 글로벌 분산 네트워크로 zkML 프루빙을 확장하기 위한 발판이 마련된 셈이다.