Open Weight 모델 중 현존 최상의 성능을 가진 GLM 5.2 744B 모델을 GPU 없이 CPU와 ~25GB RAM (not VRAM) 장비에서 실행 가능합니다. 성능이 낮아서 실 사용은 어렵지만 VRAM 용량 제약을 다른 방식으로 해결했다는 점이 놀랍습니다. 아, 한글 프롬프트 사용에서는 오류가 납니다. Github에서 16.4k 별 받고 있습니다.
Huggingface, GLM 5.2 (744B MoB) Colibri int4 모델
Open Weight 모델 중 현존 최상의 성능을 가진 GLM 5.2 744B 모델을 ~25GB RAM (not VRAM) 장비에서 실행할 수 있는 모델이 나왔습니다. GPU 없이 CPU만으로 실행 가능합니다. GLM 5.2 실행을 위해 최적화한 colibri 추론 엔진을 사용하고, 성능은 실 사용에는 미치지 못하긴 합니다.
※ GitHub: https://github.com/JustVugg/colibri
※ 기본 아이디어: 공통 엔진은 RAM에 놓고, 수만 명의 전문가들은 SSD에 대기 시킨다.
GLM-5.2의 744B MoE 모델에서 토큰마다 활성화되는 파라미터는 약 40B이고, 그 중 토큰에 따라 바뀌는 routed expert 부분 약 11GB에 주목해 이 구조를 만들었다고 합니다. llama.cpp가 “모델을 메모리에 어떻게 배치할 것인가”에 강한 범용 엔진이라면, colibrì는 “거대한 MoE의 Expert를 SSD에서 어떻게 실시간 공급할 것인가”에 특화된 엔진입니다.
(예시)
┌───────────────────────────────┐
│ 항상 사용하는 공통 부분 │
│ Attention / Embedding /Shared Expert │
│ 약 9.9 GB RAM 상주 │
└───────────────────────────────┘
│
▼
다음 Token 계산
│
“이번에는 전문가 17, 92, 201 필요”
│
▼
┌───────────────────────────────┐
│ SSD 약 370 GB │
│ │
│ Expert 1 │
│ Expert 2 │
│ Expert 3 │
│ … │
│ Expert 21,504 │
└───────────────────────────────┘
│
필요한 Expert만 읽기
│
▼
┌───────────────────────────────┐
│ Expert Cache │
│ 자주 쓰는 Expert 보관 │
└───────────────────────────────┘
기본이 CPU 전용이고, GPU 사용할 수 있는 CUDA 옵션이 있습니다만 CPU Only 사용과 큰 차이가 없었습니다.
- 시험 환경: Intel i5-13400F, RTX 4060 Ti 8GB VRAM/32GB RAM, NVME
- MTP 사용 결과: 제 환경에서는 DRAFT=0 > 1 > 2 > 3 순서로 성능이 오히려 떨어집니다.
(참고) 설명에 따르면 MTP 사용이 Expert cache miss 증가로 인해서 성능이 오히려 느려질 수 있다고 함.
아래 시험 결과는 DRAFT=0~2로 변화시키면서 “Explain the difference between RAM and SSD in three sentences.” 질문/답변에 걸리는 시간을 기준으로 비교했습니다. 0.15~0.17 TPS 수준이라서 실 사용은 제한적이지만 colibri 엔진이 추구하는 방향은 기존 VRAM 용량 압박으로 부터 벗어 날 수 있는 기술적인 해결책으로 보입니다.
※ 지난 게시글:
- AI 뉴스 훑어보기 – 2026.7.10
- AI 뉴스 훑어보기 – 2026.7.9
- AI 뉴스 훑어보기 – 2026.7.1
- AI 뉴스 훑어보기 – 2026.6.24
- AI 뉴스 훑어보기 – 2026.6.19
※ 출처: r/LocalLLM, r/openclaw, r/unsloth, r/opencode, r/claude
