Batch Size가 커질 수록 Speculative decoding 사용이 성능 저하를 가져온다고 합니다. vLLM은 이 문제를 해결할 수 있는 기능이 포함되어 있다 합니다. PrismML의 Bonsai 27B 모델은 VRAM 10GB 이하에서 Qwen 3.6 27B의 90% 지능을 가지는 모델을 공개했습니다.
Speculative decoding이 오히려 모델을 느리게 만들 수 있습니다.
추론 과정에서 다음 토큰을 동시에 여러 개 만듦으로써 추론 성능을 올려주는 “Speculative decoding (이하, SD)” 방식이 Batch Size(이하, BS)가 클 경우에는 오히려 AI 모델 성능을 저하 시킬 수 있다고 합니다. SD 방식은 동시 생성하는 토큰 수를 고정하고 있는데 BS가 커지는 것에 따라서 동적으로 변경하면 성능 저하를 줄일 수 있다고 합니다. “Dynamic Speculative decoding (이하, DSD)” 이라고 하는데 이미 올 초에 vLLM 기능에 포함되어 있다고 합니다. 글 내용은 상당히 기술적인 내용을 담고 있고, DSD 방식과 기존 DS 방식 사용했을 때의성능 변화, 동적 토큰 수의 최적 수치를 정하는 방식에 대한 설명을 하고 있습니다.
쉽게 이해해 보면, BS=128 또는 256인 경우, SD 보다 DSD를 사용하는게 유리하겠습니다.
자세한 내용은 원문을 참고하시기 바랍니다.
PrismML, Qwen 3.6 27B 기반의 압축 모델인 Bonsai 27B 공개
Qwen 3.6 27B (FP16) 모델은 VRAM 54GB가 필요해서 일반 사용자 환경에서 사용하기 어렵습니다. PrismML 에서 일반 사용자 환경에서도 Qwen 3.6 27B의 90% 지능의 모델을 공개했습니다.
- Ternary Bonsai 27B: 5.9 GB, 가중치당 1.71 효과적 비트, 노트북 클래스 품질에 최적화.
https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf
Context 크기별 필요한 VRAM 크기는 아래와 같다고 합니다. 단위가 빠져있는데 GB 겠죠?
- 1-bit Bonsai 27B: 3.9 GB, 가중치당 1.125 효과적 비트, 휴대폰 클래스 공간에 최적화.
https://huggingface.co/prism-ml/Bonsai-27B-gguf
※ 지난 게시글:
- AI 뉴스 훑어보기 – 2026.7.13
- AI 뉴스 훑어보기 – 2026.7.10
- AI 뉴스 훑어보기 – 2026.7.9
- AI 뉴스 훑어보기 – 2026.7.1
- AI 뉴스 훑어보기 – 2026.6.24
※ 출처: r/LocalLLM, r/openclaw, r/unsloth, r/opencode, r/claude
