vllm

Seongho - 2026-07-15 0

Batch Size가 커질 수록 Speculative decoding 사용이 성능 저하를 가져온다고 합니다. vLLM은 이 문제를 해결할 수 있는 기능이 포함되어 있다 합니다. PrismML의 Bonsai 27B...

Seongho - 2026-07-13 0

Open Weight 모델 중 현존 최상의 성능을 가진 GLM 5.2 744B 모델을 GPU 없이 CPU와 ~25GB RAM (not VRAM) 장비에서 실행 가능합니다. 성능이 낮아서...

Seongho - 2026-07-10 0

OpenClaw, Hermes 를 설치하고 실제 사용해 본 사용자 경험담입니다. 막상 OpenClaw, Hermes 설치하고도 어디에 어떻게 사용할 지 몰라서 설치만 하는 분이 많을텐데 실제 사용자...

Seongho - 2019-12-26 0

이전 글 'Raspberry PI 에서 docker 설치와 실행하기' 을 작성하고 1년이 지났습니다. 올 해에는 RPi3 보다 한 층 성능이 좋아진 Raspberry PI 4 (이하,...

Seongho - 2018-01-31 0

집에서 사용하는 Linux용 PC 는 없고, Mac Mini (High Sierra) 에서의 docker 는 이러저러한 제약이 있다는 것을 알고서는 Raspberry PI (이하, RPi) 를 이용해서...

Seongho - 2018-12-14 0

요즘은 바야흐로 영상의 시대라고 할 정도입니다. 미디어 세대라고 불릴 정도로 문자 위주의 검색이 아닌 동영상 위주의 검색이 활발하다고 합니다. 이러다가는 기존 검색 업체들이 문을...