AI 동향

MOE 시각화 - 토큰이 MoE 모델을 통해 실제로 어떻게 흐르는지 확인할 수 있는 도구 구축 AI 모델 내부의 토큰 흐름을 시각적으로 보여 주는 것은 AI...

Command Code의 DeepSeek 가격 정책에 오해할 만한 표현이 있다합니다. AI 모델이 필요로하는 VRAM 크기는 KV Cache와 같이 메모리를 필요로 하는 다른 요소도 고려해야 합니다....

Claude Code가 MCP/CLI 도구 사용을 잘 하지 않는 이유를 시험을 통해 확인하고 이를 해결하는 방안을 제시한 글이 흥미롭습니다. 오픈소스로 공개한 graft 이야기입니다. 약 100 MCP/CLI...

DeepSeek v4 flash 성능을 향상 시킨 방법을 소개합니다. 속도가 2배 이상 빠르게하는 bash 명령도 있고, 추론 엔진에서 사용하는 옵션도 있습니다. 확인해 보세요. bash 명령 하나로...

실제 Local LLM 사용 후기를 읽는 것은 즐겁습니다. Local OCR 정확도를 높이기 위해 Andrej Karpathy's Autosearch 적용해 본 이야기, 서로 다른 세대의 GPU 2대...

THINKING MACHINES 대형 모델 Inkling 발표 소식과 Colibri의 GLM 5.2-INT4 모델과 동일하지만 INT8 MTP head를 가져서 더 나은 성능을 보여주는 새 모델이 나왔습니다. THINKING MACHINES,...

Batch Size가 커질 수록 Speculative decoding 사용이 성능 저하를 가져온다고 합니다. vLLM은 이 문제를 해결할 수 있는 기능이 포함되어 있다 합니다. PrismML의 Bonsai 27B...

Open Weight 모델 중 현존 최상의 성능을 가진 GLM 5.2 744B 모델을 GPU 없이 CPU와 ~25GB RAM (not VRAM) 장비에서 실행 가능합니다. 성능이 낮아서...

 OpenClaw, Hermes 를 설치하고 실제 사용해 본 사용자 경험담입니다. 막상 OpenClaw, Hermes 설치하고도 어디에 어떻게 사용할 지 몰라서 설치만 하는 분이 많을텐데 실제 사용자...

오늘 소식은 Hermes 게시판에서 가져왔습니다. 올 초 OpenClaw 광풍이 불더니 현재는 Hermes로 관심사가 이전해서 많은 사람이 OpenClaw 언급 보다 Hermes 언급을 많이 하고 시도하고...