AI 동향

OpenClaw 보다 발표 시기는 늦었지만 요즘 대세인 Hermes 입니다. Hermes의 'Bot Mode' 이용해서 Orchestration 구성하고 운영하기 위한 Tutorial입니다. Youtube 자동 번역 기능 켜고 보시기...

발표한 Ollama Cloud 새로운 가격 정책에 대한 반응은 대체적으로 부정적 반응을 살펴보시죠. 일반 소비자용 GPU 8GB, 16GB VRAM 에서 Qwen 3.6이나 3.8 대용량 모델을...

Command Code의 DeepSeek 가격 정책에 오해할 만한 표현이 있다합니다. AI 모델이 필요로하는 VRAM 크기는 KV Cache와 같이 메모리를 필요로 하는 다른 요소도 고려해야 합니다....

DeepSeek v4 flash 성능을 향상 시킨 방법을 소개합니다. 속도가 2배 이상 빠르게하는 bash 명령도 있고, 추론 엔진에서 사용하는 옵션도 있습니다. 확인해 보세요. bash 명령 하나로...

실제 Local LLM 사용 후기를 읽는 것은 즐겁습니다. Local OCR 정확도를 높이기 위해 Andrej Karpathy's Autosearch 적용해 본 이야기, 서로 다른 세대의 GPU 2대...

Claude Code가 MCP/CLI 도구 사용을 잘 하지 않는 이유를 시험을 통해 확인하고 이를 해결하는 방안을 제시한 글이 흥미롭습니다. 오픈소스로 공개한 graft 이야기입니다. 약 100 MCP/CLI...

MOE 시각화 - 토큰이 MoE 모델을 통해 실제로 어떻게 흐르는지 확인할 수 있는 도구 구축 AI 모델 내부의 토큰 흐름을 시각적으로 보여 주는 것은 AI...

THINKING MACHINES 대형 모델 Inkling 발표 소식과 Colibri의 GLM 5.2-INT4 모델과 동일하지만 INT8 MTP head를 가져서 더 나은 성능을 보여주는 새 모델이 나왔습니다. THINKING MACHINES,...

Batch Size가 커질 수록 Speculative decoding 사용이 성능 저하를 가져온다고 합니다. vLLM은 이 문제를 해결할 수 있는 기능이 포함되어 있다 합니다. PrismML의 Bonsai 27B...

Open Weight 모델 중 현존 최상의 성능을 가진 GLM 5.2 744B 모델을 GPU 없이 CPU와 ~25GB RAM (not VRAM) 장비에서 실행 가능합니다. 성능이 낮아서...