Tech Life

DeepSeek v4 flash 성능을 향상 시킨 방법을 소개합니다. 속도가 2배 이상 빠르게하는 bash 명령도 있고, 추론 엔진에서 사용하는 옵션도 있습니다. 확인해 보세요. bash 명령 하나로...

실제 Local LLM 사용 후기를 읽는 것은 즐겁습니다. Local OCR 정확도를 높이기 위해 Andrej Karpathy's Autosearch 적용해 본 이야기, 서로 다른 세대의 GPU 2대...

Batch Size가 커질 수록 Speculative decoding 사용이 성능 저하를 가져온다고 합니다. vLLM은 이 문제를 해결할 수 있는 기능이 포함되어 있다 합니다. PrismML의 Bonsai 27B...

THINKING MACHINES 대형 모델 Inkling 발표 소식과 Colibri의 GLM 5.2-INT4 모델과 동일하지만 INT8 MTP head를 가져서 더 나은 성능을 보여주는 새 모델이 나왔습니다. THINKING MACHINES,...

Open Weight 모델 중 현존 최상의 성능을 가진 GLM 5.2 744B 모델을 GPU 없이 CPU와 ~25GB RAM (not VRAM) 장비에서 실행 가능합니다. 성능이 낮아서...

 OpenClaw, Hermes 를 설치하고 실제 사용해 본 사용자 경험담입니다. 막상 OpenClaw, Hermes 설치하고도 어디에 어떻게 사용할 지 몰라서 설치만 하는 분이 많을텐데 실제 사용자...

오늘 소식은 Hermes 게시판에서 가져왔습니다. 올 초 OpenClaw 광풍이 불더니 현재는 Hermes로 관심사가 이전해서 많은 사람이 OpenClaw 언급 보다 Hermes 언급을 많이 하고 시도하고...

Nvidia에서 Qwen3.6-27B-FP8의 양자화 모델인 Qwen3.6-27B-NVFP4 모델을 공개했습니다. 파라미터수와 파일 크기는 줄어들었지만 성능은 원 모델 성능과 대등한 결과를 보인다고 합니다. Local Ollama 사용하시는 분들을 위한...

Baidu에서 공개한 Unlimited-OCR. 기존 OCR 모델들이 가지는 제약 사항인 100페이지나 되는 대용량 문서 분석도 가능하다고 해서 기대하고 있습니다. Baidu, Unlimited-OCR 공개 2일 전, Baidu에서 Unlimited-OCR을 발표했습니다....

  평소 부하가 적은 대시보드로 사용 중인 장비인데 부하가 점점 증가해서 전체적으로 성능이 저하되는 문제가 반복되었습니다. CPU 부하를 보니 kidle_inject 라는 프로세스가 CPU 부하를...