Tech Life

AI 모델을 양자화한 Q4,Q5,Q6 모델이 Context 길이에 비례해서 성능 저하 발생 구간이 어디인지 시험한 결과를 정리한 글입니다. Vibe Coding용 무료 AI 모델 자동 전환...

1개 GPU로는 불가능한 대용량 모델 추론을 복수 기기를 이용할 수 있도록 하는 분산 추론 프로젝트 "mesh"가 있습니다. 아직 시작 단계이지만 실제 구현 방안이 소개되어...

※ 이전 글:On-Prem AI 서비스-(1) dcgm-exporter 구성On-Prem AI 서비스-(2) prometheus + grafana 설정On-Prem AI 서비스-(3) Local LLM은 왜 필요할까?On-Prem AI 서비스-(4) OllamaOpen WebUI...

목적  본 글은 Webp 시험을 위한 글입니다. 이 글에서 사용한 그림 파일은 PNG 또는 JPG 그림 파일인데 EWWW IO Plugin 을 이용하여 접속하는 Browser 종류에...

개요 일반 Linux OS 와 Chrome browser 의 Kiosk 모드를 활용하는 방식은 많이 사용하고 있능 방식입니다. 본 글에서는 무료 키오스크 전용 OS 인 Porteus Kiosk...

오늘 Reddit발 OpenClaw 흥미로운 글이 별로 없었습니다. 대신 Local LLM의 PgAdmin 4 v9.13의 AI Assistant query 도구 관련 내용이 있어서 소개합니다.PgAdmin 4 v9.13 -...

오픈 모델인 GLM 5.2 지식 증류를 통해서 보다 작게 경량화 모델을 Local에서 실행하면서 확인한 VRAM 사용량입니다. GLM 5.2는 최고의 Local AI 어제 AI 뉴스 훑어보기 –...

THINKING MACHINES 대형 모델 Inkling 발표 소식과 Colibri의 GLM 5.2-INT4 모델과 동일하지만 INT8 MTP head를 가져서 더 나은 성능을 보여주는 새 모델이 나왔습니다. THINKING MACHINES,...

OpenClaw 요청을 자동으로 무료 API에게 보내주는 도구, CPU 기반의 음성 지원 솔루션, 새로운 Local LLM 실행 도구, 연구자를 위한 ClawPhD agent 등 많은 소식이...

Ollama cloud 사용량을 보여 주는 Chrome 확장입니다. ollama clude 사용량 확인을 위해서는 ollama.com 설정을 방문해야 했는데 이 확장 설치하고 나면 손쉽게 사용량 확인 할...