Tech Life

1개 GPU로는 불가능한 대용량 모델 추론을 복수 기기를 이용할 수 있도록 하는 분산 추론 프로젝트 "mesh"가 있습니다. 아직 시작 단계이지만 실제 구현 방안이 소개되어...

Huggingface, ollama 등 오픈 소스 AI 모델 배포처에 보면 다양한 형식의 AI 모델이 있습니다. 동일한 모델인데도 다양한 변종 모델이 존재하는데 모델 이름에 가장 많이...

 Ollama Cloud Pro/Max 사용량을 Free Tier 사용량을 이용해 추정했다고 합니다. 추정치를 보면 Local AI agent 또는 coding agent 운영에 ollama cloud도 충분히 매력적입니다. 3월...

 4월 시작하자마자 Gemma 4, Qwen 3.6, GLM-5V-Turbo 와 같이 기존 모델 보다 성능이 더 좋은 AI 모델을 발표하고 있습니다. PrismML의 Bonsai-qwen 1-bit 양자화 모델,...

개인 장비에서 다양한 AI 모델을 시험하다 보니 GPU 자원을 얼마나 사용하는지 소비 전력이나 온도 상승은 어느 정도인지 GPU 모니터링 필요성이 느껴졌습니다. 이에 간단히 구성...

요즘은 바야흐로 영상의 시대라고 할 정도입니다. 미디어 세대라고 불릴 정도로 문자 위주의 검색이 아닌 동영상 위주의 검색이 활발하다고 합니다. 이러다가는 기존 검색 업체들이 문을...

문제 해결했습니다. 범인은 바로 "닌텐도 스위치" !!!동일한 설정에서 문제가 없다는 글을 보고 TV에 연결했던 모든 HDMI 기기 연결 제거하고 PS5-LG 48C2-JBL...

OpenClaw가 아직 Moltbot 이란 이름을 가지고, AI 기술 분야에서 회자되기 시작할 무렵에 OpenClaw 설치를 시작했었습니다. 사용자 가이드가 부실하고 체계가 잡혀 있지도 않았기에 OpenClaw AI...

구글에서 최근 발표한 새로은 온라인 벡터 양자화 알고리즘 TurboQuant 을 직접 시험해 본 결과가 재미있습니다. 그 외에도 오늘은 다양한 소식이 많으니 직접 확인해 보시기...

Gemma 4 성능이 Qwen 3.5 보다 더 좋다는 의견도 있는데 Local fine-tuning 방법을 unsloth에서 notebook 으로 공개했습니다. notebook으로 성공했다는 의견도 있습니다. Gemma 4 local fine-tuning...