Tech Life

TurboQuant 실제 구현/시험한 내용들이 보이기 시작합니다. 원본 모델의 품질 저하 없이 KV 캐시 메모리를 더 작은 bit로 양자화 할 수 있는 기술이라니 관심이 많을...

1개 GPU로는 불가능한 대용량 모델 추론을 복수 기기를 이용할 수 있도록 하는 분산 추론 프로젝트 "mesh"가 있습니다. 아직 시작 단계이지만 실제 구현 방안이 소개되어...

OpenCode Cheet Sheet,LLM  Fine-Tuning Guide입니다.최강의 LLM Fine-Tuning GuideFull-SFT(완전 파인튜닝), LoRA, QLoRA 등 다양한 파인튜닝 기법 설명. NVIDIA 단일 GPU 환경을 기준으로 설명(향후 멀티-GPU, AMD, 프리트레이닝...

Pixal3D, Krea 3의 오픈 소스 버전 발표, 4B~36B 소형 모델을 사용한 SmallCode 안정화 버전 출시, Tencent Hy-MT2 다국어 번역 모델 출시,  Ant 그룹의 Ring-2.6-1T...

로컬 추론 성능이 메모리 대역폭에 좌우되는 시대라는 분석, AI로 수익을 창출할 수 있는 것은 무엇일지, AI 에이전트를 위한  HTML-비디오 변환 도구 HyperFrames 리뷰, Opus...

이전 글, 라즈베리 파이 전용 키오스크 OS 이용한 대시보드에서는 키오스크 전용 OS 를 이용했습니다. 가장 손쉽게 키오스크 대시보드를 만드는 방법이긴 합니다만 웹 서버를 별도로...

MacOS Chrome 에서의 NET::ERR_CERT_REVOKED 가 발생해서 놀라신 경험이 있으신가요? 예를 들어, 기존 사설 인증서(Self-signed certification) 을 사용한 웹 사이트 접속할 때, 해당...

※ 이전 글:On-Prem AI 서비스-(1) dcgm-exporter 구성On-Prem AI 서비스-(2) prometheus + grafana 설정On-Prem AI 서비스-(3) Local LLM은 왜 필요할까?On-Prem AI 서비스-(4) OllamaOpen WebUI...

OpenClaw 사용으로 하루 밤에 $100 사용한 이유에 대한 분석과 개선책, OpenClaw 대시보드인 OpenClaw Studio에 대한 글입니다.I burned $100 in one night using OpenClaw. Here...

OpenClaw 고급 사용자를 위한 실전 팁, Google Colab을 이용해서 무료로 Ollama 모델 시험 할 수 있는 Collama, AI 코딩에 도움이 되는 Memory Layer, OpenClaw용...