On-Prem AI 서비스-(3) Local LLM은 왜 필요할까?
Local LLM 구축의 동기많은 AI 서비스 제공 업체들이 무료/유료 서비스를 제공하고 있기에 간단하게 여러가지 AI를 쉽게 사용 가능합니다. 반대로 Local LLM과 같은 On-Prem AI...
On-Prem AI 서비스-(2) prometheus + grafana 설정
※ 이전 글: On-Prem AI 서비스-(1) dcgm-exporter 구성개인 장비에서 다양한 AI 모델을 시험하다 보니 GPU 자원을 얼마나 사용하는지 소비 전력이나 온도 상승은 어느 정도인지...
