Gemma 4 성능이 Qwen 3.5 보다 더 좋다는 의견도 있는데 Local fine-tuning 방법을 unsloth에서 notebook 으로 공개했습니다. notebook으로 성공했다는 의견도 있습니다. 

  • Unsloth가 Gemma 4 모델(E2B 및 E4B)을 로컬(최소 8GB VRAM)에서 파인튜닝할 수 있도록 무료 노트북을 공개함.
  • E2B는 LoRA 방식, E4B는 QLoRA(퀀타이제이션 손실이 거의 없음) 방식으로 소개됨.
  • 시각(Vision), 텍스트(Text), 오디오(Audio) 및 추론(inference)용 노트북을 제공하며, 다양한 훈련 유형을 노트북에서 바로 수행 가능하다고 설명. 또한 26B-A4B 및 31B 모델도 Unsloth Studio를 통해 파인튜닝 가능하다고 언급.
  • Unsloth 측 주장은 Gemma 4 훈련을 기존 FA2 대비 약 1.5배 빠르게, VRAM은 약 60% 절감해서 수행할 수 있다는 것.

커뮤니티 반응(댓글 요약)

AD
  • 전반적으로 매우 긍정적이고 흥분된 반응(감사, 환호).
  • 실무 팁: llama.cpp 사용자에게 ‘git pull’ 등 업데이트가 필요하다는 조언(모델 인식 문제 해결 사례).
  • 기술적 이슈/질문:
    • llama.cpp 사용 중 chat template 적용 시 예외 발생(new_len이 -1로 나오는 문제)이라는 디버그 사례 제기.
    • Gemma 4 26B A4B에서 LoRA rank(예: rank 32)가 너무 낮아 보인다는 질문 — trainable parameter 비율(예: 0.23%)과 rank/파라미터 수 관련 혼란과 VRAM/튜닝 한계에 대한 토론 요청.
    • rank를 크게 올려도 trainable 파라미터가 예상만큼 증가하지 않는다는 경험 공유.

Hermes agent WebUI

별로 설명이 없습니다만 개발자 주장에 따르면 Open WebUI는 Hermes agent 특징적인 기능, 예를 들어, Chats, Scheduled Jobs, Skills, Personal Memory, Add and Switch Workspaces, Agent Profiles, and Current Task List 제공을 하지 못한다고 합니다.


※ 출처: Reddit/LocalLLM, OpenClaw

AD

LEAVE A REPLY

Please enter your comment!
Please enter your name here