OpenClaw에서 Gemma4 사용할 때 발생할 수 있는 버그와 임시 조치 방안을 확인하세요. ollama, llama.cpp 도구 호출 실패 경험해 보았는데 AI 모델 선택할 때 반드시 도구 호출 시험은 해 보시기 바랍니다.

Gemma 4 사용하는 OpenClaw 실행이 실패하는 모든 버그와 임시 조치 방안

4월 발표한 AI 모델 중에서 가장 성능이 뛰어나다는 평가를 받고 있는 Gemma 4를 OpenClaw와 연계하면 Ollama, llama.cpp에서 도구 호출(Tool Calling) 실패, 토크나이저, 스트리밍 등에서 문제가 발생한다고 합니다. 참고로, 필자도 Ollama + Qwen2.5-coder 모델 등 사용해 보았는데 ollama 내부적인 느슨한 규정으로 인해 도구 호출 실패가 발생하는 것을 경험해 보았었습니다. 

AD
맨 위로 이동

주요 문제와 해결책

1. Ollama에서의 툴 호출(tool calling) 불안정

  • 일부 버전에서 도구 호출 구문 분석기(parser) 충돌과 호출 누락, 또는 호출 내용을 reasoning 필드에 넣어 클라이언트가 못 보는 등 문제 발생.
  • 권장 해결: 가능하면 Ollama 대신 소스에서 빌드한 llama.cpp 사용. (llama.cpp의 PR 수정들이 병합되어 있음). Ollama를 쓸 경우 최신(작성 시점 기준 패치 포함된) 버전으로 올리고 툴 호출 동작을 명시적으로 테스트.


2. 토크나이저의 줄바꿈 버그(수정됨)

  • double-newline(빈 줄) 처리 오류로 토큰화가 깨지거나 같은 잡음 토큰이 출력될 수 있었음.
  • 해결: llama.cpp HEAD(최신 커밋)에서 해당 PR이 병합되어 수정됨 — 최신 빌드 사용 권장.


3. Ollama base URL 관련 치명적 실수

  • 베이스 URL 끝에 불필요하게 특정 경로를 붙이면(게시물에서 경고한 구성) 툴 호출이 전혀 작동하지 않음 (대화창에 결과물이 JSON 단순 텍스트로 출력됩니다).
  • 해결: 베이스 URL 설정을 게시물 지침대로 정확히 구성(경로 추가하지 않음)을 권장.
예시에서도 설명하고 있지만 ollama의 BASE URL 기입할 때, OpenAI 호환 URL 형식, http://ollama:11434/v1 형식은 안되고 순수 Ollama 서비스 URL 형식으로 설정해야 합니다.


4. Flash attention이 31B dense 모델에서 멈춤 현상

  • flash attention 사용 시 프롬프트 길이가 몇 천 토큰 이상이면 모델이 무한정 멈추는 문제 보고.
  • 해결: 환경변수로 flash attention 비활성화(예: OLLAMA_FLASH_ATTENTION=0) 후 재시작하거나, 31B 대신 26B MoE 버전 사용.
Gemma4-31B 모델은 ollama는 Local & Cloud 버전 모두 제공하고 있습니다. 저자가 언급한 오류가 Local & Cloud 모두에서 발생하는지 아니면 어느 한 쪽에서만 발생하는지는 언급이 없습니다. 단지, 31B dense 라고 한 것으로 보아서는 Local 모델에서 시험한 것으로 추정합니다.

5. 모델 설정의 reasoning 모드 문제

  • reasoning 모드가 OpenClaw의 예상 툴-콜 포맷을 깨뜨려 툴 호출에 문제를 일으킴.
  • 해결: 모델 설정에 “reasoning”: false 추가.


6. OpenClaw의 Google 공급자 미지원(Gemma 4)

  • OpenClaw의 Google 네이티브 공급자가 Gemma 4 모델 식별자를 아직 인식하지 못함(FailoverError 발생).
  • 해결: Google AI Studio의 무료 티어 등에서 쓰려면 Google의 v1beta(또는 OpenAI 호환 엔드포인트) 방식으로 우회하거나 OpenAI 호환 공급자 사용.


당장 안정적으로 잘 작동하는 대안 모델로는 qwen 3.5 27B, devstral-24B 등은 현재 툴 호출이 안정적이라 로컬에서 바로 쓰기 좋음.

기타 유의사항

  • 일부 Ollama 버전(예: 게시물 기준 0.20.x 계열)에 따라 패치 적용 상황이 다르므로 버전 확인과 툴 호출 테스트가 필수.

87가지 OpenClaw 사용법

어렵게 OpenClaw 설정을 하고 나서는 실제 적용할 작업을 찾는게 쉽지는 않습니다. 저자는 본인이 적용해 본 87가지의 간단한 작업 부터 복잡한 작업에 이르기까지 사용처를 명시했습니다. 목록을 읽다 보면 새로운 적용 방안이 떠오를지도 모릅니다.

DGX SPARK에서 Qwen 3.5 122B A10B 모델을 50tok/s 시험 후기

Nvidia DGX Spark는 통합 RAM 128GB를 가진 개인 슈퍼 컴퓨터로 AI 모델 훈련이나 개발에 활용하는 장비입니다. 3rd party 제품도 다양한데 저자는 Asus Ascent 장비 이용해서 Qwen 3.5 122B A10B 모델을 시험한 내용을 공유하고 있습니다. OpenWeb UI, OpenCode 에서의 도구 호출도 잘 동작했고, Searxng이용해서 동시에 10개 Web 사이트 자료 수집과 동시 50개의 웹 검색도 잘 수행했다고 합니다. 

SDPF Language Specification For AI Prompting v1.2

공인 기구에서 제시한 표준안은 아닙니다만 정리한 문서 내용은 AI 프롬프트 작성에 참고할 만 해 보여서 소개합니다. 단순 참고하시기 바랍니다.

맨 위로 이동
  • SDPF 개요: SDPF는 AI 프롬프트와 시스템 명세 작성을 위한 공식(specification) 언어로 소개됨.
  • 목적: AI가 추측해서 처리하는 대신, 완전하고 모호함이 없는 명세(Technical Specification Prompts, TSP)를 만들어 신뢰 가능한 AI 출력과 책임 소재를 확보하려는 것.
  • 필수 절차(Phase 0): 모든 명세 작업 전에 문제 식별 및 정의(Problem Identification and Definition)를 의무화. 문제는 시도 전에 네 가지 테스트로 검증·정량화·확인되어야 함.
  • 핵심 원칙 3가지:
    • Specification First — 계약(명세)이 완성·잠금되지 않으면 구현을 시작하지 않음.
    • Facts Before Execution — 모든 기술적 사실은 Technical Verification Gate를 통해 검증되어야 함.
    • Verification Always — 증거 패키지에 서명이 없으면 릴리스하지 않음.

언어적·구조적 구성 요소:

  • 명세 구조를 정의하는 완전한 문법
  • 엄밀하게 정의된 규범적 어휘집
  • 서로 다른 시스템 유형을 위한 17개의 스타일 방언(dialects)
  • 엄격성 기반 우선순위를 강제하는 충돌 해결 프로토콜(Conflict Resolution Protocol)
  • 표면 형태 대신 구조적 불변식(invariants)을 검사하는 11개 점검(verification) 모델

기대 효과:

  • 검증된 문제 진술로부터 무엇을 구축해야 하는지를 명시함으로써 명세 작성자에게 책임을 전가하고, 완전하고 검증 가능하며 구조적 제약을 가진 명세가 있을 때 신뢰 가능한 AI 결과를 달성할 수 있음을 증명하려는 목표.

 

※ 지난 게시글:

※ 출처: Reddit/LocalLLM, OpenClaw, unsloth

AD

RELATED ARTICLESMORE FROM AUTHOR

LEAVE A REPLY

Please enter your comment!
Please enter your name here