feat: fallback del modelo via HuggingFace si el registry falla #8

Merged
hermes merged 1 commits from fix/pull-hf-fallback into main 2026-09-12 21:04:18 +02:00
Owner

Summary

La red del usuario no llega al registry de Ollama (R2/Cloudflare, timeout TCP persistente) y tampoco debe depender de configurar un proxy a mano. Ahora el script se encarga solo:

  1. Pull al registry con 3 reintentos (como hasta ahora).
  2. Si agota: fallback automatico — descarga el mismo modelo (GGUF Q4_K_M de bartowski/Llama-3.2-3B-Instruct, ~2 GB) desde HuggingFace con curl.exe --retry 3 (curl es nativo en Win10+; HF usa CDN propio, no R2 de Cloudflare), lo copia al volumen con docker cp y lo importa con ollama create llama3.2:3b (el GGUF lleva el chat_template embebido, Ollama lo detecta solo).
  3. Limpieza: borra el GGUF local y el del contenedor tras importar.
  4. Solo si TAMBIEN falla HF avisa del proxy como ultima opcion.

Verificacion e2e real (este host)

  • GGUF descargado de HF: 2.019 GB, magic GGUF OK
  • docker cp + ollama create llama3.2:3b -f /tmp/mf + ollama list: llama3.2:3b, 2.0 GB, OK
  • Parse AST 4/4 tras integrar
## Summary La red del usuario no llega al registry de Ollama (R2/Cloudflare, timeout TCP persistente) y tampoco debe depender de configurar un proxy a mano. Ahora el script se encarga solo: 1. Pull al registry con 3 reintentos (como hasta ahora). 2. Si agota: **fallback automatico** — descarga el mismo modelo (GGUF Q4_K_M de bartowski/Llama-3.2-3B-Instruct, ~2 GB) desde HuggingFace con `curl.exe --retry 3` (curl es nativo en Win10+; HF usa CDN propio, no R2 de Cloudflare), lo copia al volumen con `docker cp` y lo importa con `ollama create llama3.2:3b` (el GGUF lleva el chat_template embebido, Ollama lo detecta solo). 3. Limpieza: borra el GGUF local y el del contenedor tras importar. 4. Solo si TAMBIEN falla HF avisa del proxy como ultima opcion. ## Verificacion e2e real (este host) - GGUF descargado de HF: 2.019 GB, magic GGUF OK - `docker cp` + `ollama create llama3.2:3b -f /tmp/mf` + `ollama list`: **llama3.2:3b, 2.0 GB, OK** - Parse AST 4/4 tras integrar
hermes added 1 commit 2026-09-12 21:04:17 +02:00
Si el pull de Ollama agota 3 intentos (red sin salida al registry), el
script descarga el mismo modelo (GGUF Q4_K_M, ~2 GB) desde HuggingFace
con curl.exe --retry 3, lo copia al volumen y lo importa con ollama
create. Probado e2e: cp + create + ollama list OK (2.0 GB).

Sin -v en el down: el volumen (modelo cacheado) se conserva entre runs.
hermes merged commit a7609f56b0 into main 2026-09-12 21:04:18 +02:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: d0a1/packs#8