Compare commits

..
Author SHA1 Message Date
hermes c87b5f38b6 feat: precalentar el modelo al terminar el deploy
'hola' tardaba en el primer mensaje: la carga a VRAM (2.5 GB a la
GTX 1660) ocurria lazy en el primer request. Ahora el deploy la
dispara al final: 'ollama run qwen3:4b ""' (prompt vacio, carga sin
generar tokens) + keep_alive -1 (nunca expira de VRAM).

- compose: OLLAMA_KEEP_ALIVE 5m -> -1
- verificado e2e: carga confirmada via ollama ps tras el warm
2026-09-12 22:15:09 +02:00
hermes 6adbd966a0 feat: modelo por defecto qwen3:4b (llama3.2 3B enredaba con las tools) (#20)
Co-authored-by: Hermes Agent <hermes@d0a1.es>
2026-09-12 22:05:33 +02:00
6 changed files with 18 additions and 2 deletions

No files matched your search

+4
View File
@@ -191,6 +191,10 @@ if (-not $PullOk) {
exit 1
}
}
# --- Precalentar el modelo (load ya, no en el primer mensaje) ---------------
Warn ' Precargando el modelo en memoria...'
cmd /c docker exec d0a1-hermes-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
Ok "Ollama corriendo en http://localhost:${OllamaPort}"
# --- 2. Instalar Hermes Agent ------------------------------------------------
+4
View File
@@ -191,6 +191,10 @@ if (-not $PullOk) {
exit 1
}
}
# --- Precalentar el modelo (load ya, no en el primer mensaje) ---------------
Warn ' Precargando el modelo en memoria...'
cmd /c docker exec d0a1-openclaw-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
Ok "Ollama corriendo en http://localhost:${OllamaPort}"
# --- 2. Instalar OpenClaw -----------------------------------------------------
+4
View File
@@ -213,6 +213,10 @@ if (-not $PullOk) {
}
}
# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) -----
Info 'Precargando el modelo en memoria...'
cmd /c docker exec d0a1-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
# --- Done -------------------------------------------------------------------
Write-Host ''
Info 'Listo! Tu IA esta corriendo.'
+1 -1
View File
@@ -18,7 +18,7 @@ services:
- ollama_data:/root/.ollama
environment:
OLLAMA_HOST: "0.0.0.0"
OLLAMA_KEEP_ALIVE: "5m"
OLLAMA_KEEP_ALIVE: "-1"
OLLAMA_NUM_PARALLEL: "1"
healthcheck:
test: ["CMD", "ollama", "ps"]
+4
View File
@@ -250,6 +250,10 @@ if (-not $PullOk) {
}
}
# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) -----
Info 'Precargando el modelo en memoria...'
cmd /c docker exec d0a1-wp-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
# --- Done -------------------------------------------------------------------
Write-Host ''
Info 'Listo! Tu WordPress con IA esta corriendo.'
+1 -1
View File
@@ -52,7 +52,7 @@ services:
- ollama_data:/root/.ollama
environment:
OLLAMA_HOST: "0.0.0.0"
OLLAMA_KEEP_ALIVE: "5m"
OLLAMA_KEEP_ALIVE: "-1"
healthcheck:
test: ["CMD", "ollama", "ps"]
interval: 15s