From c87b5f38b629d2f9a5c86f307019cdadcd0ff5ad Mon Sep 17 00:00:00 2001 From: Hermes Agent Date: Sat, 12 Sep 2026 22:15:09 +0200 Subject: [PATCH] feat: precalentar el modelo al terminar el deploy 'hola' tardaba en el primer mensaje: la carga a VRAM (2.5 GB a la GTX 1660) ocurria lazy en el primer request. Ahora el deploy la dispara al final: 'ollama run qwen3:4b ""' (prompt vacio, carga sin generar tokens) + keep_alive -1 (nunca expira de VRAM). - compose: OLLAMA_KEEP_ALIVE 5m -> -1 - verificado e2e: carga confirmada via ollama ps tras el warm --- hermes/deploy.ps1 | 4 ++++ openclaw/deploy.ps1 | 4 ++++ openwebui/deploy.ps1 | 4 ++++ openwebui/docker-compose.yml | 2 +- wordpress/deploy.ps1 | 4 ++++ wordpress/docker-compose.yml | 2 +- 6 files changed, 18 insertions(+), 2 deletions(-) diff --git a/hermes/deploy.ps1 b/hermes/deploy.ps1 index a35567b..7e3ee10 100644 --- a/hermes/deploy.ps1 +++ b/hermes/deploy.ps1 @@ -191,6 +191,10 @@ if (-not $PullOk) { exit 1 } } +# --- Precalentar el modelo (load ya, no en el primer mensaje) --------------- +Warn ' Precargando el modelo en memoria...' +cmd /c docker exec d0a1-hermes-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1' + Ok "Ollama corriendo en http://localhost:${OllamaPort}" # --- 2. Instalar Hermes Agent ------------------------------------------------ diff --git a/openclaw/deploy.ps1 b/openclaw/deploy.ps1 index 17ac334..85c0ee1 100644 --- a/openclaw/deploy.ps1 +++ b/openclaw/deploy.ps1 @@ -191,6 +191,10 @@ if (-not $PullOk) { exit 1 } } +# --- Precalentar el modelo (load ya, no en el primer mensaje) --------------- +Warn ' Precargando el modelo en memoria...' +cmd /c docker exec d0a1-openclaw-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1' + Ok "Ollama corriendo en http://localhost:${OllamaPort}" # --- 2. Instalar OpenClaw ----------------------------------------------------- diff --git a/openwebui/deploy.ps1 b/openwebui/deploy.ps1 index ef2a436..0fc9831 100644 --- a/openwebui/deploy.ps1 +++ b/openwebui/deploy.ps1 @@ -213,6 +213,10 @@ if (-not $PullOk) { } } +# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) ----- +Info 'Precargando el modelo en memoria...' +cmd /c docker exec d0a1-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1' + # --- Done ------------------------------------------------------------------- Write-Host '' Info 'Listo! Tu IA esta corriendo.' diff --git a/openwebui/docker-compose.yml b/openwebui/docker-compose.yml index fad8398..9d90d1b 100644 --- a/openwebui/docker-compose.yml +++ b/openwebui/docker-compose.yml @@ -18,7 +18,7 @@ services: - ollama_data:/root/.ollama environment: OLLAMA_HOST: "0.0.0.0" - OLLAMA_KEEP_ALIVE: "5m" + OLLAMA_KEEP_ALIVE: "-1" OLLAMA_NUM_PARALLEL: "1" healthcheck: test: ["CMD", "ollama", "ps"] diff --git a/wordpress/deploy.ps1 b/wordpress/deploy.ps1 index d0ef5ee..85f3bc3 100644 --- a/wordpress/deploy.ps1 +++ b/wordpress/deploy.ps1 @@ -250,6 +250,10 @@ if (-not $PullOk) { } } +# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) ----- +Info 'Precargando el modelo en memoria...' +cmd /c docker exec d0a1-wp-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1' + # --- Done ------------------------------------------------------------------- Write-Host '' Info 'Listo! Tu WordPress con IA esta corriendo.' diff --git a/wordpress/docker-compose.yml b/wordpress/docker-compose.yml index 096fa3d..b821e8e 100644 --- a/wordpress/docker-compose.yml +++ b/wordpress/docker-compose.yml @@ -52,7 +52,7 @@ services: - ollama_data:/root/.ollama environment: OLLAMA_HOST: "0.0.0.0" - OLLAMA_KEEP_ALIVE: "5m" + OLLAMA_KEEP_ALIVE: "-1" healthcheck: test: ["CMD", "ollama", "ps"] interval: 15s -- 2.54.0