feat: precalentar el modelo al terminar el deploy
'hola' tardaba en el primer mensaje: la carga a VRAM (2.5 GB a la GTX 1660) ocurria lazy en el primer request. Ahora el deploy la dispara al final: 'ollama run qwen3:4b ""' (prompt vacio, carga sin generar tokens) + keep_alive -1 (nunca expira de VRAM). - compose: OLLAMA_KEEP_ALIVE 5m -> -1 - verificado e2e: carga confirmada via ollama ps tras el warm
This commit is contained in:
1 parent
6adbd966a0
commit
c87b5f38b6
6 files changed
+18
-2
No files matched your search
@@ -250,6 +250,10 @@ if (-not $PullOk) {
|
||||
}
|
||||
}
|
||||
|
||||
# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) -----
|
||||
Info 'Precargando el modelo en memoria...'
|
||||
cmd /c docker exec d0a1-wp-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
|
||||
|
||||
# --- Done -------------------------------------------------------------------
|
||||
Write-Host ''
|
||||
Info 'Listo! Tu WordPress con IA esta corriendo.'
|
||||
|
||||
@@ -52,7 +52,7 @@ services:
|
||||
- ollama_data:/root/.ollama
|
||||
environment:
|
||||
OLLAMA_HOST: "0.0.0.0"
|
||||
OLLAMA_KEEP_ALIVE: "5m"
|
||||
OLLAMA_KEEP_ALIVE: "-1"
|
||||
healthcheck:
|
||||
test: ["CMD", "ollama", "ps"]
|
||||
interval: 15s
|
||||
|
||||
Reference in new issue
Block a user