feat: precalentar el modelo al terminar el deploy

'hola' tardaba en el primer mensaje: la carga a VRAM (2.5 GB a la
GTX 1660) ocurria lazy en el primer request. Ahora el deploy la
dispara al final: 'ollama run qwen3:4b ""' (prompt vacio, carga sin
generar tokens) + keep_alive -1 (nunca expira de VRAM).

- compose: OLLAMA_KEEP_ALIVE 5m -> -1
- verificado e2e: carga confirmada via ollama ps tras el warm
This commit is contained in:
hermes committed 2026-09-12 22:15:09 +02:00
1 parent 6adbd966a0
commit c87b5f38b6
6 files changed
+18 -2

No files matched your search

+1 -1
View File
@@ -18,7 +18,7 @@ services:
- ollama_data:/root/.ollama
environment:
OLLAMA_HOST: "0.0.0.0"
OLLAMA_KEEP_ALIVE: "5m"
OLLAMA_KEEP_ALIVE: "-1"
OLLAMA_NUM_PARALLEL: "1"
healthcheck:
test: ["CMD", "ollama", "ps"]