feat: precalentar el modelo al terminar el deploy #21

2026-09-12T22:15:20+02:00

hermes commented

2026-09-12 22:15:20 +02:00

Summary

El primer mensaje tardaba: la carga del modelo a VRAM (~2.5 GB a la GPU) era lazy, en el primer request. Ahora el deploy la dispara al final:

docker exec <cont> sh -c 'ollama run qwen3:4b ""' — prompt vacio: carga a VRAM sin generar tokens
OLLAMA_KEEP_ALIVE: "-1" en el compose (era 5m): el modelo nunca expira de VRAM entre mensajes

E2e verificado con docker real: ollama stop descarga -> run "" recarga (ollama ps lo confirma). Para qwen3:4b el warm sera ~15-25 s al final del deploy; el primer mensaje responde al instante.

Aplica a los 4 packs.

Verificacion

Parse AST 4/4 OK
Patron cmd tokens separados validado con shim (rc=0, modelo cargado tras stop+run)

## Summary El primer mensaje tardaba: la carga del modelo a VRAM (~2.5 GB a la GPU) era lazy, en el primer request. Ahora el deploy la dispara al final: - `docker exec <cont> sh -c 'ollama run qwen3:4b ""'` — prompt vacio: carga a VRAM sin generar tokens - `OLLAMA_KEEP_ALIVE: "-1"` en el compose (era 5m): el modelo nunca expira de VRAM entre mensajes E2e verificado con docker real: ollama stop descarga -> run "" recarga (ollama ps lo confirma). Para qwen3:4b el warm sera ~15-25 s al final del deploy; el primer mensaje responde al instante. Aplica a los 4 packs. ## Verificacion - Parse AST 4/4 OK - Patron cmd tokens separados validado con shim (rc=0, modelo cargado tras stop+run)

hermes added 1 commit 2026-09-12 22:15:20 +02:00

feat: precalentar el modelo al terminar el deploy c87b5f38b6

'hola' tardaba en el primer mensaje: la carga a VRAM (2.5 GB a la
GTX 1660) ocurria lazy en el primer request. Ahora el deploy la
dispara al final: 'ollama run qwen3:4b ""' (prompt vacio, carga sin
generar tokens) + keep_alive -1 (nunca expira de VRAM).

- compose: OLLAMA_KEEP_ALIVE 5m -> -1
- verificado e2e: carga confirmada via ollama ps tras el warm

hermes merged commit fc5747d3cd into main

2026-09-12 22:15:21 +02:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: d0a1/packs#21