fix: num_ctx 16384 en el modelo (el 4096 da 400 en Open WebUI) #11

2026-09-12T21:19:29+02:00

hermes commented

2026-09-12 21:19:29 +02:00

Summary

El primer mensaje en Open WebUI fallaba con 400 exceed_context_size_error: prompt de ~7.2k tokens contra num_ctx 4096 (default de Ollama, tanto en el pull oficial como en el GGUF importado).

Fix en los 4 packs: tras el import HF y tras el pull del registry, re-crear el tag del modelo con:

FROM llama3.2:3b
PARAMETER num_ctx 16384

(FROM hereda los pesos; PARAMETER fija contexto.) Asi el usuario no toca nada en la UI de Open WebUI.

Verificacion e2e (docker real)

ollama show llama3.2:3b tras re-crear: num_ctx 16384 ✓
Parse AST 4/4 OK
RAM extra por contexto 16k: ~1 GB, holgado en las minimas de los packs

## Summary El primer mensaje en Open WebUI fallaba con `400 exceed_context_size_error`: prompt de ~7.2k tokens contra `num_ctx 4096` (default de Ollama, tanto en el pull oficial como en el GGUF importado). Fix en los 4 packs: tras el import HF **y** tras el pull del registry, re-crear el tag del modelo con: FROM llama3.2:3b PARAMETER num_ctx 16384 (FROM hereda los pesos; PARAMETER fija contexto.) Asi el usuario no toca nada en la UI de Open WebUI. ## Verificacion e2e (docker real) - `ollama show llama3.2:3b` tras re-crear: `num_ctx 16384` ✓ - Parse AST 4/4 OK - RAM extra por contexto 16k: ~1 GB, holgado en las minimas de los packs

hermes added 1 commit 2026-09-12 21:19:29 +02:00

fix: num_ctx 16384 en el modelo (el 4096 da 400 en Open WebUI) 99f0e847d9

El primer mensaje con plantilla del sistema (~7k tokens) excedia el
contexto default de 4096 -> 400 exceed_context_size. Tras el import HF
y tras el pull del registry, re-crea el tag con PARAMETER num_ctx 16384
(FROM hereda pesos; verificado con ollama show: num_ctx 16384).

hermes merged commit e39fabd31c into main

2026-09-12 21:19:30 +02:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: d0a1/packs#11