fix: num_ctx 16384 en el modelo (el 4096 da 400 en Open WebUI)
El primer mensaje con plantilla del sistema (~7k tokens) excedia el contexto default de 4096 -> 400 exceed_context_size. Tras el import HF y tras el pull del registry, re-crea el tag con PARAMETER num_ctx 16384 (FROM hereda pesos; verificado con ollama show: num_ctx 16384).
This commit is contained in:
hermes committed
1 parent
350d55c434
commit
99f0e847d9
4 files changed
+24
-8
No files matched your search
+6
-2
@@ -141,7 +141,7 @@ foreach ($Url in $HfUrls) {
|
||||
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
Info 'Importando modelo en Ollama...'
|
||||
docker cp "$Gguf" d0a1-hermes-ollama:/root/.ollama/import.gguf
|
||||
docker exec d0a1-hermes-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
docker exec d0a1-hermes-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
$CreateOk = ($LASTEXITCODE -eq 0)
|
||||
docker exec d0a1-hermes-ollama rm -f /root/.ollama/import.gguf | Out-Null
|
||||
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
|
||||
@@ -151,7 +151,11 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
|
||||
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
|
||||
docker exec @ProxyEnv d0a1-hermes-ollama ollama pull llama3.2:3b
|
||||
if ($LASTEXITCODE -eq 0) { $PullOk = $true }
|
||||
if ($LASTEXITCODE -eq 0) {
|
||||
$PullOk = $true
|
||||
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
|
||||
docker exec d0a1-hermes-ollama sh -c 'printf "FROM llama3.2:3b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
}
|
||||
}
|
||||
if (-not $PullOk) {
|
||||
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
|
||||
|
||||
+6
-2
@@ -141,7 +141,7 @@ foreach ($Url in $HfUrls) {
|
||||
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
Info 'Importando modelo en Ollama...'
|
||||
docker cp "$Gguf" d0a1-openclaw-ollama:/root/.ollama/import.gguf
|
||||
docker exec d0a1-openclaw-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
docker exec d0a1-openclaw-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
$CreateOk = ($LASTEXITCODE -eq 0)
|
||||
docker exec d0a1-openclaw-ollama rm -f /root/.ollama/import.gguf | Out-Null
|
||||
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
|
||||
@@ -151,7 +151,11 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
|
||||
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
|
||||
docker exec @ProxyEnv d0a1-openclaw-ollama ollama pull llama3.2:3b
|
||||
if ($LASTEXITCODE -eq 0) { $PullOk = $true }
|
||||
if ($LASTEXITCODE -eq 0) {
|
||||
$PullOk = $true
|
||||
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
|
||||
docker exec d0a1-openclaw-ollama sh -c 'printf "FROM llama3.2:3b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
}
|
||||
}
|
||||
if (-not $PullOk) {
|
||||
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
|
||||
|
||||
@@ -158,7 +158,7 @@ foreach ($Url in $HfUrls) {
|
||||
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
Info 'Importando modelo en Ollama...'
|
||||
docker cp "$Gguf" d0a1-ollama:/root/.ollama/import.gguf
|
||||
docker exec d0a1-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
docker exec d0a1-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
$CreateOk = ($LASTEXITCODE -eq 0)
|
||||
docker exec d0a1-ollama rm -f /root/.ollama/import.gguf | Out-Null
|
||||
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
|
||||
@@ -168,7 +168,11 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
|
||||
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
|
||||
docker exec @ProxyEnv d0a1-ollama ollama pull llama3.2:3b
|
||||
if ($LASTEXITCODE -eq 0) { $PullOk = $true }
|
||||
if ($LASTEXITCODE -eq 0) {
|
||||
$PullOk = $true
|
||||
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
|
||||
docker exec d0a1-ollama sh -c 'printf "FROM llama3.2:3b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
}
|
||||
}
|
||||
if (-not $PullOk) {
|
||||
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
|
||||
|
||||
@@ -194,7 +194,7 @@ foreach ($Url in $HfUrls) {
|
||||
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
Info 'Importando modelo en Ollama...'
|
||||
docker cp "$Gguf" d0a1-wp-ollama:/root/.ollama/import.gguf
|
||||
docker exec d0a1-wp-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
docker exec d0a1-wp-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
$CreateOk = ($LASTEXITCODE -eq 0)
|
||||
docker exec d0a1-wp-ollama rm -f /root/.ollama/import.gguf | Out-Null
|
||||
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
|
||||
@@ -204,7 +204,11 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
|
||||
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
|
||||
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
|
||||
docker exec @ProxyEnv d0a1-wp-ollama ollama pull llama3.2:3b
|
||||
if ($LASTEXITCODE -eq 0) { $PullOk = $true }
|
||||
if ($LASTEXITCODE -eq 0) {
|
||||
$PullOk = $true
|
||||
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
|
||||
docker exec d0a1-wp-ollama sh -c 'printf "FROM llama3.2:3b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
|
||||
}
|
||||
}
|
||||
if (-not $PullOk) {
|
||||
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
|
||||
|
||||
Reference in new issue
Block a user