Compare commits

..
Author SHA1 Message Date
hermes 7d4cbdb789 feat: modelo via HF primero, registry de Ollama como ultimo recurso
Orden de descarga del modelo:
1. HuggingFace bartowski (CDN propio, rapido)
2. HuggingFace unsloth (mismo GGUF)
3. Registry de Ollama (1 intento, sin las 3 rondas de antes)

HF va primero porque el registry pasa por R2/Cloudflare, que bloquea
algunas redes 10 min por intento. Import via docker cp + ollama create
(GGUF con chat_template embebido).
2026-09-12 21:10:50 +02:00
20 changed files with 72 additions and 340 deletions

No files matched your search

+14 -47
View File
@@ -80,23 +80,6 @@ if ($TotalRamGb -lt 3.5) {
} }
Ok "RAM: $TotalRamGb GB" Ok "RAM: $TotalRamGb GB"
# --- Tumbar deploy previo (antes de detectar puertos) -----------------------
cmd /c docker rm -f d0a1-hermes-ollama '>' NUL '2>&1'
Info 'Deploy previo detenido (rm; volumen con el modelo intacto).'
# --- GPU NVIDIA? (si hay, Ollama la usa y va 5-10x mas rapido) ---------------
$HasGpu = $false
if (Get-Command nvidia-smi -ErrorAction SilentlyContinue) {
$GpuInfo = & nvidia-smi --query-gpu=name,memory.total --format=csv,noheader 2>$null
if ($LASTEXITCODE -eq 0 -and $GpuInfo) {
$HasGpu = $true
$GpuName = ($GpuInfo -split ',')[0].Trim()
Info "GPU NVIDIA detectada: $GpuName (aceleracion activada)"
}
}
if (-not $HasGpu) {
Warn 'Sin GPU NVIDIA: modo CPU (~10-20 tokens/s). Con una GPU NVIDIA va 5-10x mas rapido.'
}
# --- Auto-detect Ollama port ------------------------------------------------ # --- Auto-detect Ollama port ------------------------------------------------
$OllamaPort = Find-FreePort 11434 $OllamaPort = Find-FreePort 11434
@@ -113,11 +96,10 @@ Write-Host ''
# --- 1. Arrancar Ollama (Docker) ------------------------------------------- # --- 1. Arrancar Ollama (Docker) -------------------------------------------
Warn '[1/3] Arrancando Ollama (IA local)...' Warn '[1/3] Arrancando Ollama (IA local)...'
cmd /c docker rm -f d0a1-hermes-ollama '>' NUL '2>&1'
$running = docker ps --format '{{.Names}}' | Select-String -Quiet 'd0a1-hermes-ollama' $running = docker ps --format '{{.Names}}' | Select-String -Quiet 'd0a1-hermes-ollama'
if (-not $running) { if (-not $running) {
$GpuArgs = @() docker run -d --name d0a1-hermes-ollama `
if ($HasGpu) { $GpuArgs = @('--gpus', 'all') }
docker run -d --name d0a1-hermes-ollama --memory 6g @GpuArgs `
-p "${OllamaPort}:11434" ` -p "${OllamaPort}:11434" `
-v d0a1_hermes_ollama:/root/.ollama ` -v d0a1_hermes_ollama:/root/.ollama `
-e OLLAMA_HOST=0.0.0.0 ` -e OLLAMA_HOST=0.0.0.0 `
@@ -139,33 +121,27 @@ while ($true) {
exit 1 exit 1
} }
} }
Warn ' Descargando modelo (qwen3:4b, ~2.5 GB)...' Warn ' Descargando modelo (llama3.2:3b, ~2 GB)...'
# Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial): # Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial):
$ProxyEnv = @() $ProxyEnv = @()
if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") } if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") }
# --- Modelo ya presente? (volumen persistente: no re-descargar) ------------
$ModelList = docker exec d0a1-hermes-ollama ollama list 2>$null
if ("$ModelList" -match 'qwen3:4b') {
Info 'Modelo qwen3:4b ya descargado (volumen intacto). Omitiendo descarga.'
} else {
# --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso --- # --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso ---
$Gguf = Join-Path $ScriptDir 'llama3.2-3b-q4.gguf'
$Gguf = Join-Path $ScriptDir 'qwen3-4b-q4.gguf'
$HfUrls = @( $HfUrls = @(
'https://huggingface.co/Qwen/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf', 'https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf',
'https://huggingface.co/unsloth/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf' 'https://huggingface.co/unsloth/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf'
) )
Info 'Descargando modelo de IA (qwen3:4b, ~2.5 GB)...'
foreach ($Url in $HfUrls) { foreach ($Url in $HfUrls) {
curl.exe -# -L --retry 3 --max-time 1800 -o "$Gguf" $Url Info 'Descargando modelo de IA (llama3.2:3b, ~2 GB)...'
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { break } curl.exe -sL --retry 3 --max-time 1800 -o "$Gguf" $Url
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) { break }
Warn "Mirror no accesible, probando el siguiente..."
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
if ($Url -ne $HfUrls[-1]) { Warn 'Mirror no accesible, probando el siguiente...' }
} }
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
Info 'Importando modelo en Ollama...' Info 'Importando modelo en Ollama...'
docker cp "$Gguf" d0a1-hermes-ollama:/root/.ollama/import.gguf docker cp "$Gguf" d0a1-hermes-ollama:/root/.ollama/import.gguf
docker exec d0a1-hermes-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf' docker exec d0a1-hermes-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
$CreateOk = ($LASTEXITCODE -eq 0) $CreateOk = ($LASTEXITCODE -eq 0)
docker exec d0a1-hermes-ollama rm -f /root/.ollama/import.gguf | Out-Null docker exec d0a1-hermes-ollama rm -f /root/.ollama/import.gguf | Out-Null
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
@@ -174,12 +150,8 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) {
} else { } else {
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas) # Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...' Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
docker exec @ProxyEnv d0a1-hermes-ollama ollama pull qwen3:4b docker exec @ProxyEnv d0a1-hermes-ollama ollama pull llama3.2:3b
if ($LASTEXITCODE -eq 0) { if ($LASTEXITCODE -eq 0) { $PullOk = $true }
$PullOk = $true
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
docker exec d0a1-hermes-ollama sh -c 'printf "FROM qwen3:4b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf'
}
} }
if (-not $PullOk) { if (-not $PullOk) {
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).' Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
@@ -190,11 +162,6 @@ if (-not $PullOk) {
} }
exit 1 exit 1
} }
}
# --- Precalentar el modelo (load ya, no en el primer mensaje) ---------------
Warn ' Precargando el modelo en memoria...'
cmd /c docker exec d0a1-hermes-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
Ok "Ollama corriendo en http://localhost:${OllamaPort}" Ok "Ollama corriendo en http://localhost:${OllamaPort}"
# --- 2. Instalar Hermes Agent ------------------------------------------------ # --- 2. Instalar Hermes Agent ------------------------------------------------
+2 -2
View File
@@ -112,8 +112,8 @@ until docker exec d0a1-hermes-ollama ollama ps &>/dev/null; do
exit 1 exit 1
fi fi
done done
echo -e "${YELLOW} Descargando modelo (qwen3:4b, ~2.5 GB)...${NC}" echo -e "${YELLOW} Descargando modelo (llama3.2:3b, ~2 GB)...${NC}"
docker exec d0a1-hermes-ollama ollama pull qwen3:4b docker exec d0a1-hermes-ollama ollama pull llama3.2:3b
echo -e "${GREEN}✓${NC} Ollama corriendo en http://localhost:${OLLAMA_PORT}" echo -e "${GREEN}✓${NC} Ollama corriendo en http://localhost:${OLLAMA_PORT}"
# ── 2. Instalar Hermes Agent ──────────────── # ── 2. Instalar Hermes Agent ────────────────
-16
View File
@@ -1,16 +0,0 @@
# ============================================================
# d0a1 pack - Hermes (Windows) - DESINSTALAR
# Elimina el contenedor y el volumen (datos + modelo).
# ============================================================
$ErrorActionPreference = 'Stop'
function Info($m) { Write-Host ">>> $m" }
Info 'Borrando contenedor y volumen...'
cmd /c docker rm -f d0a1-hermes-ollama '>' NUL '2>&1'
cmd /c docker volume rm d0a1_hermes_ollama '>' NUL '2>&1'
Write-Host ''
Info 'Eliminado TODO: contenedor + volumen (incluido el modelo IA).'
Write-Host ''
-5
View File
@@ -1,5 +0,0 @@
#!/usr/bin/env bash
# d0a1 pack - Hermes (Linux) - DESINSTALAR
docker rm -f d0a1-hermes-ollama >/dev/null 2>&1 || true
docker volume rm d0a1_hermes_ollama >/dev/null 2>&1 || true
echo ">>> Eliminado TODO: contenedor + volumen (incluido el modelo IA)."
+14 -47
View File
@@ -80,23 +80,6 @@ if ($TotalRamGb -lt 3.5) {
} }
Ok "RAM: $TotalRamGb GB" Ok "RAM: $TotalRamGb GB"
# --- Tumbar deploy previo (antes de detectar puertos) -----------------------
cmd /c docker rm -f d0a1-openclaw-ollama '>' NUL '2>&1'
Info 'Deploy previo detenido (rm; volumen con el modelo intacto).'
# --- GPU NVIDIA? (si hay, Ollama la usa y va 5-10x mas rapido) ---------------
$HasGpu = $false
if (Get-Command nvidia-smi -ErrorAction SilentlyContinue) {
$GpuInfo = & nvidia-smi --query-gpu=name,memory.total --format=csv,noheader 2>$null
if ($LASTEXITCODE -eq 0 -and $GpuInfo) {
$HasGpu = $true
$GpuName = ($GpuInfo -split ',')[0].Trim()
Info "GPU NVIDIA detectada: $GpuName (aceleracion activada)"
}
}
if (-not $HasGpu) {
Warn 'Sin GPU NVIDIA: modo CPU (~10-20 tokens/s). Con una GPU NVIDIA va 5-10x mas rapido.'
}
# --- Auto-detect Ollama port ------------------------------------------------ # --- Auto-detect Ollama port ------------------------------------------------
$OllamaPort = Find-FreePort 11434 $OllamaPort = Find-FreePort 11434
@@ -113,11 +96,10 @@ Write-Host ''
# --- 1. Arrancar Ollama (Docker) ------------------------------------------- # --- 1. Arrancar Ollama (Docker) -------------------------------------------
Warn '[1/3] Arrancando Ollama (IA local)...' Warn '[1/3] Arrancando Ollama (IA local)...'
cmd /c docker rm -f d0a1-openclaw-ollama '>' NUL '2>&1'
$running = docker ps --format '{{.Names}}' | Select-String -Quiet 'd0a1-openclaw-ollama' $running = docker ps --format '{{.Names}}' | Select-String -Quiet 'd0a1-openclaw-ollama'
if (-not $running) { if (-not $running) {
$GpuArgs = @() docker run -d --name d0a1-openclaw-ollama `
if ($HasGpu) { $GpuArgs = @('--gpus', 'all') }
docker run -d --name d0a1-openclaw-ollama --memory 6g @GpuArgs `
-p "${OllamaPort}:11434" ` -p "${OllamaPort}:11434" `
-v d0a1_openclaw_ollama:/root/.ollama ` -v d0a1_openclaw_ollama:/root/.ollama `
-e OLLAMA_HOST=0.0.0.0 ` -e OLLAMA_HOST=0.0.0.0 `
@@ -139,33 +121,27 @@ while ($true) {
exit 1 exit 1
} }
} }
Warn ' Descargando modelo (qwen3:4b, ~2.5 GB)...' Warn ' Descargando modelo (llama3.2:3b, ~2 GB)...'
# Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial): # Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial):
$ProxyEnv = @() $ProxyEnv = @()
if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") } if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") }
# --- Modelo ya presente? (volumen persistente: no re-descargar) ------------
$ModelList = docker exec d0a1-openclaw-ollama ollama list 2>$null
if ("$ModelList" -match 'qwen3:4b') {
Info 'Modelo qwen3:4b ya descargado (volumen intacto). Omitiendo descarga.'
} else {
# --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso --- # --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso ---
$Gguf = Join-Path $ScriptDir 'llama3.2-3b-q4.gguf'
$Gguf = Join-Path $ScriptDir 'qwen3-4b-q4.gguf'
$HfUrls = @( $HfUrls = @(
'https://huggingface.co/Qwen/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf', 'https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf',
'https://huggingface.co/unsloth/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf' 'https://huggingface.co/unsloth/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf'
) )
Info 'Descargando modelo de IA (qwen3:4b, ~2.5 GB)...'
foreach ($Url in $HfUrls) { foreach ($Url in $HfUrls) {
curl.exe -# -L --retry 3 --max-time 1800 -o "$Gguf" $Url Info 'Descargando modelo de IA (llama3.2:3b, ~2 GB)...'
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { break } curl.exe -sL --retry 3 --max-time 1800 -o "$Gguf" $Url
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) { break }
Warn "Mirror no accesible, probando el siguiente..."
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
if ($Url -ne $HfUrls[-1]) { Warn 'Mirror no accesible, probando el siguiente...' }
} }
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
Info 'Importando modelo en Ollama...' Info 'Importando modelo en Ollama...'
docker cp "$Gguf" d0a1-openclaw-ollama:/root/.ollama/import.gguf docker cp "$Gguf" d0a1-openclaw-ollama:/root/.ollama/import.gguf
docker exec d0a1-openclaw-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf' docker exec d0a1-openclaw-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
$CreateOk = ($LASTEXITCODE -eq 0) $CreateOk = ($LASTEXITCODE -eq 0)
docker exec d0a1-openclaw-ollama rm -f /root/.ollama/import.gguf | Out-Null docker exec d0a1-openclaw-ollama rm -f /root/.ollama/import.gguf | Out-Null
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
@@ -174,12 +150,8 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) {
} else { } else {
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas) # Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...' Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
docker exec @ProxyEnv d0a1-openclaw-ollama ollama pull qwen3:4b docker exec @ProxyEnv d0a1-openclaw-ollama ollama pull llama3.2:3b
if ($LASTEXITCODE -eq 0) { if ($LASTEXITCODE -eq 0) { $PullOk = $true }
$PullOk = $true
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
docker exec d0a1-openclaw-ollama sh -c 'printf "FROM qwen3:4b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf'
}
} }
if (-not $PullOk) { if (-not $PullOk) {
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).' Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
@@ -190,11 +162,6 @@ if (-not $PullOk) {
} }
exit 1 exit 1
} }
}
# --- Precalentar el modelo (load ya, no en el primer mensaje) ---------------
Warn ' Precargando el modelo en memoria...'
cmd /c docker exec d0a1-openclaw-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
Ok "Ollama corriendo en http://localhost:${OllamaPort}" Ok "Ollama corriendo en http://localhost:${OllamaPort}"
# --- 2. Instalar OpenClaw ----------------------------------------------------- # --- 2. Instalar OpenClaw -----------------------------------------------------
+2 -2
View File
@@ -112,8 +112,8 @@ until docker exec d0a1-openclaw-ollama ollama ps &>/dev/null; do
exit 1 exit 1
fi fi
done done
echo -e "${YELLOW} Descargando modelo (qwen3:4b, ~2.5 GB)...${NC}" echo -e "${YELLOW} Descargando modelo (llama3.2:3b, ~2 GB)...${NC}"
docker exec d0a1-openclaw-ollama ollama pull qwen3:4b docker exec d0a1-openclaw-ollama ollama pull llama3.2:3b
echo -e "${GREEN}✓${NC} Ollama corriendo en http://localhost:${OLLAMA_PORT}" echo -e "${GREEN}✓${NC} Ollama corriendo en http://localhost:${OLLAMA_PORT}"
# ── 2. Instalar OpenClaw ───────────────────── # ── 2. Instalar OpenClaw ─────────────────────
-16
View File
@@ -1,16 +0,0 @@
# ============================================================
# d0a1 pack - OpenClaw (Windows) - DESINSTALAR
# Elimina el contenedor y el volumen (datos + modelo).
# ============================================================
$ErrorActionPreference = 'Stop'
function Info($m) { Write-Host ">>> $m" }
Info 'Borrando contenedor y volumen...'
cmd /c docker rm -f d0a1-openclaw-ollama '>' NUL '2>&1'
cmd /c docker volume rm d0a1_openclaw_ollama '>' NUL '2>&1'
Write-Host ''
Info 'Eliminado TODO: contenedor + volumen (incluido el modelo IA).'
Write-Host ''
-5
View File
@@ -1,5 +0,0 @@
#!/usr/bin/env bash
# d0a1 pack - OpenClaw (Linux) - DESINSTALAR
docker rm -f d0a1-openclaw-ollama >/dev/null 2>&1 || true
docker volume rm d0a1_openclaw_ollama >/dev/null 2>&1 || true
echo ">>> Eliminado TODO: contenedor + volumen (incluido el modelo IA)."
+1 -1
View File
@@ -33,7 +33,7 @@ Solo pagas el servidor. La IA es tuya.
## Modelos ## Modelos
El modelo por defecto es `qwen3:4b` (2 GB, corre en 4 GB RAM). El modelo por defecto es `llama3.2:3b` (2 GB, corre en 4 GB RAM).
```bash ```bash
docker exec d0a1-ollama ollama pull qwen3:4b # Mejor en español + razonamiento (4 GB RAM) docker exec d0a1-ollama ollama pull qwen3:4b # Mejor en español + razonamiento (4 GB RAM)
+17 -54
View File
@@ -86,25 +86,6 @@ if ($TotalRamGb -lt 3.5) {
} }
Ok "RAM: $TotalRamGb GB" Ok "RAM: $TotalRamGb GB"
# --- Tumbar deploy previo (antes de detectar puertos) ----------------------
# Mantiene los volumenes (el modelo ya descargado no se re-descarga) y libera
# los puertos para que Find-FreePort vea el estado REAL tras el down.
cmd /c docker compose -f $ComposeFile down '>' NUL '2>&1'
Info 'Deploy previo detenido (down; volumenes con el modelo intactos).'
# --- GPU NVIDIA? (si hay, Ollama la usa y va 5-10x mas rapido) ---------------
$HasGpu = $false
if (Get-Command nvidia-smi -ErrorAction SilentlyContinue) {
$GpuInfo = & nvidia-smi --query-gpu=name,memory.total --format=csv,noheader 2>$null
if ($LASTEXITCODE -eq 0 -and $GpuInfo) {
$HasGpu = $true
$GpuName = ($GpuInfo -split ',')[0].Trim()
Info "GPU NVIDIA detectada: $GpuName (aceleracion activada)"
}
}
if (-not $HasGpu) {
Warn 'Sin GPU NVIDIA: modo CPU (~10-20 tokens/s). Con una GPU NVIDIA va 5-10x mas rapido.'
}
# --- Auto-detect ports ---------------------------------------------------- # --- Auto-detect ports ----------------------------------------------------
$OllamaPort = Find-FreePort 11434 $OllamaPort = Find-FreePort 11434
$WebUiPort = Find-FreePort 3000 $WebUiPort = Find-FreePort 3000
@@ -135,20 +116,17 @@ if ($WebUiPort -ne 3000) { Warn "Puerto 3000 ocupado, usando $WebUiPort" }
Write-Host '' Write-Host ''
# --- Deploy ---------------------------------------------------------------- # --- Deploy ----------------------------------------------------------------
# Si hay un deploy previo del pack, tumbarlo primero (mantiene los volumenes:
# el modelo ya descargado no se re-descarga) para que los nuevos puertos apliquen.
cmd /c docker compose -f $ComposeFile down '>' NUL '2>&1'
Warn 'Descargando contenedores (2-3 min la primera vez)...' Warn 'Descargando contenedores (2-3 min la primera vez)...'
$env:OLLAMA_PORT = "$OllamaPort" $env:OLLAMA_PORT = "$OllamaPort"
$env:WEBUI_PORT = "$WebUiPort" $env:WEBUI_PORT = "$WebUiPort"
$ComposeArgs = @('-f', $ComposeFile) docker compose -f $ComposeFile up -d
if ($HasGpu) {
$OverrideFile = Join-Path $ScriptDir 'docker-compose.gpu.yml'
Set-Content -Path $OverrideFile -Value "services:`r`n ollama:`r`n gpus: all`r`n"
$ComposeArgs += @('-f', $OverrideFile)
}
docker compose @ComposeArgs up -d
if ($LASTEXITCODE -ne 0) { Err "docker compose up fallo (exit $LASTEXITCODE)."; exit 1 } if ($LASTEXITCODE -ne 0) { Err "docker compose up fallo (exit $LASTEXITCODE)."; exit 1 }
# --- Pull model ------------------------------------------------------------- # --- Pull model -------------------------------------------------------------
Info 'Esperando a que Ollama arranque...' Warn 'Descargando modelo de IA (llama3.2:3b, ~2 GB)...'
$MaxWait = 60; $Waited = 0 $MaxWait = 60; $Waited = 0
while ($true) { while ($true) {
# Descarte de stderr via cmd /c (ver nota de PS 5.1 / PS #4002 arriba) # Descarte de stderr via cmd /c (ver nota de PS 5.1 / PS #4002 arriba)
@@ -164,29 +142,23 @@ while ($true) {
# Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial): # Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial):
$ProxyEnv = @() $ProxyEnv = @()
if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") } if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") }
# --- Modelo ya presente? (volumen persistente: no re-descargar) ------------
$ModelList = docker exec d0a1-ollama ollama list 2>$null
if ("$ModelList" -match 'qwen3:4b') {
Info 'Modelo qwen3:4b ya descargado (volumen intacto). Omitiendo descarga.'
} else {
# --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso --- # --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso ---
$Gguf = Join-Path $ScriptDir 'llama3.2-3b-q4.gguf'
$Gguf = Join-Path $ScriptDir 'qwen3-4b-q4.gguf'
$HfUrls = @( $HfUrls = @(
'https://huggingface.co/Qwen/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf', 'https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf',
'https://huggingface.co/unsloth/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf' 'https://huggingface.co/unsloth/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf'
) )
Info 'Descargando modelo de IA (qwen3:4b, ~2.5 GB)...'
foreach ($Url in $HfUrls) { foreach ($Url in $HfUrls) {
curl.exe -# -L --retry 3 --max-time 1800 -o "$Gguf" $Url Info 'Descargando modelo de IA (llama3.2:3b, ~2 GB)...'
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { break } curl.exe -sL --retry 3 --max-time 1800 -o "$Gguf" $Url
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) { break }
Warn "Mirror no accesible, probando el siguiente..."
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
if ($Url -ne $HfUrls[-1]) { Warn 'Mirror no accesible, probando el siguiente...' }
} }
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
Info 'Importando modelo en Ollama...' Info 'Importando modelo en Ollama...'
docker cp "$Gguf" d0a1-ollama:/root/.ollama/import.gguf docker cp "$Gguf" d0a1-ollama:/root/.ollama/import.gguf
docker exec d0a1-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf' docker exec d0a1-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
$CreateOk = ($LASTEXITCODE -eq 0) $CreateOk = ($LASTEXITCODE -eq 0)
docker exec d0a1-ollama rm -f /root/.ollama/import.gguf | Out-Null docker exec d0a1-ollama rm -f /root/.ollama/import.gguf | Out-Null
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
@@ -195,12 +167,8 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) {
} else { } else {
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas) # Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...' Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
docker exec @ProxyEnv d0a1-ollama ollama pull qwen3:4b docker exec @ProxyEnv d0a1-ollama ollama pull llama3.2:3b
if ($LASTEXITCODE -eq 0) { if ($LASTEXITCODE -eq 0) { $PullOk = $true }
$PullOk = $true
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
docker exec d0a1-ollama sh -c 'printf "FROM qwen3:4b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf'
}
} }
if (-not $PullOk) { if (-not $PullOk) {
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).' Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
@@ -211,11 +179,6 @@ if (-not $PullOk) {
} }
exit 1 exit 1
} }
}
# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) -----
Info 'Precargando el modelo en memoria...'
cmd /c docker exec d0a1-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
# --- Done ------------------------------------------------------------------- # --- Done -------------------------------------------------------------------
Write-Host '' Write-Host ''
@@ -228,7 +191,7 @@ if ($Mode -eq 'local') {
} }
Write-Host '' Write-Host ''
Write-Host " ${Bold}Modelos alternativos:${NC}" Write-Host " ${Bold}Modelos alternativos:${NC}"
Write-Host ' docker exec d0a1-ollama ollama pull llama3.2:3b # Mas ligero (2 GB RAM)' Write-Host ' docker exec d0a1-ollama ollama pull qwen3:4b # Mejor en espanol + razonamiento (4 GB RAM)'
Write-Host ' docker exec d0a1-ollama ollama pull qwen3:8b # Mas calidad (6 GB RAM)' Write-Host ' docker exec d0a1-ollama ollama pull qwen3:8b # Mas calidad (6 GB RAM)'
Write-Host '' Write-Host ''
Write-Host " ${Bold}Parar:${NC} .\deploy.ps1 stop" Write-Host " ${Bold}Parar:${NC} .\deploy.ps1 stop"
+3 -3
View File
@@ -105,7 +105,7 @@ echo -e "${YELLOW}Descargando contenedores (2-3 min la primera vez)...${NC}"
docker compose -f "$COMPOSE_FILE" up -d docker compose -f "$COMPOSE_FILE" up -d
# ── Pull model ─────────────────────────────── # ── Pull model ───────────────────────────────
echo -e "${YELLOW}Descargando modelo de IA (qwen3:4b, ~2.5 GB)...${NC}" echo -e "${YELLOW}Descargando modelo de IA (llama3.2:3b, ~2 GB)...${NC}"
MAX_WAIT=60 MAX_WAIT=60
WAITED=0 WAITED=0
until docker exec d0a1-ollama ollama ps &>/dev/null; do until docker exec d0a1-ollama ollama ps &>/dev/null; do
@@ -116,7 +116,7 @@ until docker exec d0a1-ollama ollama ps &>/dev/null; do
exit 1 exit 1
fi fi
done done
docker exec d0a1-ollama ollama pull qwen3:4b docker exec d0a1-ollama ollama pull llama3.2:3b
# ── Done ──────────────────────────────────── # ── Done ────────────────────────────────────
echo "" echo ""
@@ -129,7 +129,7 @@ else
fi fi
echo "" echo ""
echo -e " ${BOLD}Modelos alternativos:${NC}" echo -e " ${BOLD}Modelos alternativos:${NC}"
echo " docker exec d0a1-ollama ollama pull llama3.2:3b # Más ligero (2 GB RAM)" echo " docker exec d0a1-ollama ollama pull qwen3:4b # Mejor en español + razonamiento (4 GB RAM)"
echo " docker exec d0a1-ollama ollama pull qwen3:8b # Más calidad (6 GB RAM)" echo " docker exec d0a1-ollama ollama pull qwen3:8b # Más calidad (6 GB RAM)"
echo "" echo ""
echo -e " ${BOLD}Parar:${NC} ./deploy.sh stop" echo -e " ${BOLD}Parar:${NC} ./deploy.sh stop"
+2 -8
View File
@@ -6,7 +6,7 @@
# #
# Requisitos: Docker + 4 GB RAM mínimo # Requisitos: Docker + 4 GB RAM mínimo
# Incluye: Ollama (IA local) + Open WebUI (interfaz web) # Incluye: Ollama (IA local) + Open WebUI (interfaz web)
# Modelo por defecto: qwen3:4b (~2.5 GB, corre en 4 GB RAM) # Modelo por defecto: llama3.2:3b (~2 GB, corre en 4 GB RAM)
services: services:
ollama: ollama:
container_name: d0a1-ollama container_name: d0a1-ollama
@@ -18,7 +18,7 @@ services:
- ollama_data:/root/.ollama - ollama_data:/root/.ollama
environment: environment:
OLLAMA_HOST: "0.0.0.0" OLLAMA_HOST: "0.0.0.0"
OLLAMA_KEEP_ALIVE: "-1" OLLAMA_KEEP_ALIVE: "5m"
OLLAMA_NUM_PARALLEL: "1" OLLAMA_NUM_PARALLEL: "1"
healthcheck: healthcheck:
test: ["CMD", "ollama", "ps"] test: ["CMD", "ollama", "ps"]
@@ -26,10 +26,6 @@ services:
timeout: 5s timeout: 5s
retries: 10 retries: 10
start_period: 30s start_period: 30s
deploy:
resources:
limits:
memory: 6G
openwebui: openwebui:
container_name: d0a1-openwebui container_name: d0a1-openwebui
@@ -47,8 +43,6 @@ services:
ENABLE_SIGNUP: "true" ENABLE_SIGNUP: "true"
ENABLE_WEB_SEARCH: "false" ENABLE_WEB_SEARCH: "false"
ENABLE_DIRECT_CONNECTIONS: "false" ENABLE_DIRECT_CONNECTIONS: "false"
CHAT_RESPONSE_MAX_TOOL_CALL_ITERATIONS: "1"
DEFAULT_MODEL_PARAMS: '{"function_calling": "legacy"}'
depends_on: depends_on:
ollama: ollama:
condition: service_healthy condition: service_healthy
-24
View File
@@ -1,24 +0,0 @@
# ============================================================
# d0a1 pack - Open WebUI (Windows) - DESINSTALAR
# Elimina contenedores, red y volumenes (datos + modelo).
# ============================================================
$ErrorActionPreference = 'Stop'
$ScriptDir = $PSScriptRoot
if (-not $ScriptDir) { $ScriptDir = Split-Path -Parent $MyInvocation.MyCommand.Path }
$ComposeFile = Join-Path $ScriptDir 'docker-compose.yml'
function Info($m) { Write-Host ">>> $m" }
function Err($m) { Write-Host "!!! $m"; exit 1 }
# Sin confirmacion: este pack no guarda datos sensibles (solo chat + modelo).
Info 'Deteniendo y borrando contenedores...'
cmd /c docker compose -f "$ComposeFile" down -v --remove-orphans '>' NUL '2>&1'
if ($LASTEXITCODE -ne 0) { Err 'Fallo el compose down (docker no arrancado?)' }
Write-Host ''
Info 'Eliminado TODO:'
Write-Host ' - Contenedores y red'
Write-Host ' - Volumenes (incluido el modelo IA)'
Write-Host ''
-9
View File
@@ -1,9 +0,0 @@
#!/usr/bin/env bash
# d0a1 pack - Open WebUI (Linux) - DESINSTALAR
set -e
cd "$(cd "$(dirname "$0")" && pwd)"
echo ">>> Deteniendo y borrando contenedores..."
docker compose -f docker-compose.yml down -v --remove-orphans >/dev/null 2>&1 || { echo "!!! Fallo el compose down"; exit 1; }
echo ""
echo ">>> Eliminado TODO: contenedores, red y volumenes (incluido el modelo IA)."
+1 -1
View File
@@ -38,7 +38,7 @@ Solo pagas el servidor. WordPress y la IA son tuyos.
- WordPress 7.0 + PHP 8.4 - WordPress 7.0 + PHP 8.4
- MariaDB 11.8 - MariaDB 11.8
- Ollama (IA local, modelo qwen3:4b por defecto) - Ollama (IA local, modelo llama3.2:3b por defecto)
- Open WebUI (interfaz de chat) - Open WebUI (interfaz de chat)
## Comandos ## Comandos
+13 -51
View File
@@ -119,24 +119,7 @@ if (-not (Test-Path $EnvFile)) {
Info "Contrasenas generadas en $EnvFile" Info "Contrasenas generadas en $EnvFile"
} }
# --- GPU NVIDIA? (si hay, Ollama la usa y va 5-10x mas rapido) ---------------
$HasGpu = $false
if (Get-Command nvidia-smi -ErrorAction SilentlyContinue) {
$GpuInfo = & nvidia-smi --query-gpu=name,memory.total --format=csv,noheader 2>$null
if ($LASTEXITCODE -eq 0 -and $GpuInfo) {
$HasGpu = $true
$GpuName = ($GpuInfo -split ',')[0].Trim()
Info "GPU NVIDIA detectada: $GpuName (aceleracion activada)"
}
}
if (-not $HasGpu) {
Warn 'Sin GPU NVIDIA: modo CPU (~10-20 tokens/s). Con una GPU NVIDIA va 5-10x mas rapido.'
}
# --- Auto-detect ports ---------------------------------------------------- # --- Auto-detect ports ----------------------------------------------------
# --- Tumbar deploy previo (antes de detectar puertos) ----------------------
cmd /c docker compose -f $ComposeFile down '>' NUL '2>&1'
Info 'Deploy previo detenido (down; volumenes con el modelo intactos).'
$OllamaPort = Find-FreePort 11434 $OllamaPort = Find-FreePort 11434
$WpPort = Find-FreePort 8080 $WpPort = Find-FreePort 8080
$WebUiPort = Find-FreePort 3000 $WebUiPort = Find-FreePort 3000
@@ -175,17 +158,11 @@ cmd /c docker compose -f $ComposeFile down '>' NUL '2>&1'
$env:OLLAMA_PORT = "$OllamaPort" $env:OLLAMA_PORT = "$OllamaPort"
$env:WP_PORT = "$WpPort" $env:WP_PORT = "$WpPort"
$env:WEBUI_PORT = "$WebUiPort" $env:WEBUI_PORT = "$WebUiPort"
$ComposeArgs = @('-f', $ComposeFile) docker compose -f $ComposeFile up -d
if ($HasGpu) {
$OverrideFile = Join-Path $ScriptDir 'docker-compose.gpu.yml'
Set-Content -Path $OverrideFile -Value "services:`r`n ollama:`r`n gpus: all`r`n"
$ComposeArgs += @('-f', $OverrideFile)
}
docker compose @ComposeArgs up -d
if ($LASTEXITCODE -ne 0) { Err "docker compose up fallo (exit $LASTEXITCODE)."; exit 1 } if ($LASTEXITCODE -ne 0) { Err "docker compose up fallo (exit $LASTEXITCODE)."; exit 1 }
# --- Pull model ------------------------------------------------------------- # --- Pull model -------------------------------------------------------------
Info 'Esperando a que Ollama arranque...' Warn 'Descargando modelo de IA (llama3.2:3b, ~2 GB)...'
$MaxWait = 60; $Waited = 0 $MaxWait = 60; $Waited = 0
while ($true) { while ($true) {
# Descarte de stderr via cmd /c (ver nota de PS 5.1 / PS #4002 arriba) # Descarte de stderr via cmd /c (ver nota de PS 5.1 / PS #4002 arriba)
@@ -201,29 +178,23 @@ while ($true) {
# Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial): # Si el usuario define $env:HTTPS_PROXY, Ollama lo usa para el pull (doc oficial):
$ProxyEnv = @() $ProxyEnv = @()
if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") } if ($env:HTTPS_PROXY) { $ProxyEnv = @('-e', "HTTPS_PROXY=$env:HTTPS_PROXY", '-e', "HTTP_PROXY=$env:HTTP_PROXY") }
# --- Modelo ya presente? (volumen persistente: no re-descargar) ------------
$ModelList = docker exec d0a1-wp-ollama ollama list 2>$null
if ("$ModelList" -match 'qwen3:4b') {
Info 'Modelo qwen3:4b ya descargado (volumen intacto). Omitiendo descarga.'
} else {
# --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso --- # --- Modelo: HF primero (CDN propio, rapido) y registry de Ollama como ultimo recurso ---
$Gguf = Join-Path $ScriptDir 'llama3.2-3b-q4.gguf'
$Gguf = Join-Path $ScriptDir 'qwen3-4b-q4.gguf'
$HfUrls = @( $HfUrls = @(
'https://huggingface.co/Qwen/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf', 'https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf',
'https://huggingface.co/unsloth/Qwen3-4B-GGUF/resolve/main/Qwen3-4B-Q4_K_M.gguf' 'https://huggingface.co/unsloth/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf'
) )
Info 'Descargando modelo de IA (qwen3:4b, ~2.5 GB)...'
foreach ($Url in $HfUrls) { foreach ($Url in $HfUrls) {
curl.exe -# -L --retry 3 --max-time 1800 -o "$Gguf" $Url Info 'Descargando modelo de IA (llama3.2:3b, ~2 GB)...'
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { break } curl.exe -sL --retry 3 --max-time 1800 -o "$Gguf" $Url
if ($LASTEXITCODE -eq 0 -and (Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) { break }
Warn "Mirror no accesible, probando el siguiente..."
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
if ($Url -ne $HfUrls[-1]) { Warn 'Mirror no accesible, probando el siguiente...' }
} }
if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) { if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 1900000000) {
Info 'Importando modelo en Ollama...' Info 'Importando modelo en Ollama...'
docker cp "$Gguf" d0a1-wp-ollama:/root/.ollama/import.gguf docker cp "$Gguf" d0a1-wp-ollama:/root/.ollama/import.gguf
docker exec d0a1-wp-ollama sh -c 'printf "FROM /root/.ollama/import.gguf\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf' docker exec d0a1-wp-ollama sh -c 'echo FROM /root/.ollama/import.gguf > /tmp/mf && ollama create llama3.2:3b -f /tmp/mf'
$CreateOk = ($LASTEXITCODE -eq 0) $CreateOk = ($LASTEXITCODE -eq 0)
docker exec d0a1-wp-ollama rm -f /root/.ollama/import.gguf | Out-Null docker exec d0a1-wp-ollama rm -f /root/.ollama/import.gguf | Out-Null
Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue Remove-Item "$Gguf" -Force -ErrorAction SilentlyContinue
@@ -232,12 +203,8 @@ if ((Test-Path $Gguf) -and (Get-Item $Gguf).Length -gt 2400000000) {
} else { } else {
# Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas) # Ultimo recurso: pull directo (1 intento, ya sin esperar 3 rondas)
Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...' Warn 'HuggingFace no accesible. Probando el registry de Ollama (ultimo recurso)...'
docker exec @ProxyEnv d0a1-wp-ollama ollama pull qwen3:4b docker exec @ProxyEnv d0a1-wp-ollama ollama pull llama3.2:3b
if ($LASTEXITCODE -eq 0) { if ($LASTEXITCODE -eq 0) { $PullOk = $true }
$PullOk = $true
# Contexto ampliado (el default 4096 da 400 en Open WebUI con prompts largos)
docker exec d0a1-wp-ollama sh -c 'printf "FROM qwen3:4b\\nPARAMETER num_ctx 16384\\n" > /tmp/mf && ollama create qwen3:4b -f /tmp/mf'
}
} }
if (-not $PullOk) { if (-not $PullOk) {
Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).' Err 'No se pudo descargar el modelo (ni HuggingFace ni registry).'
@@ -248,11 +215,6 @@ if (-not $PullOk) {
} }
exit 1 exit 1
} }
}
# --- Precalentar el modelo (load a GPU/RAM ya, no en el primer mensaje) -----
Info 'Precargando el modelo en memoria...'
cmd /c docker exec d0a1-wp-ollama sh -c 'ollama run qwen3:4b ""' '>' NUL '2>&1'
# --- Done ------------------------------------------------------------------- # --- Done -------------------------------------------------------------------
Write-Host '' Write-Host ''
+2 -2
View File
@@ -124,7 +124,7 @@ echo -e "${YELLOW}Descargando contenedores (3-5 min la primera vez)...${NC}"
docker compose -f "$COMPOSE_FILE" up -d docker compose -f "$COMPOSE_FILE" up -d
# ── Pull model ─────────────────────────────── # ── Pull model ───────────────────────────────
echo -e "${YELLOW}Descargando modelo de IA (qwen3:4b, ~2.5 GB)...${NC}" echo -e "${YELLOW}Descargando modelo de IA (llama3.2:3b, ~2 GB)...${NC}"
MAX_WAIT=60 MAX_WAIT=60
WAITED=0 WAITED=0
until docker exec d0a1-wp-ollama ollama ps &>/dev/null; do until docker exec d0a1-wp-ollama ollama ps &>/dev/null; do
@@ -135,7 +135,7 @@ until docker exec d0a1-wp-ollama ollama ps &>/dev/null; do
exit 1 exit 1
fi fi
done done
docker exec d0a1-wp-ollama ollama pull qwen3:4b docker exec d0a1-wp-ollama ollama pull llama3.2:3b
# ── Done ──────────────────────────────────── # ── Done ────────────────────────────────────
echo "" echo ""
+1 -7
View File
@@ -52,17 +52,13 @@ services:
- ollama_data:/root/.ollama - ollama_data:/root/.ollama
environment: environment:
OLLAMA_HOST: "0.0.0.0" OLLAMA_HOST: "0.0.0.0"
OLLAMA_KEEP_ALIVE: "-1" OLLAMA_KEEP_ALIVE: "5m"
healthcheck: healthcheck:
test: ["CMD", "ollama", "ps"] test: ["CMD", "ollama", "ps"]
interval: 15s interval: 15s
timeout: 5s timeout: 5s
retries: 10 retries: 10
start_period: 30s start_period: 30s
deploy:
resources:
limits:
memory: 6G
openwebui: openwebui:
container_name: d0a1-wp-openwebui container_name: d0a1-wp-openwebui
@@ -77,8 +73,6 @@ services:
WEBUI_NAME: "d0a1" WEBUI_NAME: "d0a1"
WEBUI_AUTH: "false" WEBUI_AUTH: "false"
DEFAULT_LOCALE: "es" DEFAULT_LOCALE: "es"
CHAT_RESPONSE_MAX_TOOL_CALL_ITERATIONS: "1"
DEFAULT_MODEL_PARAMS: '{"function_calling": "legacy"}'
depends_on: depends_on:
ollama: ollama:
condition: service_healthy condition: service_healthy
-28
View File
@@ -1,28 +0,0 @@
# ============================================================
# d0a1 pack - WordPress + IA (Windows) - DESINSTALAR
# Elimina contenedores, red y volumenes (datos + modelo).
# ============================================================
$ErrorActionPreference = 'Stop'
$ScriptDir = $PSScriptRoot
if (-not $ScriptDir) { $ScriptDir = Split-Path -Parent $MyInvocation.MyCommand.Path }
$ComposeFile = Join-Path $ScriptDir 'docker-compose.yml'
function Info($m) { Write-Host ">>> $m" }
function Err($m) { Write-Host "!!! $m"; exit 1 }
Write-Host ''
Write-Host '>>> ATENCION: esto borra TAMBIEN la base de datos y el contenido de WordPress.'
$Resp = Read-Host 'Continuar? [y/N]'
if ($Resp -notmatch '^[Yy]') { Write-Host 'Cancelado.'; exit 0 }
Write-Host ''
Info 'Deteniendo y borrando contenedores...'
cmd /c docker compose -f "$ComposeFile" down -v --remove-orphans '>' NUL '2>&1'
if ($LASTEXITCODE -ne 0) { Err 'Fallo el compose down (docker no arrancado?)' }
Write-Host ''
Info 'Eliminado TODO:'
Write-Host ' - Contenedores y red'
Write-Host ' - Volumenes (incluido el modelo IA)'
Write-Host ''
-12
View File
@@ -1,12 +0,0 @@
#!/usr/bin/env bash
# d0a1 pack - WordPress + IA (Linux) - DESINSTALAR
set -e
cd "$(cd "$(dirname "$0")" && pwd)"
read -r -p ">>> ATENCION: borra TAMBIEN la BD de WordPress. Continuar? [y/N] " r
case "$r" in [yY]*) ;; *) echo Cancelado.; exit 0;; esac
echo ""
echo ">>> Deteniendo y borrando contenedores..."
docker compose -f docker-compose.yml down -v --remove-orphans >/dev/null 2>&1 || { echo "!!! Fallo el compose down"; exit 1; }
echo ""
echo ">>> Eliminado TODO: contenedores, red y volumenes (incluido el modelo IA)."