feat: deteccion de GPU NVIDIA y aceleracion automatica #16

2026-09-12T21:33:42+02:00

hermes commented

2026-09-12 21:33:42 +02:00

Summary

El usuario tiene razon: llama3.2 3B en CPU (~10-20 tok/s, 800% CPU durante inferencia) no es viable como producto. El script ahora:

Detecta GPU NVIDIA via nvidia-smi (viene con el driver de Windows; el driver 535+ hace passthrough automatico a WSL2/Docker Desktop)
Con GPU: ollama arranca acelerado — --gpus all (docker run) / override docker-compose.gpu.yml con gpus: all (compose) — y anuncia el modelo de GPU detectado. 30-50+ tok/s en una RTX media.
Sin GPU: funciona en CPU como hasta ahora, con aviso honesto de velocidades esperadas.

Cero pasos manuales: el usuario no toca nada; la deteccion decide.

Verificacion

Parse AST 4/4 OK
Override compose con gpus: all parse OK (docker compose config -> gpus: count: -1)

## Summary El usuario tiene razon: llama3.2 3B en CPU (~10-20 tok/s, 800% CPU durante inferencia) no es viable como producto. El script ahora: 1. Detecta GPU NVIDIA via `nvidia-smi` (viene con el driver de Windows; el driver 535+ hace passthrough automatico a WSL2/Docker Desktop) 2. **Con GPU**: ollama arranca acelerado — `--gpus all` (docker run) / override `docker-compose.gpu.yml` con `gpus: all` (compose) — y anuncia el modelo de GPU detectado. 30-50+ tok/s en una RTX media. 3. **Sin GPU**: funciona en CPU como hasta ahora, con aviso honesto de velocidades esperadas. Cero pasos manuales: el usuario no toca nada; la deteccion decide. ## Verificacion - Parse AST 4/4 OK - Override compose con `gpus: all` parse OK (`docker compose config` -> `gpus: count: -1`)

hermes added 1 commit 2026-09-12 21:33:43 +02:00

feat: deteccion de GPU NVIDIA y aceleracion automatica 25970017fa

- Detecta nvidia-smi (driver Windows 535+ hace passthrough a WSL2)
- Con GPU: ollama arranca con --gpus all (docker run) / override
  compose docker-compose.gpu.yml (gpus: all) -> 30-50 tok/s
- Sin GPU: como hasta ahora (CPU ~10-20 tok/s) + aviso honesto

hermes merged commit fbf567f942 into main

2026-09-12 21:33:44 +02:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: d0a1/packs#16