Hardware del laboratorio de IA local

Inventario del laboratorio

El laboratorio de IA local combina un único nodo de propósito general
con doble acelerador (una GPU NVIDIA dedicada y una iGPU Intel) y dos clústers
de atribución distribuida basados en Raspberry Pi para servicios de infraestructura
y orquestación. El modelo es híbrido:
la inferencia de modelos grandes se hace en el nodo principal, mientras los clústers ARM
gestionan la red, el almacenamiento y los servicios web. Todo se orquesta con Docker Swarm
y stacks YAML declarativos.

Nodo principal

El nodo principal es a la vez servidor de cabecera y estación de trabajo del
laboratorio. Aloja directamente el host de Hermes Agent, el motor de inferencia ninfer y
OpenVINO Model Server (OVMS). Configuración real verificada:

  • CPU: Intel Core Ultra 9 285H, 16 núcleos, microarquitectura Arrow Lake.
  • RAM: 91 GiB totales.
  • Almacenamiento: NVMe de 1 TB.

La memoria es holgada para cargar el modelo en VRAM y conservar buffers de preprocesamiento;
es el nodo sobre el que tiene sentido concentrar el trabajo de inferencia pesado.

GPU dedicada — NVIDIA Tesla V100 PCIe 32 GB

La NVIDIA Tesla V100-PCIE-32GB (silicio GV100GL) reporta 32 768 MiB de memoria.
Se usa exclusivamente para la inferencia de modelos grandes a través del motor ninfer
(LLM MoE y multimodales). Es la pieza que sostiene los modelos de 35 B con ventana de
contexto de 65 536 tokens.

Aceleración integrada — iGPU Intel Arc

El controlador «VGA compatible controller» detectado por el kernel corresponde a la iGPU
integrada del procesador (familia Intel Arc, plataforma Arrow Lake-P).
Es la que utiliza OpenVINO Model Server para servir un LLM int4 y dos modelos de embedding.
Al ser integrada, la ruta CPU↔iGPU es de muy baja latencia, ideal para vectores de embedding
ligeros y generación con el LLM int4.

Clúster de Raspberry Pi 5

Un clúster de nodos ARM64 de la familia Raspberry Pi 5, todos con Debian 13 (trixie):

  • Nodo líder — orquestador del swarm y punto de entrada web.
  • Nodo de almacenamiento — backup e infraestructura, 4 núcleos, 7,8 GiB de RAM.
  • Nodo trabajador — carga de cómputo general.

Clúster de Raspberry Pi 3B

Cuatro nodos ARM64 de la familia Raspberry Pi 3B (Debian 13), cada uno con 4 núcleos y
~1 GiB de RAM. Roles verificados:

  • Nodo 1 — registry privado de imágenes, agente de Portainer y proxy
    inverso NPM.
  • Nodo 2 — salida segura mediante proxy SOCKS/VPN.
  • Nodo 3 — protección de red con CrowdSec.
  • Nodo 4 — escritorio remoto web (Apache Guacamole + PostgreSQL).

Servicios orquestados

Sobre los clústers Swarm se despliegan stacks declarativos para monitorización, un dashboard
de enlaces, la suite editorial, infraestructura personal (sincronización de archivos,
descargas, domótica, fotos, gestión de proyectos), entornos de contenedores para pruebas,
y los asistentes editorial y de traducción de WordPress.