Inventaire du laboratoire
Le laboratoire d'IA local combine un nœud unique à usage général
avec double accélérateur (un GPU NVIDIA dédié et un iGPU Intel) et deux clusters
de attribution distribuée basés sur Raspberry Pi pour les services d'infrastructure
et orchestration. Le modèle est hybride :
l'inférence des grands modèles s'effectue sur le nœud principal, tandis que les clusters ARM
gèrent le réseau, le stockage et les services web. Tout est orchestré avec Docker Swarm
y stacks YAML déclaratifs.
Nœud principal
Le nœud principal est à la fois le serveur de tête et la station de travail du
laboratoire. Héberge directement l'hôte de Hermes Agent, le moteur d'inférence ninfer et
OpenVINO Model Server (OVMS). Configuration réelle vérifiée :
- CPU: Intel Core Ultra 9 285H, 16 cœurs, microarchitecture Arrow Lake.
- RAM : 91 GiB au total.
- Stockage : NVMe de 1 To.
La mémoire est suffisante pour charger le modèle en VRAM et conserver les buffers de prétraitement ;
c'est le nœud sur lequel il est pertinent de concentrer le travail d'inférence lourd.
GPU dédiée — NVIDIA Tesla V100 PCIe 32 Go
La NVIDIA Tesla V100-PCIE-32GB (silicium GV100GL) affiche 32 768 MiB de mémoire.
Utilisé exclusivement pour l'inférence de grands modèles via le moteur ninfer
(LLM MoE et multimodaux). C'est la pièce qui soutient les modèles de 35 B avec une fenêtre de
contexte de 65 536 tokens.
Accélération intégrée — iGPU Intel Arc
Le contrôleur « VGA compatible controller » détecté par le noyau correspond à l'iGPU
intégrée du processeur (famille Intel Arc, plateforme Arrow Lake-P).
C'est celle utilisée par OpenVINO Model Server pour servir un LLM int4 et deux modèles d'embedding.
Étant intégrée, la liaison CPU↔iGPU présente une latence très faible, ce qui est idéal pour les vecteurs d'embedding.
légers et génération avec le LLM int4.
Cluster de Raspberry Pi 5
Un cluster de nœuds ARM64 de la famille Raspberry Pi 5, tous sous Debian 13 (trixie) :
- Nœud leader — orchestrateur du swarm et point d'entrée web.
- Nœud de stockage — sauvegarde et infrastructure, 4 cœurs, 7,8 GiB de RAM.
- Nœud de travail — charge de calcul général.
Cluster de Raspberry Pi 3B
Quatre nœuds ARM64 de la famille Raspberry Pi 3B (Debian 13), chacun doté de 4 cœurs et
~1 Gio de RAM. Rôles vérifiés :
- Nœud 1 — registre d'images privé, agent Portainer et proxy
inverso NPM. - Nœud 2 — sortie sécurisée via proxy SOCKS/VPN.
- Nœud 3 — protection réseau avec CrowdSec.
- Nœud 4 — bureau à distance web (Apache Guacamole + PostgreSQL).
Services orchestrés
Sur les clusters Swarm, des stacks déclaratifs sont déployés pour la surveillance, un tableau de bord
de liens, la suite éditoriale, infrastructure personnelle (synchronisation de fichiers,
téléchargements, domotique, photos, gestion de projets), environnements de conteneurs pour tests,
et les assistants éditoriaux et de traduction de WordPress.
