Оборудование локальной лаборатории ИИ

Инвентарь лаборатории

Локальная лаборатория ИИ объединяет в себе один узел общего назначения
с двойным ускорителем (выделенный графический процессор NVIDIA и интегрированный графический процессор Intel) и двумя кластерами
распределенного назначения на базе Raspberry Pi для инфраструктурных сервисов
и оркестрация. Модель является гибридной:
Инференс больших моделей выполняется на основном узле, в то время как ARM-кластеры
управляют сетью, хранилищем и веб-сервисами. Все это оркеструется с помощью Docker Swarm
и декларативные стеки YAML.

Основной узел

Основной узел одновременно является сервером управления и рабочей станцией для
лаборатория. Напрямую хостит Hermes Agent, движок инференса ninfer и
OpenVINO Model Server (OVMS). Проверенная конфигурация в реальных условиях:

  • CPU: Intel Core Ultra 9 285H, 16 ядер, микроархитектура Arrow Lake.
  • ОЗУ: Всего 91 ГиБ.
  • Хранение: NVMe емкостью 1 ТБ.

Памяти достаточно для загрузки модели в VRAM и сохранения буферов предобработки;
это узел, на котором имеет смысл сосредоточить тяжелые вычислительные задачи инференса.

Выделенный графический процессор — NVIDIA Tesla V100 PCIe 32 GB

NVIDIA Tesla V100-PCIE-32GB (кремний GV100GL) сообщает о наличии 32 768 MiB памяти.
Используется исключительно для инференса больших моделей через движок ninfer
(LLM MoE и мультимодальные). Это компонент, который поддерживает модели с 35 B и окном
контекст 65 536 токенов.

Интегрированное ускорение — iGPU Intel Arc

Контроллер «VGA compatible controller», обнаруженный ядром, соответствует iGPU
интегрированная графика процессора (семейство Intel Arc, платформа Arrow Lake-P).
Это то, что использует OpenVINO Model Server для обслуживания LLM int4 и двух моделей эмбеддингов.
При интеграции путь CPU↔iGPU обладает очень низкой задержкой, что идеально подходит для векторов эмбеддингов
легкие и генерация с использованием LLM int4.

Кластер Raspberry Pi 5

Кластер узлов ARM64 семейства Raspberry Pi 5, все под управлением Debian 13 (trixie):

  • Ведущий узел — оркестратор роя и точка входа в веб-интерфейс.
  • Узел хранения — резервное копирование и инфраструктура, 4 ядра, 7,8 GiB оперативной памяти.
  • Рабочий узел — общая вычислительная нагрузка.

Кластер Raspberry Pi 3B

Четыре узла ARM64 семейства Raspberry Pi 3B (Debian 13), каждый с 4 ядрами и
~1 ГБ оперативной памяти. Проверенные роли:

  • Узел 1 — приватный реестр образов, агент Portainer и прокси
    инверсия NPM.
  • Узел 2 — безопасный выход через прокси SOCKS/VPN.
  • Узел 3 — защита сети с помощью CrowdSec.
  • Узел 4 — веб-удаленный рабочий стол (Apache Guacamole + PostgreSQL).

Оркестрированные сервисы

В кластерах Swarm развертываются декларативные стеки для мониторинга и дашборд
из ссылок, издательский пакет, персональная инфраструктура (синхронизация файлов,
загрузки, домашняя автоматизация, фото, управление проектами), контейнерные среды для тестирования,
и редакторы и переводчики WordPress.