GPU и AI на своём сервере
Необязательный AI-модуль для self-host: видеокарта на том же сервере или на отдельном узле.
Порядок настройки
- Для работы в облаке настраивать GPU не требуется. Эта инструкция предназначена администратору собственной установки Logoric.
- В веб-установщике выберите AI: выключен, на этом сервере или на отдельном GPU-хосте. Core работает и без видеокарты.
- Для локального режима подготовьте совместимые драйвер NVIDIA, Container Toolkit и GGUF instruct-модель. Выберите доступную VRAM, контекст и число параллельных запросов. Начните с одного запроса.
- Для отдельного узла подготовьте GPU-хост через scripts/gpu-install.py. Укажите DNS-имя и приватный адрес; доступ к gateway разрешите только серверу Logoric через firewall или VPN.
- В режиме remote укажите адрес gateway и комплект core-host с CA, клиентским сертификатом и ключом. Секреты передавайте защищённым способом. Проверку TLS не отключайте.
- Активируйте купленную AI-лицензию в своей установке. Администратор организации отдельно разрешает обработку данных в настройках.
- Проверьте соединение в администрировании, затем выполните быстрый анализ тестового инцидента. При нехватке VRAM уменьшите размер модели, контекст или параллельность.
- Для закрытой сети заранее перенесите установочные пакеты, модель и зависимости. Планируйте обновление сертификатов до окончания их срока.
python3 scripts/gpu-install.py --help
Ожидаемый результат
AI работает в вашей инфраструктуре; отсутствие GPU или лицензии не останавливает Core.
Если не получается
Проверьте доступность GPU-хоста, DNS и время на узлах, CA и клиентский сертификат. При OOM уменьшите контекст или размер модели. Для ошибки лицензии проверьте её срок и привязку к установке.