Обзор
В этом документе описана интеграция пользовательского виджета AI Assist с локально развёрнутыми большими языковыми моделями (LLM) с помощью Ollama. Также рассматриваются преимущества Ollama как локального решения ИИ по сравнению с облачными поставщиками, такими как OpenAI и Gemini.
Подробные инструкции по установке локальных LLM с помощью Ollama доступны здесь.
Нажмите здесь , чтобы получить пошаговые инструкции по настройке виджета для поставщиков OpenAI и Gemini .
Настройка поставщика
Ollama настраивается в config.json с флагом enabled , установленным в true.
Как работает интеграция с Ollama
Автоматическое обнаружение доступных поставщиков
- Виджет выполняет запрос GET к http://localhost:11434/api/tags , чтобы проверить, работает ли Ollama.
Пример ответа
- При возникновении проблемы, например отказа в соединении, виджет автоматически переключается на следующего доступного поставщика (OpenAI/Gemini) и показывает предупреждение.
Чтобы вручную переключить поставщика, выберите его в меню Using в виджете.
Взаимодействие через конечные точки API
Виджет взаимодействует с Ollama через конечные точки HTTP API. Например, конечная точка для генерации ответов ИИ — /api/generate.
Пример запроса
Возможности интеграции
- Анализ текста: анализирует заявку, чтобы определить основные проблемы, уровень приоритета, эмоциональный настрой заявителя и другие характеристики, полезные специалисту.
- Планирование устранения заявки: формирует пошаговые планы устранения заявок на основе описания и контекста.
- Общие запросы к ИИ: позволяет пользователям задавать в свободной форме вопросы о любых аспектах заявки.
- Ответы с учётом контекста: использует соответствующие сведения о заявках и их историю, чтобы давать ответы с учётом контекста.
Преимущества Ollama как локального решения
1. Конфиденциальность и безопасность данных
- Все данные остаются в вашей инфраструктуре: Конфиденциальные данные не передаются за пределы сети организации.
- Данные не передаются внешним облачным поставщикам: Устраняется риск раскрытия данных сторонним облачным сервисам.
- Полный контроль над обработкой и хранением данных: определяйте и применяйте собственные правила хранения и обработки данных.
- Соблюдение требований к защите данных: проще соблюдать требования GDPR и HIPAA , поскольку данные остаются внутри организации.
2. Преимущества по стоимости
- Отсутствие оплаты за токены или запросы: фиксированные затраты на инфраструктуру вместо оплаты по объёму использования.
- Предсказуемые затраты на инфраструктуру: понятные расходы, определяемые вложениями в оборудование.
- Неограниченные вызовы API в пределах возможностей оборудования: выполняйте столько запросов API, сколько способно обработать оборудование, без дополнительной платы.
3. Настройка и контроль
- Полный контроль над выбором моделей и их версий: переключайтесь между любыми совместимыми моделями с открытым исходным кодом.
- Настраиваемые параметры ответа: регулируйте токены и другие параметры для получения оптимальных результатов.
- Отсутствие привязки к поставщику: свобода перехода между различными моделями и архитектурами.
4. Работа в сети
- Отсутствие зависимости от интернета при генерации ответов: работа продолжается даже при отсутствии интернет-соединения.
- Надёжная работа без ограничений частоты запросов API: стабильное время ответа без ограничений со стороны внешнего API.
- Работа в изолированных средах: подходит для сред с высокими требованиями к безопасности без доступа к интернету.
Рекомендации по интеграции с Ollama
Управление ресурсами
- Контроль системных ресурсов: отслеживайте использование CPU, GPU и памяти для обеспечения оптимальной производительности.
- Масштабирование оборудования по характеру использования: обновляйте инфраструктуру на основе фактических показателей использования.
Выбор модели
- Выбор подходящих моделей для вашей задачи: выбирайте модели, лучше всего соответствующие вашим требованиям.
- Регулярное обновление и обслуживание моделей: обеспечивайте регулярное обновление моделей ИИ до последних версий с исправлениями безопасности.