gen

Gen

Gen - платформа для работы с LLM: сервер, клиентское приложение и сервисы исполнения инструментов образуют единую систему для AI-чатов, управления сессиями, подключения внешних MCP-инструментов и выполнения агентных сценариев.

Раннеры разворачиваются на отдельных серверах и регистрируются в платформе; на каждом узле можно использовать свои модели и так гибко распределять нагрузку.

Архитектура платформы

Платформа состоит из трех ключевых частей и набора MCP-серверов:

• Сервер
  Отвечает за бизнес-логику, управление сессиями, оркестрацию чатов, интеграции с моделями и внешними сервисами.

• Клиент
  Предоставляет UI для чатов, управления настройками сессий, работы с инструментами и взаимодействия пользователя с платформой на разных ОС.

• Runner
  Специализированный сервис исполнения LLM-инференса. Поддерживает развертывание на отдельных серверах, регистрацию в платформе и запуск разных моделей для горизонтального распределения нагрузки.

• MCP-серверы
  Подключают внешние источники данных и инструменты через единый MCP-подход.

Что позволяет платформа

• запускать AI-чаты с поддержкой инструментов;
• управлять параметрами сессии и поведением чата;
• подключать внешние MCP-инструменты и серверы;
• выполнять tool/action-вызовы в агентном цикле;
• разделять UI, оркестрацию и выполнение инструментов по независимым компонентам;
• разворачивать клиентское приложение на Linux, Android, iOS, macOS и Windows.

Документация

• Подробная архитектура платформы
• Сборка сервера
• Сборка клиента
• Сервис запуска и взаимодействия с LLM