gen

package module
v0.0.0-...-444abac Latest Latest
Warning

This package is not in the latest version of its module.

Go to latest
Published: May 5, 2026 License: Apache-2.0 Imports: 1 Imported by: 0

README

Gen

Gen - платформа для работы с LLM: сервер, клиентское приложение и сервисы исполнения инструментов образуют единую систему для AI-чатов, управления сессиями, подключения внешних MCP-инструментов и выполнения агентных сценариев.

Раннеры разворачиваются на отдельных серверах и регистрируются в платформе; на каждом узле можно использовать свои модели и так гибко распределять нагрузку.

Архитектура платформы

Платформа состоит из трех ключевых частей и набора MCP-серверов:

  • Сервер
    Отвечает за бизнес-логику, управление сессиями, оркестрацию чатов, интеграции с моделями и внешними сервисами.

  • Клиент
    Предоставляет UI для чатов, управления настройками сессий, работы с инструментами и взаимодействия пользователя с платформой на разных ОС.

  • Runner
    Специализированный сервис исполнения LLM-инференса. Поддерживает развертывание на отдельных серверах, регистрацию в платформе и запуск разных моделей для горизонтального распределения нагрузки.

  • MCP-серверы
    Подключают внешние источники данных и инструменты через единый MCP-подход.

Что позволяет платформа

  • запускать AI-чаты с поддержкой инструментов;
  • управлять параметрами сессии и поведением чата;
  • подключать внешние MCP-инструменты и серверы;
  • выполнять tool/action-вызовы в агентном цикле;
  • разделять UI, оркестрацию и выполнение инструментов по независимым компонентам;
  • разворачивать клиентское приложение на Linux, Android, iOS, macOS и Windows.

Документация

Documentation

Index

Constants

This section is empty.

Variables

View Source
var Postgres embed.FS

Functions

This section is empty.

Types

This section is empty.

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL