rofl-lab1

rofl-lab1

Гайд на отправку запросов к LLM

Пререквизиты

• склонирован репозиторий
• установлен Docker

1. Собираем Docker образ:

   docker build -f ./dockerfiles/llm.dockerfile -t my-t .
   

2. Запускаем Docker контейнер

   # подставить API ключ mistral
   docker run -p 8100:8100 -e MISTRAL_API_KEY=<API_КЛЮЧ_MISTRAL> my-t
   

3. Переходим на http://localhost:8100/docs. Это раздел с документацией к API, отсюда можно отправлять запросы на это самое API. Делается это так: выбираем любую ручку (например /ping), кликаем по ней, там будет кнопка Try it out, нажимаем туда - появляется поле ввода для всех параметров, вводим и кликаем на кнопку Execute. У каждой ручки также есть описание, что она делает. Для поиска похожих для вопроса надо пользоваться /search_similar, а для отправки запроса в mistral - /get_chat_response.

Важно: сейчас в проде используем mistral-large-2411. Эта же версия используется по умолчанию в ручке /get_chat_response.

Инструкция по настройке Telegram-бота

1. Создание бота в Telegram

Запустите бота @BotFather, создайте своего бота и сохраните его токен.

2. Создание файла .env

Сгенерируйте GHTOKEN (нужен вечный токен с read-write доступом к Gist). Затем, в корне репозитория создайте файл .env и заполните его следующим образом:

# все значения переменных являются просто примерами, можно выставить свои
MISTRAL_API_KEY=<mistral token>
TGTOKEN=<tg bot token>
POSTGRES_PASSWORD=strong
POSTGRES_USER=admin
POSTGRES_DB=dbtfl
GHTOKEN=<ghtoken>

3. Запуск через Docker Compose

Для сборки и запуска контейнеров выполните:

docker compose up --build

4. Подключение к PostgreSQL

После запуска контейнера подключитесь к контейнeру PostgreSQL с помощью команды:

docker exec -it postgres /bin/sh

И выполните команду:

psql -h localhost -d dbtfl -U admin

5. Применение миграций

Выполните следующие команды для применения миграций (первую строчку копировать не надо).

6. Готово! 🎉