К основному содержимому
🤖

AI-агенты на VDS

34 статей в разделе

Раздел о развёртывании AI-инструментов на собственном сервере — без зависимости от чужого API и с полным контролем над данными. Начало — что такое AI-агенты и зачем их держать на VDS, установка Ollama для запуска локальных LLM, веб-интерфейс Open WebUI поверх неё и сравнение движков вроде vLLM, llama.cpp и Text Generation WebUI под разное железо.

Дальше — построение собственных систем: агенты на LangChain и мультиагентные связки через CrewAI и AutoGen, no-code автоматизация в n8n и визуальный конструктор Flowise, RAG для ответов по своим документам с векторными базами Chroma, Qdrant или pgvector прямо в PostgreSQL. Разобрано подключение внешних API — OpenAI, Claude и Gemini, оценка их стоимости и сравнение между собой.

Есть и прикладные сценарии: Telegram-бот на связке LangChain и Ollama, чат-виджет для сайта на PHP и JavaScript, транскрипция речи через Whisper, генерация изображений в Stable Diffusion и ComfyUI, а также расчёт видеопамяти под модель и защита агентов от prompt injection.

  • Локальные LLM: Ollama, vLLM, llama.cpp
  • Агенты и RAG: LangChain, CrewAI, векторные БД
  • No-code автоматизация: n8n и Flowise
  • Мониторинг и безопасность AI-агентов
AI-агенты: что это такое и зачем нужны на VDS AI-агенты — автономные программы на базе LLM. Узнайте, как развернуть AI-агента на VDS-сервере и какие фреймворки выбрать. Установка и настройка Ollama на VDS: запуск локальных LLM Ollama позволяет запускать Llama 3, Mistral, Phi-3 на VDS. Пошаговая инструкция установки, настройки и первого запуска модели. Open WebUI: веб-интерфейс для Ollama на VDS Open WebUI — ChatGPT-подобный интерфейс для локальных моделей Ollama. Установка через Docker, настройка Nginx и мультипользовательский режим. LangChain на VDS: создание AI-агентов на Python LangChain — главный фреймворк для AI-агентов на Python. Установка на VDS, подключение к Ollama, создание цепочек и первый агент с инструментами. n8n на VDS: автоматизация с AI-агентами без кода n8n — мощный инструмент автоматизации с поддержкой AI-агентов. Установка на VDS, подключение к Ollama и создание первого AI-воркфлоу. Flowise на VDS: визуальный конструктор AI-агентов Flowise — drag-and-drop платформа для построения AI-агентов и LLM-пайплайнов. Установка на VDS, подключение Ollama и готовые шаблоны чат-ботов. RAG на VDS: AI-ответы по вашим документам RAG (Retrieval-Augmented Generation) позволяет LLM отвечать на вопросы по вашим документам. Полный туториал с LangChain, Chroma и Ollama на VDS. AI Telegram-бот на VDS с LangChain и Ollama Создайте AI Telegram-бота с памятью диалога на VDS используя Python, LangChain и локальную модель Ollama. Пошаговое руководство с полным кодом. Chroma DB на VDS: векторная база данных для RAG Chroma — популярная векторная база данных для RAG-систем. Установка на VDS, embedded и server режимы, интеграция с LangChain. Qdrant на VDS: высокопроизводительная векторная БД Qdrant — продакшн-готовая векторная база данных на Rust для миллиардов векторов. Установка на VDS, Python-клиент и интеграция с LangChain. OpenAI API на VDS: подключение и оптимизация затрат Подключение OpenAI API к VDS, смешанная стратегия Ollama+OpenAI и LiteLLM прокси для команды. Экономьте до 90% на AI-запросах. CrewAI на VDS: команда AI-агентов для сложных задач CrewAI позволяет создавать команды специализированных AI-агентов. Установка на VDS с Ollama, создание агентов с ролями и задачами. LocalAI на VDS: OpenAI-совместимый сервер моделей LocalAI — полная замена OpenAI API с локальными моделями. Поддержка текста, изображений и речи. Установка на VDS через Docker. Мониторинг AI-агентов на VDS: Langfuse и метрики Мониторинг AI-агентов в продакшне: Langfuse для трассировки LLM, метрики токенов и латентности, интеграция с LangChain на VDS. AutoGen на VDS: мультиагентная система от Microsoft AutoGen — фреймворк Microsoft для мультиагентных систем. Агенты пишут и запускают код, общаются между собой. Установка на VDS с Ollama. ChatGPT API: подключение и использование OpenAI API Подключение OpenAI ChatGPT API: получение ключа, запросы к GPT-4o, streaming, PHP и Python примеры, цены на модели 2025. Claude API (Anthropic): подключение и интеграция с VPS Claude API от Anthropic: настройка, PHP и Python примеры, vision, сравнение с ChatGPT GPT-4o, цены Claude 3.5 Sonnet и Haiku. Stable Diffusion на VPS: генерация изображений на сервере Развёртывание Stable Diffusion WebUI (AUTOMATIC1111) на GPU VPS. Установка, API, Python интеграция, ComfyUI, выбор GPU-сервера. OpenAI Whisper: транскрипция аудио и видео на VPS Локальная транскрипция аудио с OpenAI Whisper на VPS: установка, Python API, FastAPI сервер, Faster-Whisper в 4x быстрее, поддержка русского и украинского. Google Gemini API: настройка и использование на VPS Google Gemini API: подключение, Python и PHP примеры, 1M токенов контекста, мультимодальный анализ изображений, цены на Gemini 1.5 Flash и Pro 2025. MCP Server: подключение инструментов к Claude AI Model Context Protocol (MCP): настройка Claude Desktop, подключение файловой системы и БД, создание собственного MCP-сервера на Python для хостинга. AI чатбот для сайта с ChatGPT: PHP + JavaScript виджет Создание AI чатбота поддержки на сайте с ChatGPT API: PHP backend, JavaScript виджет, rate limiting, система промптов, деплой на VPS. Ollama: локальные LLM на VPS без API ключей Запуск LLaMA 3, Mistral, Gemma на VPS с Ollama: установка, REST API, Python интеграция, сравнение моделей, приватность данных без внешних сервисов. Сравнение AI API 2025: OpenAI, Claude, Gemini, Groq и Ollama Подробное сравнение LLM API 2025: GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, Groq, Ollama. Цены, скорость, контекст, выбор для конкретных задач. Настройка vLLM на сервере: быстрый инференс LLM Настройка vLLM на GPU-сервере: требования к видеокарте, установка, запуск OpenAI-совместимого API и решение ошибок нехватки памяти. llama.cpp и GGUF: запуск языковых моделей на CPU Как запустить языковую модель на процессоре через llama.cpp: формат GGUF, уровни квантования, сборка и первый запуск на сервере без GPU. Text Generation WebUI: веб-интерфейс для LLM на сервере Установка Text Generation WebUI на VDS: подключение backend'ов llama.cpp и Transformers, загрузка моделей и настройка чата через браузер. Семантический поиск по сайту на эмбеддингах Как построить семантический поиск по сайту на эмбеддингах: выбор модели, генерация векторов, хранение в базе и выдача релевантных статей. pgvector: векторный поиск прямо в PostgreSQL Установка pgvector для PostgreSQL: создание векторной колонки, индекс HNSW, поиск ближайших соседей и типичные ошибки настройки на VDS. Векторные базы данных: сравнение Qdrant, Weaviate и Milvus Векторная база данных для RAG и поиска: чем отличаются Qdrant, Weaviate и Milvus и что поставить на VDS. Сколько видеопамяти нужно языковой модели: расчёт VRAM Как рассчитать VRAM под конкретную LLM: формула, таблицы по квантизации и подбор GPU для VDS. Потоковая транскрипция Whisper в реальном времени на сервере Потоковая транскрипция на Whisper: нарезка аудио, VAD, faster-whisper и WebSocket-сервер на VDS. ComfyUI на сервере: сборка конвейеров генерации изображений Установка ComfyUI на VDS с GPU: узлы, готовые workflow, запуск через API и расчёт нужной VRAM. Безопасность AI-агентов: защита от prompt injection Как защитить AI-агента от prompt injection: изоляция инструментов, allowlist действий и мониторинг на VDS.