Что значит «локальный»
Локальный ИИ-агент использует модель, которая работает на вашем компьютере или на сервере вашей компании. Например, вы просите проверить заявку, программа читает разрешённый файл, предлагает ответ и сохраняет черновик. Для генерации текста ей не обязательно обращаться к внешнему AI-сервису.
Но само слово «локальный» ещё ничего не говорит о возможностях программы. Чат с моделью только отвечает на сообщения. Помощник с RAG дополнительно находит фрагменты ваших документов. Агенту дают инструменты для действий: создать файл, запросить данные или подготовить задачу. Эти три уровня часто называют одним словом, хотя требования к ним разные.
Выберите результат, который нужен вам
Для знакомства с локальным AI достаточно получить один проверенный ответ. Для вопросов по рабочим файлам понадобится отдельная настройка поиска. Для самостоятельных действий потребуются ещё права и инструменты. Начните с нужного результата, а не с установки всех приложений сразу.
Первый чат и API: установка Llama на Windows без Docker
Первый чат через приложение: установка модели в LM Studio
Ответы по своим документам: Open WebUI и локальный RAG
Пример: помощник по внутреннему регламенту
В регламенте написано: возврат согласует Анна, срок составляет три рабочих дня. Вы спрашиваете, кто отвечает за возвраты. Обычная модель этого не знает. Помощник с поиском по документам находит нужную строку и отвечает с указанием файла. Если в документе нет суммы штрафа за задержку, правильный ответ не «500 рублей», а «в регламенте это не указано».
Чтобы помощник стал агентом, можно добавить действие «создать черновик ответа клиенту». Ему не нужен доступ ко всему диску или право отправлять письма. Достаточно одной разрешённой папки для черновиков. Человек сверяет текст с регламентом и только потом отправляет его. Автономная работа не является обязательной целью: полезный помощник с проверкой часто проще и надёжнее.
Когда локальная модель полезнее облачного чата
Локальный запуск имеет смысл, если нужны эксперименты без передачи исходного текста внешней модели, работа после отключения интернета или контроль над выбранной версией модели. Например, можно разбирать вымышленные обращения, искать по своей технической документации или готовить черновики отчётов из локальных файлов.
Это не означает, что любой локальный инструмент полностью приватен. Интерфейс может использовать облачную модель, внешний поиск, удалённое распознавание речи или внешнюю модель для поиска по документам. Проверьте весь путь данных, а не только место установки приложения. Для чувствительных документов дополнительно нужны права доступа, правила хранения и проверка журналов. Локальный запуск сам по себе их не создаёт.
Из чего состоит рабочая сборка
Движок загружает модель и выполняет её на компьютере. Ollama предоставляет локальный API; LM Studio позволяет работать с загруженной моделью через приложение и локальный сервер. Open WebUI является интерфейсом и системой работы с документами, а не заменой самой модели. Поэтому установить Open WebUI недостаточно: нужно ещё загрузить модель и настроить соединение с движком.
Для вопросов по документам нужны два разных этапа. Модель поиска превращает фрагменты текста в числовые представления, по которым находятся подходящие отрывки. Языковая модель составляет ответ по этим отрывкам. Если поиск подключён к внешнему API, документы могут уходить из локального контура, даже когда языковая модель работает на вашем ПК.
| Задача | Что нужно | Как проверить |
|---|---|---|
| Поговорить с моделью | Ollama или LM Studio и загруженная модель | Ответ на короткий запрос без внешнего API |
| Ответить по регламенту | Локальная модель, интерфейс, поиск по документу | Ответ совпадает с файлом; неизвестный факт не выдуман |
| Подготовить файл | Предыдущая сборка и одно разрешённое действие | Черновик создан только в выбранной папке |
Какой компьютер нужен
Начните с небольшой модели, а не с максимальной. Для учебного маршрута с моделью на несколько миллиардов параметров разумно закладывать 16 ГБ оперативной памяти и свободное место под модель и приложения. Это ориентир, а не гарантия скорости: у моделей отличаются формат хранения, объём памяти и требования к длине диалога.
Размер файла модели не равен потреблению памяти. Дополнительная память нужна для контекста, вычислений, интерфейса и других программ. Видеокарта может ускорить ответы, если модель помещается в её память и движок действительно использует GPU. На CPU запуск тоже возможен, но ответ может идти заметно дольше. В Ollama команда ollama ps показывает, какая модель загружена и используется ли CPU или GPU.
| Условия | Первый тест | Не обещает |
|---|---|---|
| 8 ГБ RAM, без дискретной GPU | Маленькая модель, короткий чат, одно приложение | Комфортный RAG с Docker и большой базой |
| 16 ГБ RAM, CPU | Чат, затем один небольшой TXT-документ | Быстрые ответы на длинные документы |
| Есть совместимая GPU | Проверить фактическое размещение и скорость | Ускорение без настройки движка или контейнера |
Это ориентиры для первого эксперимента, а не минимальные требования всех инструментов. Например, LM Studio рекомендует от 16 ГБ RAM и 4 ГБ выделенной VRAM; конкретный маленький пример и работа на CPU проверяются отдельно. Нельзя выбирать оборудование только по числу B или размеру скачиваемого файла.
Измеряйте один и тот же короткий запрос дважды: первый ответ может включать загрузку модели. Запишите время, используемый CPU/GPU и ошибки фактов. Затем повторите свой прикладной тест. Покупать видеокарту по результату чужого скриншота бессмысленно: важны ваша модель, длина контекста и задача.
С чего начать без лишней сложности
Для первого опыта достаточно чата с маленькой моделью и одного короткого тестового документа. Не подключайте сразу CRM, почту и папку со всеми рабочими файлами. Сначала задайте вопрос, ответ на который точно есть в документе, а затем вопрос, ответа на который там нет. Если второй ответ выдуман, добавление новых интеграций проблему не исправит.
Практический маршрут с Windows, Docker и Open WebUI разобран в инструкции «Как собрать локального ИИ-агента на компьютере». В результате получится помощник с поиском по документам, без автономного управления компьютером. Для знакомства с одной моделью без Docker подойдёт инструкция по локальному запуску: там есть вызов API и сохранение ответа в файл.
Как оценить, что сборка действительно помогает
Возьмите десять вопросов с заранее известными ответами, три вопроса без ответа в документе и два случая, где документы противоречат друг другу. Запишите рядом исходный фрагмент и ответ помощника. Ошибка в сроке, фамилии или сумме важнее красивой формулировки. Если помощник не может указать, на какой файл опирается, результат нужно проверить вручную.
Проверьте и обновления: замените срок в тестовом регламенте, заново обработайте документ и повторите вопрос в новом чате. Помощник должен использовать новую версию. Старый ответ может остаться в истории разговора, поэтому успешный ответ в одном диалоге ещё не доказывает, что поиск обновился.
Если первая сборка не работает
Если команда не найдена, проблема в установке движка. Если чат не открывается, проверьте локальный сервис или контейнер. Если модель не загружается, смотрите память и точное имя. Если ответ по документу неверный, откройте найденный фрагмент: отсутствующий текст и ошибка рассуждения требуют разных исправлений. Наличие красивого интерфейса не проверяет ни один из этих этапов.
Локальность тоже проверяется по сценарию: после всех загрузок отключите интернет и повторите запрос на тестовых данных. Для RAG должны быть локальными и модель ответов, и embeddings. Облачный провайдер или внешний поиск не становятся локальными от установки приложения на свой компьютер.
Когда добавлять действия
Добавляйте один инструмент, когда ответы по документам уже проверены. Укажите, какие входные данные он принимает, какую папку или таблицу может менять и где требуется подтверждение человека. Для начала пусть агент сохраняет черновики, а не отправляет письма и не меняет рабочие записи. Текст из документа не должен сам разрешать новые действия.
Если нужна высокая точность на сложных задачах, локальная модель может не подойти. Тогда сравните её с облачной на тех же обезличенных примерах. Гибридная схема тоже требует проверки: краткая сводка способна содержать конфиденциальные данные, поэтому обещание «мы отправляем только выжимку» не является защитой.
Частые вопросы
Локальный агент работает без интернета?
После загрузки моделей это возможно, если все необходимые компоненты работают локально. Веб-поиск, внешние API и облачные модели без сети не заработают. Проверьте нужный сценарий с отключённым интернетом.
Модель сама видит файлы на компьютере?
Нет. Программа должна явно передать текст или предоставить инструмент чтения. Установка модели не даёт ей доступ к диску; такой доступ появляется из настроек приложения и подключённых инструментов.
Нужна ли дорогая видеокарта?
Для небольшого учебного примера нет. Сначала проверьте качество на доступном компьютере. Покупать оборудование имеет смысл только после измерения скорости и памяти для конкретной модели и задачи.
Что выбрать для PDF: модель побольше или поиск по документам?
Сначала проверьте извлечение текста и поиск нужных фрагментов. Даже сильная модель не ответит по странице, которая не была прочитана. Сканированный PDF обычно требует отдельного распознавания текста.
Локальное использование полностью бесплатное?
Запуск скачанной модели может не требовать платы за запросы, но остаются расходы на оборудование, электричество, хранение и поддержку. У модели и библиотек также есть условия лицензии.
