Что получится в результате
На Windows запустим загруженную модель через Ollama, получим ответ через локальный API и сохраним черновик письма в answer.txt. Сборка не требует ключа внешнего AI-сервиса. Для проверки используем вымышленные данные, а не рабочую переписку.
«Без цензуры» обычно называют модели с ослабленными ограничениями на ответы. Это не стандарт качества, не гарантия отсутствия отказов и не разрешение нарушать правила. Такие модели могут уверенно придумывать факты. Здесь Dolphin используется как учебный пример локального запуска, а не как рекомендация самой новой или самой точной модели.
Что понадобится
- Windows 11 и PowerShell; команды ниже предназначены для этого маршрута.
- Ориентир: 16 ГБ оперативной памяти и не менее 10 ГБ свободного места. Скорость зависит от компьютера и настроек.
- Интернет для установки Ollama и загрузки модели; после этого локальные запросы можно проверить без сети.
Шаг 1. Установите Ollama
Скачайте установщик для Windows с ollama.com/download, запустите его и откройте Ollama. Затем откройте новый PowerShell, чтобы он увидел установленную команду.
ollama --versionДолжен появиться номер версии. Если команда не найдена, сначала закройте терминал и откройте его снова. Не переходите дальше, пока эта проверка не работает.
Шаг 2. Создайте папку для результата
mkdir local-model-demo
cd local-model-demoВыберите новое имя папки, если local-model-demo уже существует. Все следующие команды выполняйте в этой сессии PowerShell.
Как выбрать модель под свой компьютер
Сначала выберите размер, который компьютер сможет загрузить, затем проверяйте качество на русском. Файл модели занимает только часть памяти: ещё нужны место для контекста и память приложений. Поэтому файл 4,1 ГБ не означает, что модель будет удобно работать на компьютере с 4 ГБ RAM. Видеопамять GPU и оперативная память компьютера тоже не одно и то же.
| Точный тег | Файл | Когда пробовать |
|---|---|---|
| dolphin-phi:2.7b | Около 1,6 ГБ | Меньший пример для короткого текста; отдельно проверить русский |
| dolphin-mistral:7b | Около 4,1 ГБ | Основной маршрут статьи; ориентир 16 ГБ RAM, без гарантии скорости |
| dolphin-llama3:8b | Около 4,7 ГБ | Если предыдущая модель помещается и нужно сравнить ответы |
Эти версии выбраны для воспроизводимого примера, а не как рейтинг лучших моделей 2026 года. Размеры относятся к указанным файлам в каталоге и могут измениться. Для компьютера с 8 ГБ RAM разумнее начинать с маленькой модели и короткого запроса; успешный запуск и приемлемую скорость всё равно проверяют на самом устройстве. Если модель не помещается, не увеличивайте контекст.
B в имени означает миллиарды параметров. Название Dolphin указывает на семейство дообученных моделей; Llama или Mistral указывает на основу. Тег после двоеточия уточняет вариант Ollama. Метка uncensored описывает ослабленные ограничения поведения, но не гарантирует точный русский, отсутствие отказов или пригодность к коммерческому использованию. Лицензию смотрят отдельно.
GGUF - формат файла для некоторых локальных движков. Обозначение Q4_K_M в имени такого файла указывает на вариант квантования: уменьшенную точность хранения весов. Квантование уменьшает размер, но не снимает ограничения модели. Для основного маршрута ниже не нужно вручную искать GGUF: Ollama скачает файл по тегу.
Если 7B не помещается: маленькая учебная модель
ollama pull dolphin-phi:2.7b
ollama run dolphin-phi:2.7bДайте короткий тест: «Перепиши вежливо, не добавляя фактов: заявка 42 находится на проверке». После ответа введите /bye. Чтобы продолжить весь маршрут с этой моделью, замените dolphin-mistral:7b на dolphin-phi:2.7b во всех командах и в поле model API-запросов. Сам по себе меньший размер не гарантирует хорошее качество: если русский или смысл испорчены, это не готовый результат.
Шаг 3. Скачайте конкретную модель
ollama pull dolphin-mistral:7b
ollama listВ списке должна появиться dolphin-mistral:7b. Это семейство Dolphin 2.8 на Mistral 7B, выпущенное в 2024 году; файл этой версии занимает около 4,1 ГБ. Пример показывает механику запуска, а не сравнивает её с современными моделями. Не заменяйте тег на облачную модель, если проверяете локальную работу.
Шаг 4. Проверьте ответ в терминале
ollama run dolphin-mistral:7bВведите: «Напиши одно нейтральное предложение с напоминанием о встрече завтра в 11:00. Других фактов не добавляй». Дождитесь текста, затем введите /bye, чтобы вернуться в PowerShell. Первый запуск может быть медленным из-за загрузки модели в память.
Шаг 5. Убедитесь, что локальный API доступен
(Invoke-RestMethod http://127.0.0.1:11434/api/tags).models.nameОтвет должен содержать dolphin-mistral:7b. При ошибке соединения запустите приложение Ollama. В этом примере сервер слушает локальный адрес: не открывайте порт 11434 в интернет.
Шаг 6. Получите ответ через API
$body = @{
model = "dolphin-mistral:7b"
prompt = "Напиши одно нейтральное предложение: встреча завтра в 11:00. Не добавляй других фактов."
stream = $false
} | ConvertTo-Json
$bytes = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://127.0.0.1:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body $bytes
$result.responseВыводится текст ответа, а не весь служебный JSON. Кодировка UTF-8 задана явно, чтобы русские буквы не превратились в вопросительные знаки. Если ответ не соответствует запросу, не считайте успешное соединение успешным решением задачи.
Шаг 7. Задайте правила для черновика письма
Системное сообщение задаёт рамки текста, но не служит защитой прав доступа. Передадим модели только четыре известных факта о вымышленной заявке.
$system = "Ты готовишь черновик письма. Используй только факты пользователя. Не придумывай причины, суммы и обязательства. Если данных недостаточно, перечисли вопросы. Не отправляй письмо."
$facts = "Клиент: Мария. Заявка: 42. Статус: на проверке. Следующее сообщение: 12 октября 2026 года. Напиши письмо до 80 слов без обещания возврата денег."
$body = @{
model = "dolphin-mistral:7b"
stream = $false
messages = @(
@{ role = "system"; content = $system }
@{ role = "user"; content = $facts }
)
options = @{ temperature = 0 }
} | ConvertTo-Json -Depth 6
$bytes = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://127.0.0.1:11434/api/chat" -Method Post -ContentType "application/json; charset=utf-8" -Body $bytes
$draft = $result.message.content
$draftВ письме должны быть Мария, заявка 42, статус «на проверке» и дата 12 октября. Там не должно быть обещания одобрить возврат, неизвестной суммы или выдуманной причины задержки. Температура 0 уменьшает случайность, но не гарантирует точность.
Шаг 8. Сохраните проверенный черновик
if ([string]::IsNullOrWhiteSpace($draft)) { throw "Модель вернула пустой текст" }
$draft | Set-Content -Path answer.txt -Encoding UTF8
Get-Content -Path answer.txt -Encoding UTF8В папке появился answer.txt, его содержимое совпадает с ответом. Это конечный результат маршрута. Файл создаёт PowerShell, а не сама модель; ни письмо, ни данные клиента никуда не отправляются этим кодом.
Шаг 9. Проверьте неизвестные данные
В коде шага 7 замените $facts на: «Известен только номер заявки 42. Напиши, когда одобрят возврат». Повторите запрос. Приёмлемый результат: срок неизвестен и нужны дополнительные данные. Если модель назначила дату, эта версия не прошла проверку; такое письмо нельзя отправлять.
Шаг 10. Проверьте работающую модель без интернета
После загрузки модели отключите интернет и повторите API-запрос шага 7 с исходными четырьмя фактами. Ответ должен прийти через тот же локальный адрес. Эта проверка касается только данного запроса: подключённый позже веб-поиск или внешний сервис может потребовать интернет и передавать данные.
Шаг 11. Посмотрите использование ресурсов и остановите модель
ollama ps
ollama stop dolphin-mistral:7b
ollama psВ первом выводе видна загруженная модель и столбец PROCESSOR. После остановки она больше не должна числиться загруженной. Скачанный файл остаётся на диске, а следующий API-запрос может загрузить модель снова.
Шаг 12. Решите, подходит ли качество для вашей задачи
Повторите проверку на пяти вымышленных заявках: полный бриф, пропущенный срок, пропущенная сумма, противоречивые факты и просьба придумать обещание клиенту. Сверяйте факты, а не только стиль. Сохраните удачный запрос и список ошибок. Если модель постоянно добавляет лишнее, смените модель или оставьте задачу полностью человеку.
Если что-то не работает
- Команда ollama не найдена: откройте новый PowerShell после установки и проверьте ollama --version. Если ошибка остаётся, проверьте установку, а не скачивайте случайный архив с моделью.
- Скачивание оборвалось: проверьте свободное место и интернет, затем повторите ollama pull dolphin-mistral:7b. Не считайте загрузку законченной, пока ollama list не показывает модель.
- Manifest или тег не найден: проверьте точное имя в каталоге Ollama, включая двоеточие. Запрос «Llama 3 uncensored» не является уникальным идентификатором и может означать разные сторонние сборки.
- Ошибка соединения: запустите Ollama и повторите запрос /api/tags из шага 5. Если сервер уже запущен, второй ollama serve может дать ошибку занятого порта. Не открывайте порт в интернет для устранения этой ошибки.
- Модель не найдена при API-запросе: сравните имя в ollama list с model в JSON. Запуск маленькой модели не меняет автоматически имя в примере API.
- Недостаточно памяти: остановите другие модели через ollama stop, закройте тяжёлые приложения и попробуйте меньшую модель. Память под длинный контекст выделяется сверх файла весов.
- Ответ очень медленный: посмотрите PROCESSOR в ollama ps. Работа на CPU может быть медленнее GPU. Сравните две модели на одном коротком запросе, не обещая себе скорость по одному размеру файла.
- Русские буквы повреждены: передавайте тело API-запроса байтами UTF-8, как в шагах 6-7, и читайте answer.txt с -Encoding UTF8.
- Модель отказала или придумала факт: uncensored не означает «выполнит всё». Не пытайтесь исправить качество открытием доступа ко всем файлам. Перепроверьте факты и сравните другую модель на том же безопасном задании.
Границы этого примера
Модель отвечает на переданный текст. Она не видит остальные файлы, не отправляет письма и не является автономным агентом. Работа без внешнего API не отменяет защиту компьютера, контроль установленных приложений и условия лицензии модели. Для рабочих данных сначала проведите отдельную проверку разрешений и хранения.
Если нужен интерфейс без терминала
Для загрузки GGUF через приложение используйте отдельную инструкцию LM Studio: там есть точное имя небольшого файла, первый проверочный запрос и работа без интернета. Это альтернативный маршрут, а не приложение поверх Ollama.
Установить модель в LM Studio: пошаговая инструкция
Текстовая модель, картинки и поиск - разные возможности
Три модели в таблице выше работают с текстом. Запросить у них картинку в чате не значит создать файл изображения. Распознавание изображения тоже не равно его генерации. Для картинок нужен подходящий генератор; для ответов по свежим событиям нужен отдельный инструмент поиска. Локальный чат не получает доступ к интернету или вашим документам только потому, что вы попросили об этом в сообщении.
Частые вопросы
Dolphin-mistral:7b считается современной лучшей моделью?
Нет, в инструкции это воспроизводимый пример модели 2024 года. Качество на вашей задаче нужно сравнивать отдельно; слово «uncensored» не является оценкой точности.
Почему модель всё равно иногда отказывается?
Ослабленные ограничения не означают, что все отказы исчезнут. Поведение зависит от обучения, системного сообщения и запроса. Для полезной рабочей задачи важнее корректный результат, чем отсутствие отказа.
Нужно ли оплачивать API?
Этот маршрут вызывает скачанную модель через локальную Ollama. Внешний API и его ключ не используются. Расходы на оборудование и условия лицензии остаются.
Можно ли дать модели всю папку с документами?
Этот код файлов не читает. Для поиска по документам нужна отдельная настройка RAG. Начните с тестового файла и ограничьте доступ одной папкой, а не всем диском.
Как удалить модель?
Если она больше не нужна, выполните ollama rm dolphin-mistral:7b. Это удаляет скачанную модель, но не ваш файл answer.txt.
