GPT
Пошаговые инструкции Для начинающих 31 мин

Установка Llama на Windows: Ollama, PowerShell, локальный API и первая модель

Установка Llama на Windows через Ollama: выбор и скачивание модели, первый чат и API, обновление, остановка, удаление и диагностика ошибок.

Ollama Llama Windows Локальные LLM Инструкция PowerShell llama3.2

Что получится в результате

Установим Llama на Windows через Ollama. Это самый короткий путь для первого локального запуска: без сборки llama.cpp, без ручного скачивания весов и без настройки Python. После инструкции у вас будет локальная модель, которая отвечает в PowerShell и доступна через API на `localhost:11434`.

В результате будет готово:

  1. Windows проверена на совместимость;
  2. Ollama установлена через официальный Windows installer;
  3. команда `ollama` работает в PowerShell;
  4. локальный сервис отвечает на `localhost:11434`;
  5. модель `llama3.2:3b` скачана и запущена;
  6. для слабого ПК есть вариант `llama3.2:1b`;
  7. список моделей проверяется через `ollama list`;
  8. активные запуски проверяются через `ollama ps`;
  9. API проверен через `Invoke-RestMethod`;
  10. место хранения моделей можно перенести через `OLLAMA_MODELS`;
  11. лишние модели можно удалить через `ollama rm`;
  12. есть checklist типовых ошибок.

Финальная проверка: в PowerShell команда `ollama run llama3.2:3b` открывает чат, модель отвечает на русском, а локальный API возвращает JSON-ответ на тестовый запрос.

Какой маршрут выбрать

Если Ollama ещё не установлена, пройдите шаги 1-13. Если программа уже работает, начните с раздела «Как выбрать модель в Ollama», затем выполните шаги 7-10: скачивание, запуск и проверку. Остановка и удаление разобраны в шагах 16-17. Для обычного чата Docker не нужен; перенос хранилища и дополнительные интерфейсы необязательны.

Без терминала: первый чат в LM Studio

Нужны ответы по своим файлам: локальный помощник с RAG

Разобраться в выборе: что умеет локальный ИИ-агент

Что понадобится

Подготовьте:

  1. Windows 10 22H2 или новее, либо Windows 11; для нового компьютера предпочтительна поддерживаемая Windows 11.
  2. возможность устанавливать приложения в своей учётной записи: обычный установщик Ollama не требует прав администратора, но корпоративные ограничения могут запрещать установку;
  3. 8 ГБ RAM - ориентир для первого короткого теста с 1B, а не гарантированный минимум для любой модели.
  4. 16 ГБ RAM дают больше запаса для 3B и приложений; размер модели и длину контекста всё равно проверяют отдельно.
  5. Около 10 ГБ свободного места для первого теста. По документации сама установка требует минимум 4 ГБ, а модели скачиваются отдельно; оставьте запас и для обновлений.
  6. стабильный интернет для скачивания модели;
  7. PowerShell;
  8. официальный сайт Ollama;
  9. необязательная видеокарта NVIDIA или AMD;
  10. понимание, что локальная модель не равна ChatGPT по скорости и качеству.

Если компьютер слабый, начинайте с `llama3.2:1b`. Если RAM 16 ГБ и выше, пробуйте `llama3.2:3b`. Большие модели ставьте только после проверки маленькой.

Шаг 1. Определите, что именно устанавливаем

Важно разделить понятия:

  1. Llama - семейство языковых моделей Meta;
  2. Ollama - программа, которая скачивает и запускает модели локально;
  3. PowerShell - терминал, из которого вы будете запускать команды;
  4. локальный API - адрес `http://localhost:11434`, через который программы могут обращаться к модели;
  5. модельный тег - имя модели, например `llama3.2:3b`.

Для этой инструкции используем связку:

text 
Windows -> Ollama -> llama3.2:3b -> PowerShell -> localhost:11434

Проверка: вы устанавливаете не “приложение Llama”, а Ollama, внутри которой запускается модель Llama.

Шаг 2. Проверьте Windows и железо

Откройте PowerShell и посмотрите базовую информацию:

powershell 
$os = Get-CimInstance Win32_OperatingSystem
$pc = Get-CimInstance Win32_ComputerSystem
[pscustomobject]@{
  Windows = $os.Caption
  Version = $os.Version
  RAM_GB = [math]::Round($pc.TotalPhysicalMemory / 1GB, 1)
}

Проверьте место на диске:

powershell 
Get-PSDrive C

Ориентир:

  1. `llama3.2:1b` - для слабых машин и быстрых тестов;
  2. `llama3.2:3b` - нормальный первый вариант;
  3. 7B-8B модели - лучше иметь 16 ГБ RAM или больше;
  4. 13B и выше - не начинайте с них на обычном ноутбуке;
  5. если диска меньше 10 ГБ, сначала освободите место.

Проверка: вы понимаете, какую модель скачивать первой, и не начинаете с тяжелого варианта.

Маленькая модель и русский язык

1B и 3B здесь - конкретные варианты для проверки запуска, а не лучшие модели 2026 года. Llama 3.2 имеет ограниченный набор официально поддерживаемых языков: русский в этом списке не заявлен. Ответ на русском возможен, но качество нужно проверить; увеличение размера не гарантирует грамотный текст.

Если русский тест не прошёл, можно отдельно сравнить многоязычную Qwen на том же запросе. Не меняйте модель посреди инструкции без замены имени во всех API-вызовах. Запуск без видеокарты допустим, но для 8 ГБ RAM начните с одиночного короткого чата, без Docker и большой базы документов.

Как выбрать модель в Ollama

Откройте библиотеку Ollama, найдите семейство и перейдите к списку тегов. Имя до двоеточия обозначает семейство, часть после него - конкретный вариант: например, llama3.2:1b. Не копируйте первое короткое имя без проверки: тег latest выбирает вариант по умолчанию, а не обязательно самый лёгкий. Число B относится к масштабу модели, а не к объёму оперативной памяти.

Открыть варианты Llama 3.2 в библиотеке Ollama

Точный тег Загрузка С чего начать
llama3.2:1b Около 1,3 ГБ Проверка установки и короткого чата; русский нужно проверить отдельно.
llama3.2:3b Около 2 ГБ Следующий тест, если 1B работает и есть запас памяти.
qwen3:0.6b Около 523 МБ Небольшой многоязычный вариант для отдельного сравнения, не замена сильной модели.

Проверьте в карточке тип входа и выхода, размер выбранного тега и лицензию. Эти варианты Llama предназначены для текста: наличие файла PDF или картинки на компьютере не означает, что модель сможет его прочитать. Embedding-модель нужна для векторов и поиска, а не для обычного диалога; облачный тег не подходит для офлайн-теста.

Размер файла не равен памяти при запуске: дополнительно нужен запас на контекст, саму программу и Windows. Поэтому «модель весит 2 ГБ» не означает «хватит 2 ГБ RAM». Для первого сравнения оставьте короткий контекст и один запрос за раз. Большой предел контекста из карточки не нужно включать целиком на ноутбуке.

В основной инструкции оставляем Llama, чтобы команды совпадали от начала до конца. Если выбрали другой тег, замените имя и в ollama run, и в поле model всех API-запросов. Qwen можно проверить позже на том же тесте из шага 12; небольшой размер сам по себе не доказывает хорошее качество русского текста.

Посмотреть конкретный тег Qwen3 0.6B

Шаг 3. Обновите драйвер видеокарты

Если есть дискретная видеокарта, обновите драйвер до свежей версии.

Сделайте:

  1. откройте сайт NVIDIA, AMD или Intel;
  2. скачайте драйвер под вашу видеокарту;
  3. установите драйвер;
  4. перезагрузите Windows;
  5. не ставьте сомнительные driver-pack утилиты;
  6. если видеокарты нет, пропустите шаг.

Проверка NVIDIA:

powershell 
nvidia-smi

Если команда не найдена, это не блокер для CPU-запуска. Ollama все равно может работать на процессоре, просто медленнее.

Шаг 4. Скачайте Ollama для Windows

Откройте официальный сайт:

text 
https://ollama.com/download/windows

Сделайте:

  1. нажмите Download for Windows;
  2. скачайте installer;
  3. проверьте, что файл скачан с домена `ollama.com`;
  4. закройте старые окна PowerShell;
  5. запустите installer;
  6. дождитесь завершения установки;
  7. если Windows спросит разрешение, подтвердите установку.

Проверка: Ollama появилась в системе, но старые окна PowerShell могут еще не видеть команду.

Шаг 5. Откройте новый PowerShell

После установки откройте новое окно PowerShell.

Проверьте команду:

powershell 
ollama --version

Ожидаемый результат:

text 
ollama version ...

Если видите ошибку `ollama не распознается`, сделайте:

  1. закройте PowerShell;
  2. откройте PowerShell заново;
  3. если не помогло, перезагрузите Windows;
  4. проверьте, что Ollama установлена;
  5. не скачивайте случайные exe-файлы с форумов.

Проверка: команда `ollama --version` возвращает версию.

Шаг 6. Проверьте локальный сервис Ollama

Ollama поднимает локальный API.

Проверьте:

powershell 
(Invoke-WebRequest -UseBasicParsing http://localhost:11434).Content

Ожидаемый ответ:

text 
Ollama is running

Если ответа нет:

  1. запустите Ollama из меню Пуск;
  2. подождите 10-20 секунд;
  3. повторите команду;
  4. проверьте firewall;
  5. перезагрузите компьютер.

Проверка: `localhost:11434` отвечает.

Шаг 7. Скачайте маленькую модель для первого теста

В обычном приглашении PowerShell, не внутри чата модели, выполните отдельную загрузку. Команда pull скачивает файлы, но не открывает диалог:

PowerShell 
ollama pull llama3.2:1b

Дождитесь завершения: в конце должно появиться success, а при ошибке команда выведет её причину. Не запускайте следующий шаг, пока скачивание не закончено. Скорость и время зависят от сети; полоса прогресса ещё не доказывает успешную установку.

PowerShell 
ollama list

Проверка: в колонке NAME появился точный тег llama3.2:1b. Если его нет, модель ещё не готова. Затем откройте чат:

PowerShell 
ollama run llama3.2:1b

В приглашении >>> введите тестовый вопрос:

text 
Объясни в 3 предложениях, что такое локальная LLM.

Проверка: появилось непустое сообщение по теме. Это проверка запуска, а не гарантии качества. После ответа введите /bye и дождитесь приглашения PS. Все команды ollama list, pull и run выполняются там, а не внутри >>>. Команда run умеет скачивать отсутствующую модель сама; мы разделили загрузку и запуск, чтобы было понятнее, на каком этапе возникла ошибка.

Шаг 8. Запустите основной вариант Llama

Если маленькая модель работает, попробуйте `llama3.2:3b`.

Команда:

powershell 
ollama run llama3.2:3b

Тестовый запрос:

text 
Составь короткий план статьи про ИИ-агентов для малого бизнеса.

Если модель отвечает слишком медленно:

  1. Если ответ ещё генерируется, прервите генерацию Ctrl+C; затем введите /bye для выхода из чата.
  2. вернитесь к `llama3.2:1b`;
  3. закройте тяжелые программы;
  4. проверьте RAM;
  5. не ставьте 8B модель, пока 3B работает плохо.

Проверка: `llama3.2:3b` запускается и дает связный ответ.

Шаг 9. Выйдите из интерактивного чата

Когда чат открыт, можно завершить его.

Варианты:

  1. Введите /bye и дождитесь приглашения PowerShell.
  2. Ctrl+C прерывает текущую генерацию, но не заменяет явный выход из чата.
  3. Выход из чата не удаляет модель; для выгрузки из памяти ниже есть ollama stop.

После выхода проверьте активные модели:

powershell 
ollama ps

Проверка: вы понимаете, какая модель сейчас загружена.

Шаг 10. Посмотрите список скачанных моделей

Список установленных тегов находится в локальной Ollama, а не в каталоге сайта:

PowerShell 
ollama list

Колонка NAME даёт точное имя для команды запуска и API; SIZE показывает размер модели на диске. Чтобы узнать, что именно скачано, выполните:

PowerShell 
ollama show llama3.2:1b
ollama show llama3.2:1b --license

В show проверьте архитектуру, число параметров и квантование. Q4 или Q8 описывают представление весов: более компактный вариант может требовать меньше памяти, но качество нужно сравнивать на своей задаче. Вывод --license содержит условия модели; бесплатное скачивание не снимает ограничений лицензии.

Проверка: list содержит выбранный тег, show возвращает его сведения, а не model not found. Если нужно сделать один запрос по-русски, используйте тест из шага 12 и сравните сохранённые факты. Не выбирайте модель только по красивому ответу на приветствие.

Как обновить модель и не потерять рабочий вариант

Обновление Ollama и обновление модели - разные действия. После обновления программы файлы моделей не обязательно изменились. Чтобы проверить актуальную версию скачанного тега, повторяют pull с тем же именем. Перед этим запишите его ID из ollama list и результаты своего теста.

Если модель используется в рабочих скриптах, сначала сохраните старый вариант под свободным именем. Ниже пример для 1B; не используйте имя копии, если оно уже есть в list:

PowerShell 
ollama list
ollama cp llama3.2:1b llama32-1b-before-update:20261008
ollama list

Проверьте наличие копии и только после этого выполните обновление исходного тега:

PowerShell 
ollama pull llama3.2:1b
ollama list

Повторите тот же запрос до и после обновления. Если результат стал хуже, для запуска можно использовать сохранённый тег llama32-1b-before-update:20261008. Копия имени не является независимым архивом вне компьютера: она использует локальное хранилище. Не очищайте его вручную и не считайте копию заменой резервного копирования.

Шаг 11. Проверьте API через PowerShell

Теперь проверьте локальный API.

Команда:

powershell 
$body = @{
  model = "llama3.2:3b"
  prompt = "Ответь одним предложением: что такое RAG?"
  stream = $false
  options = @{ num_ctx = 2048; num_predict = 128 }
} | ConvertTo-Json -Depth 5
$utf8 = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body $utf8
$result.response

Если используете маленькую модель, замените:

powershell 
model = "llama3.2:1b"

Код выводит текст из response. Тело отправлено байтами UTF-8, чтобы русские буквы одинаково передавались из Windows PowerShell 5.1 и PowerShell 7. Если выбрали 1B, поменяйте model на llama3.2:1b во всех следующих запросах. num_ctx ограничивает контекст, num_predict - длину ответа; это параметры теста, не гарантия качества.

Шаг 12. Проверьте ответ по известным фактам

Этот тест проверяет не красоту текста, а сохранение двух конкретных фактов. Используем вымышленную заявку, не реальные клиентские данные.

powershell 
$body = @{
  model = "llama3.2:3b"
  prompt = "Перепиши вежливо в двух предложениях, ничего не добавляя: заявка 42 на проверке; следующий ответ будет 12 октября."
  stream = $false
  options = @{ num_ctx = 2048; num_predict = 128 }
} | ConvertTo-Json -Depth 5
$utf8 = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body $utf8
$result.response

Проверьте ответ: сохранены номер 42, статус «на проверке» и дата 12 октября. Формулировка может отличаться; выдуманные цена, возврат денег или обещание решения означают, что тест не пройден.

text 
Заявка 42 находится на проверке. Следующий ответ будет 12 октября.

Это пример ожидаемого смысла, а не гарантированный дословный ответ модели.

Шаг 13. Проверьте чатовый API

Некоторые приложения используют chat endpoint.

Команда:

powershell 
$body = @{
  model = "llama3.2:3b"
  messages = @(
    @{ role = "system"; content = "Отвечай кратко по-русски. Не добавляй неизвестных фактов." }
    @{ role = "user"; content = "Дай 3 идеи безопасного применения локальной модели дома." }
  )
  stream = $false
  options = @{ num_ctx = 2048; num_predict = 128 }
} | ConvertTo-Json -Depth 5
$utf8 = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://localhost:11434/api/chat" -Method Post -ContentType "application/json; charset=utf-8" -Body $utf8
$result.message.content

Проверка: в ответе есть `message.content`.

Шаг 14. Создайте рабочую папку для тестов

Создайте папку:

powershell 
mkdir C:\AI\llama-tests
cd C:\AI\llama-tests

Создайте файл `test-prompts.txt`:

powershell 
@"
1. Объясни RAG простыми словами.
2. Составь план письма клиенту.
3. Сделай краткий конспект текста.
4. Напиши список рисков локальной LLM.
"@ | Out-File -Encoding utf8 .\test-prompts.txt

Проверка: тестовые запросы лежат в отдельной папке, а не теряются в истории PowerShell.

Шаг 15. Измерьте скорость на одинаковом запросе

Первый запрос включает загрузку весов и часто медленнее следующего. Выполните два одинаковых запроса подряд: warmup и repeat. Сравнивайте модели на одном тексте и тех же ограничениях; длинный ответ нельзя сравнивать с одним словом.

powershell 
$model = "llama3.2:3b"
$body = @{
  model = $model
  prompt = "Перепиши кратко: заявка 42 на проверке, следующий ответ 12 октября."
  stream = $false
  options = @{ num_ctx = 2048; num_predict = 128 }
} | ConvertTo-Json -Depth 5
$utf8 = [System.Text.Encoding]::UTF8.GetBytes($body)
foreach ($attempt in @("warmup", "repeat")) {
  $timer = [System.Diagnostics.Stopwatch]::StartNew()
  $r = Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body $utf8
  $timer.Stop()
  $tokensPerSecond = $null
  if ($r.eval_duration -gt 0) {
    $tokensPerSecond = [math]::Round($r.eval_count / ($r.eval_duration / 1e9), 1)
  }
  [pscustomobject]@{
    Attempt = $attempt
    Seconds = [math]::Round($timer.Elapsed.TotalSeconds, 2)
    GeneratedTokens = $r.eval_count
    TokensPerSecond = $tokensPerSecond
    Answer = $r.response
  }
}
ollama ps

Как читать результат:

  1. Seconds - время всего запроса, включая загрузку и обработку исходного текста; TokensPerSecond относится только к генерации.
  2. PROCESSOR в ollama ps показывает CPU, GPU или смешанное размещение. Одна установленная видеокарта ещё не доказывает ускорение.
  3. Для сравнения с 1B замените только $model на llama3.2:1b и повторите оба запроса.
  4. Запишите время и ошибки в ответе. Более быстрый текст с испорченными фактами не является лучшим результатом.
  5. Универсальной границы «30 секунд = плохая модель» нет: приемлемое время зависит от задачи. Если система зависает или память заполнена, сначала уменьшите модель и закройте лишние программы.

Проверка: вы знаете реальную скорость на своем компьютере.

Шаг 16. Освободите память после теста

Выход /bye закрывает чат, но модель некоторое время может оставаться загруженной. Посмотрите активные модели и остановите только нужную:

PowerShell 
ollama ps
ollama stop llama3.2:3b
ollama ps

Если тестировали только 1B, вместо 3B укажите llama3.2:1b. Проверка: остановленный тег исчез из ps, но остался в ollama list. Так освобождается память, а файлы сохраняются. При следующем run веса загрузятся с диска; повторное скачивание не нужно.

Шаг 17. Удалите ненужную модель

Удаление нужно для освобождения места на диске, а не только RAM. Сначала выйдите из чата, проверьте имя и убедитесь, что модель не нужна вашим скриптам, Open WebUI или редактору кода. Ниже удаляется учебный вариант 1B; основной 3B остаётся.

PowerShell 
ollama list
ollama ps

Если 1B загружена, сначала выполните ollama stop llama3.2:1b. Когда убедились, что удаляете именно ненужный тег, выполните:

PowerShell 
ollama rm llama3.2:1b
ollama list

Проверка: llama3.2:1b исчез из списка. Модель не отправляется в Корзину Windows; чтобы вернуть её из библиотеки, потребуется ollama pull llama3.2:1b. Если создали копию перед обновлением и хотите сохранить старую версию, её имя удалять не нужно.

Освобождённое место не всегда равно SIZE: у разных тегов могут быть общие файлы весов. Не удаляйте вручную папку blobs или всю .ollama, чтобы «добить» очистку: можно повредить остальные модели и конфигурацию. rm удаляет модель, а не ваши PDF, документы или историю другого приложения.

Шаг 18. Перенесите папку моделей на другой диск

Если диск C переполняется, перенесите модели через переменную `OLLAMA_MODELS`.

Создайте папку:

powershell 
mkdir D:\OllamaModels

Откройте переменные среды Windows:

  1. нажмите Win;
  2. найдите “Изменение системных переменных среды”;
  3. откройте “Переменные среды”;
  4. создайте переменную пользователя `OLLAMA_MODELS`;
  5. значение: `D:\OllamaModels`;
  6. сохраните;
  7. перезапустите Ollama;
  8. откройте новый PowerShell.

Новая переменная задаёт место будущих загрузок, но не переносит уже скачанные файлы. Для безопасного первого теста создайте папку заранее, полностью закройте Ollama через значок в трее, запустите её снова и загрузите одну модель в новый каталог. Старую папку пока не удаляйте.

Проверка: скачайте маленькую модель и убедитесь, что файлы появляются на диске D.

Шаг 19. Настройте автозапуск аккуратно

Ollama обычно работает как локальное приложение или фоновый сервис.

Проверьте:

  1. после перезагрузки команда `ollama --version` работает;
  2. `localhost:11434` отвечает;
  3. приложение Ollama есть в автозагрузке, если вам это нужно;
  4. если не нужно, отключите автозапуск в настройках Windows;
  5. не запускайте несколько копий Ollama вручную.

Проверка:

powershell 
(Invoke-WebRequest -UseBasicParsing http://localhost:11434).Content

Шаг 20. Подключите простой веб-интерфейс только после проверки

Сначала убедитесь, что PowerShell и API работают. Потом можно ставить интерфейс.

Варианты:

  1. Open WebUI - веб-интерфейс для Ollama и других провайдеров;
  2. AnythingLLM - интерфейс для чатов и документов;
  3. LM Studio - отдельный desktop-вариант для локальных моделей;
  4. собственный небольшой frontend через API;
  5. редактор кода с поддержкой Ollama.

Не начинайте с интерфейса, если сама команда `ollama run` еще не работает.

Проверка: локальный API отвечает, а потом уже подключается UI.

Шаг 21. Проверьте русский язык

Запустите модель:

powershell 
ollama run llama3.2:3b

Попросите:

text 
Напиши короткую инструкцию на русском: как безопасно пользоваться локальной LLM.

Оцените:

  1. отвечает ли модель на русском;
  2. не смешивает ли языки;
  3. не уходит ли в слишком длинный ответ;
  4. понимает ли контекст;
  5. не выдумывает ли команды Windows.

Проверка: для русских задач качество приемлемое именно на вашей машине и модели.

Шаг 22. Настройте базовый prompt для работы

Для бытового использования держите короткий системный шаблон.

text 
Отвечай на русском.
Если не знаешь, скажи прямо.
Не выдумывай команды и пути файлов.
Давай пошаговые инструкции.
Для опасных действий сначала предупреждай о рисках.

Можно использовать его в чат-интерфейсе или вставлять в начало запроса.

Проверка: ответы становятся короче и предсказуемее.

Шаг 23. Проверьте приватность локального запуска

Локальная модель удобна для приватных экспериментов, но это не магическая безопасность.

Правила:

  1. не вставляйте пароли;
  2. не вставляйте банковские данные;
  3. не вставляйте персональные данные клиентов;
  4. не открывайте порт `11434` в интернет;
  5. не пробрасывайте Ollama через роутер;
  6. не ставьте неизвестные модели из сомнительных источников;
  7. обновляйте Ollama;
  8. удаляйте ненужные модели.

Проверка:

powershell 
netstat -ano | Select-String "11434"

Адрес должен быть локальным. Если вы специально открываете доступ по сети, добавляйте авторизацию и firewall.

Шаг 24. Добавьте модель в локальный скрипт

Создайте ask-llama.ps1 в папке тестов. Для Windows PowerShell 5.1 сохраняйте сам PS1 с русским текстом в UTF-8 с BOM; PowerShell 7 также читает такой файл. Если политика организации запрещает запуск скриптов, не отключайте её ради теста: используйте отдельные команды из шагов 11-13.

powershell 
param(
  [string]$Prompt = "Объясни, что такое ИИ-агент",
  [string]$Model = "llama3.2:3b"
)

$body = @{
  model = $Model
  prompt = $Prompt
  stream = $false
  options = @{ num_ctx = 2048; num_predict = 256 }
} | ConvertTo-Json -Depth 5
$utf8 = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body $utf8
$result.response

Запуск:

powershell 
.\ask-llama.ps1 -Prompt "Составь план дня из 5 пунктов"

Проверка: скрипт возвращает только текст ответа.

Шаг 25. Сделайте таблицу тестов

Создайте `llama_windows_test_cases`.

text 
id
command
expected_result
status
comment

Заполните:

  1. `T001` - `ollama --version` - показывает версию;
  2. `T002` - `localhost:11434` - отвечает `Ollama is running`;
  3. `T003` - `ollama run llama3.2:1b` - модель отвечает;
  4. `T004` - `ollama run llama3.2:3b` - модель отвечает;
  5. `T005` - `ollama list` - модель есть в списке;
  6. `T006` - `/api/generate` - возвращает `response`;
  7. `T007` - `/api/chat` - возвращает `message.content`;
  8. `T008` - `ollama ps` - показывает активную модель;
  9. `T009` - `ollama stop` - модель остановлена;
  10. `T010` - русский prompt - ответ на русском.

Проверка: установка считается завершенной только после прохождения тестов, а не после скачивания installer.

Если модель не скачивается

  • Сначала сохраните полный текст ошибки и проверьте свободное место на диске хранилища. OLLAMA_MODELS может указывать не на C:; перенос каталога не лечит сетевые ошибки.
  • При model not found или ошибке отсутствующего манифеста сверяйте имя и тег с библиотекой. Не придумывайте суффикс по названию из новости.
  • При timeout, DNS или TLS-ошибке проверьте сеть, системное время и настройки разрешённого прокси. Не отключайте проверку сертификатов и не подменяйте адреса серверов загрузки случайными IP.
  • Если после обрыва сети ошибка устранена, повторите pull с тем же тегом. Ollama может использовать уже загруженные части; успех подтверждают завершение команды и наличие тега в list.
  • При redirect target not allowed с сообщением о non-public address проверьте вместе с администратором сети DNS/VPN/прокси: адрес загрузки определяется как непубличный. Не обходите встроенную проверку и не чистите всё хранилище моделей.

На Windows последние сообщения сервера можно посмотреть так. Если файла нет, сначала проверьте, запускалось ли приложение в этой учётной записи:

PowerShell 
Get-Content "$env:LOCALAPPDATA\Ollama\server.log" -Tail 40

Перед отправкой лога в поддержку удалите личные пути и другие чувствительные сведения. После исправления причины повторите ollama pull llama3.2:1b, затем ollama list. Результат без ошибок означает завершённую загрузку; просто исчезнувшая полоса прогресса - нет.

Шаг 26. Разберите ошибку “команда ollama не найдена”

Если PowerShell пишет, что `ollama` не распознается:

  1. закройте PowerShell;
  2. откройте новое окно;
  3. перезагрузите Windows;
  4. проверьте, что Ollama установлена;
  5. откройте меню Пуск и запустите Ollama;
  6. проверьте переменную PATH;
  7. переустановите Ollama с официального сайта.

Проверка:

powershell 
Get-Command ollama

Команда должна показать путь к исполняемому файлу.

Шаг 27. Разберите ошибку “localhost:11434 не отвечает”

Если API не отвечает:

  1. запустите Ollama из меню Пуск;
  2. проверьте значок Ollama в трее;
  3. подождите 10-20 секунд;
  4. проверьте firewall;
  5. перезагрузите Windows;
  6. проверьте, не занят ли порт другим процессом;
  7. переустановите Ollama, если сервис не стартует.

Проверка:

powershell 
Test-NetConnection localhost -Port 11434

`TcpTestSucceeded` должен быть `True`.

Шаг 28. Разберите нехватку памяти и медленную генерацию

Если модель тормозит или Windows зависает:

  1. остановите генерацию через `Ctrl+C`;
  2. закройте браузер, игры, IDE и тяжелые приложения;
  3. используйте `llama3.2:1b`;
  4. не запускайте несколько моделей одновременно;
  5. проверьте `ollama ps`;
  6. освободите RAM;
  7. попробуйте более маленькую модель;
  8. не ставьте 8B-13B модели на слабый ноутбук.

Проверка:

powershell 
ollama ps

В списке не должно быть лишних активных моделей.

Шаг 29. Подготовьте рабочий checklist

Перед тем как пользоваться Llama каждый день, проверьте:

  1. `ollama --version` работает;
  2. `localhost:11434` отвечает;
  3. модель есть в `ollama list`;
  4. модель отвечает в PowerShell;
  5. API возвращает `response`;
  6. `ollama ps` показывает активные модели;
  7. вы знаете, как остановить модель;
  8. вы знаете, как удалить модель;
  9. диск не переполнен;
  10. порт 11434 не открыт наружу;
  11. вы не вставляете секреты в prompt;
  12. есть тестовый файл с командами.

Проверка: если любой пункт не выполнен, исправьте его до подключения UI или внешних программ.

Шаг 30. Минимальная проверка результата

Прогоните финальный сценарий.

Команда 1:

powershell 
ollama --version

Должно быть:

  1. команда найдена;
  2. версия показана;
  3. ошибок PATH нет.

Команда 2:

powershell 
ollama run llama3.2:3b

Должно быть:

  1. модель скачивается или запускается;
  2. чат открывается;
  3. модель отвечает на русском;
  4. PowerShell не зависает.

После ответа в интерактивном чате введите /bye. Затем выполните команду 3 в PowerShell:

powershell 
$body = @{
  model = "llama3.2:3b"
  prompt = "Ответь одним словом: работает"
  stream = $false
  options = @{ num_ctx = 2048; num_predict = 128 }
} | ConvertTo-Json -Depth 5
$utf8 = [System.Text.Encoding]::UTF8.GetBytes($body)
$result = Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body $utf8
$result.response

Должно быть:

  1. есть поле `response`;
  2. ответ относится к запросу;
  3. ошибок подключения нет.

Если эти три проверки проходят, Llama на Windows установлена и готова к локальным задачам.

Офлайн-проверка и сохранение ответа

После завершения загрузки модели отключите интернет, повторите UTF-8-запрос из шага 12 и проверьте те же факты. Затем восстановите соединение. В этой проверке используется только локальный тег, без облачной модели и веб-поиска. Сохраните полученный текст в папке тестов:

PowerShell 
$result.response | Set-Content -Path .\answer.txt -Encoding UTF8
Get-Content -Path .\answer.txt -Encoding UTF8

Сохранение выполняйте сразу после запроса из шага 12, где результат находится в $result. Файл answer.txt должен содержать тот же ответ без повреждённых букв. Локальная модель не получает доступ к диску сама: файл создаёт ваша команда PowerShell.

Следующий этап после рабочего чата: поиск по тестовому регламенту

Памятка команд Ollama

Действие Команда Что меняется
Скачать ollama pull llama3.2:1b Файлы на диске; чат не запускается.
Начать чат ollama run llama3.2:1b Модель запускается; отсутствующая сначала скачивается.
Посмотреть установленные ollama list Список локальных тегов.
Узнать параметры ollama show llama3.2:1b Сведения о скачанной модели.
Посмотреть активные ollama ps Что сейчас загружено в память.
Освободить память ollama stop llama3.2:1b Выгружает модель, не удаляя её файлы.
Удалить ollama rm llama3.2:1b Удаляет выбранный локальный тег.

Что проверено при обновлении инструкции

8 октября 2026 года проверены названия тегов и команды по документации Ollama. На Windows отдельный экземпляр Ollama 0.35.1 запустился и ответил через локальный API. Загрузка llama3.2:1b остановилась на сетевой ошибке redirect target not allowed: адрес сервера загрузки определился как непубличный. Поэтому успешный запуск этой модели, обновление её весов и удаление после загрузки в данном тесте не подтверждены; команды приведены по официальной документации. Установщик Windows повторно не запускался.

Что нельзя автоматизировать в первой версии

Не делайте сразу:

  1. открытие `localhost:11434` в интернет;
  2. запуск локальной модели как публичного API без авторизации;
  3. обработку персональных данных клиентов;
  4. автоматическое выполнение команд Windows по ответам модели;
  5. доступ модели к файлам без ограничений;
  6. подключение к production CRM;
  7. финансовые операции;
  8. удаление файлов по совету модели;
  9. хранение паролей в prompt;
  10. использование неизвестных моделей из случайных архивов;
  11. длительные фоновые генерации на ноутбуке без контроля температуры;
  12. одновременный запуск нескольких тяжелых моделей.

Первая версия должна уметь только отвечать в PowerShell и через локальный API. Интерфейсы, документы, RAG и агенты добавляйте после базовой проверки.

Частые вопросы

Можно ли установить Llama на Windows без видеокарты?

Да, возможен запуск на CPU. Для проверки возьмите небольшой тег, например llama3.2:1b, и короткий контекст. Скорость и необходимая память зависят от модели и компьютера; покупка видеокарты не нужна для самой проверки установки.

Какую модель в Ollama скачать первой?

Для повторения этой инструкции - llama3.2:1b. Если всё работает и есть запас памяти, сравните llama3.2:3b. Для русского текста отдельно можно проверить многоязычную Qwen, но не менять тег незаметно: его нужно заменить во всех командах и API-запросах. Сравнивайте ответы на одном задании с известными фактами.

Что делать, если скачивание модели прервалось?

Прочитайте причину ошибки, проверьте сеть и место на диске, затем повторите ollama pull с тем же точным тегом. Уже загруженные части могут использоваться повторно. Загрузка завершена только когда команда закончилась успешно и модель появилась в ollama list. При ошибке непубличного адреса разберитесь с DNS/VPN/прокси, не обходя защиту.

Чем отличаются /bye, ollama stop и ollama rm?

/bye вводится в интерактивном чате и закрывает его. ollama stop выполняется в PowerShell и выгружает модель из памяти, сохраняя файлы. ollama rm удаляет локальный тег; для возвращения модели из библиотеки обычно нужна новая загрузка. Проверяйте память через ps, а установленные модели через list.

Где хранятся модели и как выбрать другой диск?

По умолчанию в Windows это каталог .ollama\models внутри профиля пользователя. Переменная пользователя OLLAMA_MODELS задаёт другой путь после полного перезапуска Ollama, но сама не переносит старые файлы. Создайте новый каталог, проверьте загрузку и запуск, а старый не удаляйте до проверки. Полная последовательность есть в шаге 18.

Термины

Связанный глоссарий

LLM LLM — большая языковая модель, которая понимает текст, продолжает его и помогает решать задачи через естественный язык. Self-hosted Self-hosted - это формат, когда сервис, AI-агент, модель или база данных размещаются на вашей инфраструктуре, а не только в чужом облаке. Локальный ИИ-агент Локальный ИИ-агент — программа с моделью на вашем компьютере или сервере компании, которая использует разрешённые инструменты для задачи. Локальная LLM Локальная LLM - языковая модель, которая выполняет запросы на вашем компьютере или сервере. Вы управляете данными и доступом, но сами отвечаете за оборудование и настройку. GGUF GGUF — формат файлов локальных языковых моделей, который используют llama.cpp, Ollama, LM Studio и совместимые инструменты. Квантование Квантование - это сжатие весов модели до меньшей точности, чтобы LLM занимала меньше памяти и запускалась на более доступном железе. Локальный AI API Локальный или self-hosted API, через который приложения обращаются к AI-модели, embeddings, RAG или агенту внутри вашей машины или сети. Llama Llama — семейство языковых моделей Meta, которые часто используют для локального AI, чат-ботов, RAG и экспериментов с LLM. Docker Compose Docker Compose - это инструмент для описания и запуска нескольких Docker-сервисов через один YAML-файл: приложение, база, Redis, worker и vector DB. Локальный API API на localhost или своем сервере, через который программы обращаются к локальной модели, агенту или AI-сервису. Ollama Ollama — это инструмент для локального запуска LLM на компьютере или сервере через простую CLI-команду и локальный API. Нейросеть Нейросеть - это модель машинного обучения, которая находит закономерности в данных через слои вычислений, веса и обучение на примерах. Обучение модели Обучение модели - это процесс, при котором модель меняет свои параметры на данных, чтобы лучше решать задачу, распознавать паттерны или следовать нужному формату. PEFT PEFT — это parameter-efficient fine-tuning: дообучение модели небольшим числом параметров вместо полного переобучения всей LLM. Distillation Distillation - это обучение меньшей модели повторять поведение более сильной модели или системы, чтобы получить более дешевую и быструю версию. Uncensored model Языковая модель с ослабленными встроенными отказами и меньшим количеством заранее заданных ограничений поведения.

Инструменты

Упомянутые сервисы

Запуск локальных языковых моделей Ollama

Ollama запускает языковые модели на компьютере и предоставляет API для чата, обработки текста и подключения приложений.

 Локальный чат и сервер языковых моделей LM Studio

LM Studio запускает языковые модели на компьютере через графический интерфейс и позволяет использовать их в чате или локальном API.

 Веб-интерфейс для моделей и документов Open WebUI

Open WebUI дает браузерный чат с подключенными моделями и позволяет задавать вопросы по загруженным документам.

Дальше по теме

Похожие материалы