GPT
Пошаговые инструкции beginner 23 мин

Установка Llama на Windows: Ollama, PowerShell, локальный API и первая модель

Пошаговая инструкция по установке Llama на Windows через Ollama: проверка системы, установка, запуск llama3.2, команды PowerShell, локальный API, хранение моделей и типовые ошибки.

Ollama Llama Windows Локальные LLM Инструкция PowerShell llama3.2

Что получится в результате

Установим Llama на Windows через Ollama. Это самый короткий путь для первого локального запуска: без сборки llama.cpp, без ручного скачивания весов и без настройки Python. После инструкции у вас будет локальная модель, которая отвечает в PowerShell и доступна через API на `localhost:11434`.

В результате будет готово:

  1. Windows проверена на совместимость;
  2. Ollama установлена через официальный Windows installer;
  3. команда `ollama` работает в PowerShell;
  4. локальный сервис отвечает на `localhost:11434`;
  5. модель `llama3.2:3b` скачана и запущена;
  6. для слабого ПК есть вариант `llama3.2:1b`;
  7. список моделей проверяется через `ollama list`;
  8. активные запуски проверяются через `ollama ps`;
  9. API проверен через `Invoke-RestMethod`;
  10. место хранения моделей можно перенести через `OLLAMA_MODELS`;
  11. лишние модели можно удалить через `ollama rm`;
  12. есть checklist типовых ошибок.

Финальная проверка: в PowerShell команда `ollama run llama3.2:3b` открывает чат, модель отвечает на русском, а локальный API возвращает JSON-ответ на тестовый запрос.

Что понадобится

Подготовьте:

  1. Windows 10 или Windows 11;
  2. права на установку программы;
  3. 8 ГБ RAM минимум для маленьких моделей;
  4. 16 ГБ RAM лучше для комфортного запуска 3B-8B моделей;
  5. 5-10 ГБ свободного места для первой модели;
  6. стабильный интернет для скачивания модели;
  7. PowerShell;
  8. официальный сайт Ollama;
  9. необязательная видеокарта NVIDIA или AMD;
  10. понимание, что локальная модель не равна ChatGPT по скорости и качеству.

Если компьютер слабый, начинайте с `llama3.2:1b`. Если RAM 16 ГБ и выше, пробуйте `llama3.2:3b`. Большие модели ставьте только после проверки маленькой.

Шаг 1. Определите, что именно устанавливаем

Важно разделить понятия:

  1. Llama - семейство языковых моделей Meta;
  2. Ollama - программа, которая скачивает и запускает модели локально;
  3. PowerShell - терминал, из которого вы будете запускать команды;
  4. локальный API - адрес `http://localhost:11434`, через который программы могут обращаться к модели;
  5. модельный тег - имя модели, например `llama3.2:3b`.

Для этой инструкции используем связку:

Windows -> Ollama -> llama3.2:3b -> PowerShell -> localhost:11434

Проверка: вы устанавливаете не “приложение Llama”, а Ollama, внутри которой запускается модель Llama.

Шаг 2. Проверьте Windows и железо

Откройте PowerShell и посмотрите базовую информацию:

systeminfo | Select-String "OS Name","OS Version","Total Physical Memory"

Проверьте место на диске:

Get-PSDrive C

Ориентир:

  1. `llama3.2:1b` - для слабых машин и быстрых тестов;
  2. `llama3.2:3b` - нормальный первый вариант;
  3. 7B-8B модели - лучше иметь 16 ГБ RAM или больше;
  4. 13B и выше - не начинайте с них на обычном ноутбуке;
  5. если диска меньше 10 ГБ, сначала освободите место.

Проверка: вы понимаете, какую модель скачивать первой, и не начинаете с тяжелого варианта.

Шаг 3. Обновите драйвер видеокарты

Если есть дискретная видеокарта, обновите драйвер до свежей версии.

Сделайте:

  1. откройте сайт NVIDIA, AMD или Intel;
  2. скачайте драйвер под вашу видеокарту;
  3. установите драйвер;
  4. перезагрузите Windows;
  5. не ставьте сомнительные driver-pack утилиты;
  6. если видеокарты нет, пропустите шаг.

Проверка NVIDIA:

nvidia-smi

Если команда не найдена, это не блокер для CPU-запуска. Ollama все равно может работать на процессоре, просто медленнее.

Шаг 4. Скачайте Ollama для Windows

Откройте официальный сайт:

https://ollama.com/download/windows

Сделайте:

  1. нажмите Download for Windows;
  2. скачайте installer;
  3. проверьте, что файл скачан с домена `ollama.com`;
  4. закройте старые окна PowerShell;
  5. запустите installer;
  6. дождитесь завершения установки;
  7. если Windows спросит разрешение, подтвердите установку.

Проверка: Ollama появилась в системе, но старые окна PowerShell могут еще не видеть команду.

Шаг 5. Откройте новый PowerShell

После установки откройте новое окно PowerShell.

Проверьте команду:

ollama --version

Ожидаемый результат:

ollama version ...

Если видите ошибку `ollama не распознается`, сделайте:

  1. закройте PowerShell;
  2. откройте PowerShell заново;
  3. если не помогло, перезагрузите Windows;
  4. проверьте, что Ollama установлена;
  5. не скачивайте случайные exe-файлы с форумов.

Проверка: команда `ollama --version` возвращает версию.

Шаг 6. Проверьте локальный сервис Ollama

Ollama поднимает локальный API.

Проверьте:

(Invoke-WebRequest http://localhost:11434).Content

Ожидаемый ответ:

Ollama is running

Если ответа нет:

  1. запустите Ollama из меню Пуск;
  2. подождите 10-20 секунд;
  3. повторите команду;
  4. проверьте firewall;
  5. перезагрузите компьютер.

Проверка: `localhost:11434` отвечает.

Шаг 7. Скачайте маленькую модель для первого теста

Начните с маленькой модели. Так проще отделить проблему установки от нехватки ресурсов.

Команда:

ollama run llama3.2:1b

Что произойдет:

  1. Ollama проверит, есть ли модель локально;
  2. если модели нет, скачает ее;
  3. после скачивания откроет интерактивный чат;
  4. курсор будет ждать ваш вопрос;
  5. модель начнет отвечать локально.

Тестовый вопрос:

Объясни в 3 предложениях, что такое локальная LLM.

Проверка: модель отвечает в PowerShell.

Шаг 8. Запустите основной вариант Llama

Если маленькая модель работает, попробуйте `llama3.2:3b`.

Команда:

ollama run llama3.2:3b

Тестовый запрос:

Составь короткий план статьи про ИИ-агентов для малого бизнеса.

Если модель отвечает слишком медленно:

  1. остановите чат сочетанием `Ctrl+C`;
  2. вернитесь к `llama3.2:1b`;
  3. закройте тяжелые программы;
  4. проверьте RAM;
  5. не ставьте 8B модель, пока 3B работает плохо.

Проверка: `llama3.2:3b` запускается и дает связный ответ.

Шаг 9. Выйдите из интерактивного чата

Когда чат открыт, можно завершить его.

Варианты:

  1. нажмите `Ctrl+C`;
  2. введите `/bye`, если команда доступна в вашей версии;
  3. закройте окно PowerShell;
  4. не удаляйте модель, если она нужна дальше.

После выхода проверьте активные модели:

ollama ps

Проверка: вы понимаете, какая модель сейчас загружена.

Шаг 10. Посмотрите список скачанных моделей

Команда:

ollama list

Ожидаемый формат:

NAME            ID              SIZE      MODIFIED
llama3.2:3b     ...             ...       ...

Используйте `ollama list`, чтобы:

  1. проверить, что модель скачалась;
  2. увидеть размер;
  3. понять, какие модели занимают диск;
  4. не скачивать одно и то же несколько раз;
  5. выбрать точное имя для API.

Проверка: в списке есть `llama3.2:1b` или `llama3.2:3b`.

Шаг 11. Проверьте API через PowerShell

Теперь проверьте локальный API.

Команда:

$body = @{
  model = "llama3.2:3b"
  prompt = "Ответь одним предложением: что такое RAG?"
  stream = $false
} | ConvertTo-Json

Invoke-RestMethod `
  -Uri "http://localhost:11434/api/generate" `
  -Method Post `
  -ContentType "application/json" `
  -Body $body

Если используете маленькую модель, замените:

model = "llama3.2:1b"

Проверка: PowerShell возвращает объект с полем `response`.

Шаг 12. Сделайте короткий API-тест одной строкой

Для быстрой проверки удобно иметь короткую команду.

Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json" -Body '{"model":"llama3.2:3b","prompt":"Напиши одно слово: работает","stream":false}'

Ожидаемо в ответе должно быть что-то вроде:

response : работает

Проверка: API работает без интерактивного чата.

Шаг 13. Проверьте чатовый API

Некоторые приложения используют chat endpoint.

Команда:

$body = @{
  model = "llama3.2:3b"
  messages = @(
    @{
      role = "user"
      content = "Дай 3 идеи, как использовать локальную Llama дома"
    }
  )
  stream = $false
} | ConvertTo-Json -Depth 5

Invoke-RestMethod `
  -Uri "http://localhost:11434/api/chat" `
  -Method Post `
  -ContentType "application/json" `
  -Body $body

Проверка: в ответе есть `message.content`.

Шаг 14. Создайте рабочую папку для тестов

Создайте папку:

mkdir C:\AI\llama-tests
cd C:\AI\llama-tests

Создайте файл `test-prompts.txt`:

@"
1. Объясни RAG простыми словами.
2. Составь план письма клиенту.
3. Сделай краткий конспект текста.
4. Напиши список рисков локальной LLM.
"@ | Out-File -Encoding utf8 .\test-prompts.txt

Проверка: тестовые запросы лежат в отдельной папке, а не теряются в истории PowerShell.

Шаг 15. Проверьте скорость ответа

Сделайте простой замер:

Measure-Command {
  Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json" -Body '{"model":"llama3.2:3b","prompt":"Скажи коротко, зачем нужен локальный AI","stream":false}'
}

Оценка:

  1. до 10 секунд - комфортно для коротких задач;
  2. 10-30 секунд - терпимо для экспериментов;
  3. больше 30 секунд - модель тяжеловата;
  4. если Windows начинает зависать, берите меньшую модель;
  5. если ноутбук сильно греется, не держите длинные генерации постоянно.

Проверка: вы знаете реальную скорость на своем компьютере.

Шаг 16. Освободите память после теста

Если модель остается загруженной, остановите ее.

ollama ps
ollama stop llama3.2:3b

Если запускали 1B:

ollama stop llama3.2:1b

Проверка: `ollama ps` не показывает лишнюю активную модель.

Шаг 17. Удалите ненужную модель

Модели занимают место на диске.

Посмотреть:

ollama list

Удалить:

ollama rm llama3.2:1b

Не удаляйте модель, если:

  1. она нужна для локального API;
  2. ее использует Open WebUI;
  3. ее использует редактор кода;
  4. вы не уверены, какая модель сейчас основная.

Проверка: после `ollama rm` модель исчезает из `ollama list`.

Шаг 18. Перенесите папку моделей на другой диск

Если диск C переполняется, перенесите модели через переменную `OLLAMA_MODELS`.

Создайте папку:

mkdir D:\OllamaModels

Откройте переменные среды Windows:

  1. нажмите Win;
  2. найдите “Изменение системных переменных среды”;
  3. откройте “Переменные среды”;
  4. создайте переменную пользователя `OLLAMA_MODELS`;
  5. значение: `D:\OllamaModels`;
  6. сохраните;
  7. перезапустите Ollama;
  8. откройте новый PowerShell.

После этого новые модели будут скачиваться в указанную папку.

Проверка: скачайте маленькую модель и убедитесь, что файлы появляются на диске D.

Шаг 19. Настройте автозапуск аккуратно

Ollama обычно работает как локальное приложение или фоновый сервис.

Проверьте:

  1. после перезагрузки команда `ollama --version` работает;
  2. `localhost:11434` отвечает;
  3. приложение Ollama есть в автозагрузке, если вам это нужно;
  4. если не нужно, отключите автозапуск в настройках Windows;
  5. не запускайте несколько копий Ollama вручную.

Проверка:

(Invoke-WebRequest http://localhost:11434).Content

Шаг 20. Подключите простой веб-интерфейс только после проверки

Сначала убедитесь, что PowerShell и API работают. Потом можно ставить интерфейс.

Варианты:

  1. Open WebUI - веб-интерфейс для Ollama и других провайдеров;
  2. AnythingLLM - интерфейс для чатов и документов;
  3. LM Studio - отдельный desktop-вариант для локальных моделей;
  4. собственный небольшой frontend через API;
  5. редактор кода с поддержкой Ollama.

Не начинайте с интерфейса, если сама команда `ollama run` еще не работает.

Проверка: локальный API отвечает, а потом уже подключается UI.

Шаг 21. Проверьте русский язык

Запустите модель:

ollama run llama3.2:3b

Попросите:

Напиши короткую инструкцию на русском: как безопасно пользоваться локальной LLM.

Оцените:

  1. отвечает ли модель на русском;
  2. не смешивает ли языки;
  3. не уходит ли в слишком длинный ответ;
  4. понимает ли контекст;
  5. не выдумывает ли команды Windows.

Проверка: для русских задач качество приемлемое именно на вашей машине и модели.

Шаг 22. Настройте базовый prompt для работы

Для бытового использования держите короткий системный шаблон.

Отвечай на русском.
Если не знаешь, скажи прямо.
Не выдумывай команды и пути файлов.
Давай пошаговые инструкции.
Для опасных действий сначала предупреждай о рисках.

Можно использовать его в чат-интерфейсе или вставлять в начало запроса.

Проверка: ответы становятся короче и предсказуемее.

Шаг 23. Проверьте приватность локального запуска

Локальная модель удобна для приватных экспериментов, но это не магическая безопасность.

Правила:

  1. не вставляйте пароли;
  2. не вставляйте банковские данные;
  3. не вставляйте персональные данные клиентов;
  4. не открывайте порт `11434` в интернет;
  5. не пробрасывайте Ollama через роутер;
  6. не ставьте неизвестные модели из сомнительных источников;
  7. обновляйте Ollama;
  8. удаляйте ненужные модели.

Проверка:

netstat -ano | Select-String "11434"

Адрес должен быть локальным. Если вы специально открываете доступ по сети, добавляйте авторизацию и firewall.

Шаг 24. Добавьте модель в локальный скрипт

Создайте файл `ask-llama.ps1`:

param(
  [string]$Prompt = "Объясни, что такое ИИ-агент"
)

$body = @{
  model = "llama3.2:3b"
  prompt = $Prompt
  stream = $false
} | ConvertTo-Json

$result = Invoke-RestMethod `
  -Uri "http://localhost:11434/api/generate" `
  -Method Post `
  -ContentType "application/json" `
  -Body $body

$result.response

Запуск:

.\ask-llama.ps1 -Prompt "Составь план дня из 5 пунктов"

Проверка: скрипт возвращает только текст ответа.

Шаг 25. Сделайте таблицу тестов

Создайте `llama_windows_test_cases`.

id
command
expected_result
status
comment

Заполните:

  1. `T001` - `ollama --version` - показывает версию;
  2. `T002` - `localhost:11434` - отвечает `Ollama is running`;
  3. `T003` - `ollama run llama3.2:1b` - модель отвечает;
  4. `T004` - `ollama run llama3.2:3b` - модель отвечает;
  5. `T005` - `ollama list` - модель есть в списке;
  6. `T006` - `/api/generate` - возвращает `response`;
  7. `T007` - `/api/chat` - возвращает `message.content`;
  8. `T008` - `ollama ps` - показывает активную модель;
  9. `T009` - `ollama stop` - модель остановлена;
  10. `T010` - русский prompt - ответ на русском.

Проверка: установка считается завершенной только после прохождения тестов, а не после скачивания installer.

Шаг 26. Разберите ошибку “команда ollama не найдена”

Если PowerShell пишет, что `ollama` не распознается:

  1. закройте PowerShell;
  2. откройте новое окно;
  3. перезагрузите Windows;
  4. проверьте, что Ollama установлена;
  5. откройте меню Пуск и запустите Ollama;
  6. проверьте переменную PATH;
  7. переустановите Ollama с официального сайта.

Проверка:

Get-Command ollama

Команда должна показать путь к исполняемому файлу.

Шаг 27. Разберите ошибку “localhost:11434 не отвечает”

Если API не отвечает:

  1. запустите Ollama из меню Пуск;
  2. проверьте значок Ollama в трее;
  3. подождите 10-20 секунд;
  4. проверьте firewall;
  5. перезагрузите Windows;
  6. проверьте, не занят ли порт другим процессом;
  7. переустановите Ollama, если сервис не стартует.

Проверка:

Test-NetConnection localhost -Port 11434

`TcpTestSucceeded` должен быть `True`.

Шаг 28. Разберите нехватку памяти и медленную генерацию

Если модель тормозит или Windows зависает:

  1. остановите генерацию через `Ctrl+C`;
  2. закройте браузер, игры, IDE и тяжелые приложения;
  3. используйте `llama3.2:1b`;
  4. не запускайте несколько моделей одновременно;
  5. проверьте `ollama ps`;
  6. освободите RAM;
  7. попробуйте более маленькую модель;
  8. не ставьте 8B-13B модели на слабый ноутбук.

Проверка:

ollama ps

В списке не должно быть лишних активных моделей.

Шаг 29. Подготовьте рабочий checklist

Перед тем как пользоваться Llama каждый день, проверьте:

  1. `ollama --version` работает;
  2. `localhost:11434` отвечает;
  3. модель есть в `ollama list`;
  4. модель отвечает в PowerShell;
  5. API возвращает `response`;
  6. `ollama ps` показывает активные модели;
  7. вы знаете, как остановить модель;
  8. вы знаете, как удалить модель;
  9. диск не переполнен;
  10. порт 11434 не открыт наружу;
  11. вы не вставляете секреты в prompt;
  12. есть тестовый файл с командами.

Проверка: если любой пункт не выполнен, исправьте его до подключения UI или внешних программ.

Шаг 30. Минимальная проверка результата

Прогоните финальный сценарий.

Команда 1:

ollama --version

Должно быть:

  1. команда найдена;
  2. версия показана;
  3. ошибок PATH нет.

Команда 2:

ollama run llama3.2:3b

Должно быть:

  1. модель скачивается или запускается;
  2. чат открывается;
  3. модель отвечает на русском;
  4. PowerShell не зависает.

Команда 3:

Invoke-RestMethod -Uri "http://localhost:11434/api/generate" -Method Post -ContentType "application/json" -Body '{"model":"llama3.2:3b","prompt":"Ответь одним словом: работает","stream":false}'

Должно быть:

  1. есть поле `response`;
  2. ответ относится к запросу;
  3. ошибок подключения нет.

Если эти три проверки проходят, Llama на Windows установлена и готова к локальным задачам.

Что нельзя автоматизировать в первой версии

Не делайте сразу:

  1. открытие `localhost:11434` в интернет;
  2. запуск локальной модели как публичного API без авторизации;
  3. обработку персональных данных клиентов;
  4. автоматическое выполнение команд Windows по ответам модели;
  5. доступ модели к файлам без ограничений;
  6. подключение к production CRM;
  7. финансовые операции;
  8. удаление файлов по совету модели;
  9. хранение паролей в prompt;
  10. использование неизвестных моделей из случайных архивов;
  11. длительные фоновые генерации на ноутбуке без контроля температуры;
  12. одновременный запуск нескольких тяжелых моделей.

Первая версия должна уметь только отвечать в PowerShell и через локальный API. Интерфейсы, документы, RAG и агенты добавляйте после базовой проверки.

Частые вопросы

Можно ли установить Llama на Windows без видеокарты?

Да. Ollama может запускать модели на CPU, но скорость будет ниже. Для первого теста берите `llama3.2:1b`, затем пробуйте `llama3.2:3b`.

Что лучше поставить первым: 1B, 3B или 8B?

Начните с `llama3.2:1b`, чтобы проверить установку. Если все работает, переходите на `llama3.2:3b`. 8B и больше ставьте только если хватает RAM и вас устраивает скорость.

Нужно ли платить за Ollama?

Для локального запуска Ollama обычно используют бесплатно. Расходы появляются на железо, электричество, хранение моделей или облачные сервисы, если вы их отдельно подключаете.

Где хранятся скачанные модели?

Управляйте моделями через `ollama list`, `ollama rm` и переменную `OLLAMA_MODELS`. Если диск C заканчивается, задайте `OLLAMA_MODELS`, например `D:\OllamaModels`, и перезапустите Ollama.

Можно ли подключить Llama к своему приложению?

Да. После установки Ollama дает локальный API на `http://localhost:11434`. Для генерации используйте `/api/generate`, для чата - `/api/chat`. Не открывайте этот API в интернет без авторизации.

Термины

Связанный глоссарий

LLM LLM — большая языковая модель, которая понимает текст, продолжает его и помогает решать задачи через естественный язык. Self-hosted Self-hosted - это формат, когда сервис, AI-агент, модель или база данных размещаются на вашей инфраструктуре, а не только в чужом облаке. Локальный ИИ-агент AI-агент, который работает на компьютере или своем сервере и может использовать локальную модель, документы, память и инструменты без обязательной отправки данных в облако. Локальная LLM Большая языковая модель, которая запускается на вашем компьютере или сервере без обязательного обращения к облачному API. GGUF GGUF — формат файлов локальных языковых моделей, который используют llama.cpp, Ollama, LM Studio и совместимые инструменты. Квантование Квантование - это сжатие весов модели до меньшей точности, чтобы LLM занимала меньше памяти и запускалась на более доступном железе. Локальный AI API Локальный или self-hosted API, через который приложения обращаются к AI-модели, embeddings, RAG или агенту внутри вашей машины или сети. Llama Llama — семейство языковых моделей Meta, которые часто используют для локального AI, чат-ботов, RAG и экспериментов с LLM. Docker Compose Docker Compose - это инструмент для описания и запуска нескольких Docker-сервисов через один YAML-файл: приложение, база, Redis, worker и vector DB. Локальный API API на localhost или своем сервере, через который программы обращаются к локальной модели, агенту или AI-сервису. Ollama Ollama — это инструмент для локального запуска LLM на компьютере или сервере через простую CLI-команду и локальный API. Нейросеть Нейросеть - это модель машинного обучения, которая находит закономерности в данных через слои вычислений, веса и обучение на примерах. Обучение модели Обучение модели - это процесс, при котором модель меняет свои параметры на данных, чтобы лучше решать задачу, распознавать паттерны или следовать нужному формату. PEFT PEFT — это parameter-efficient fine-tuning: дообучение модели небольшим числом параметров вместо полного переобучения всей LLM. Distillation Distillation - это обучение меньшей модели повторять поведение более сильной модели или системы, чтобы получить более дешевую и быструю версию. Uncensored model Языковая модель с ослабленными встроенными отказами и меньшим количеством заранее заданных ограничений поведения. Локальная LLM Языковая модель, которую можно запустить на своем компьютере или сервере без постоянного обращения к облачному API.

Инструменты

Упомянутые сервисы

Локальные модели и self-hosted Ollama

Инструмент для локального запуска LLM через терминал и HTTP API.

 Локальные модели и self-hosted LM Studio

Desktop-приложение для скачивания, запуска и тестирования локальных LLM.

 Local AI interface Open WebUI

Веб-интерфейс для Ollama и других моделей, который можно подключить после проверки локального API.

Дальше по теме

Похожие материалы

Локальный ИИ-агент: как запустить AI у себя на компьютере или сервере
AI-агенты 12 мин

Локальный ИИ-агент: как запустить AI у себя на компьютере или сервере

Локальный ИИ-агент работает на вашем компьютере или сервере и может помогать с файлами документами кодом RAG и внутренними задачами без постоянной отправки данных в облако.

RAG безопасность AI-агенты