Термин Память и безопасность AI-агентов Средний

Memory guardrails

Memory guardrails - это правила безопасности для памяти AI-агента: что можно сохранять, что нельзя, как долго хранить, кто видит записи и когда память нужно очищать.

memory safety rules ограничения памяти агента guardrails памяти memory policy memory governance правила сохранения памяти memory controls защита памяти AI-агента
Memory guardrails нужны, чтобы AI-агент не превращал память в свалку случайных фактов, секретов и устаревших догадок. Память делает агента удобнее: он помнит предпочтения, контекст клиента, историю задач и важные решения. Но без правил она может начать вредить: подставлять старые данные, раскрывать чужую информацию или повторять ошибочные выводы.

Guardrails для памяти отвечают на простые вопросы: какие данные можно запоминать, какие нужно игнорировать, какие требуют согласия пользователя, какие нужно удалять через срок хранения, какие можно использовать только внутри конкретного workspace или клиента. Это особенно важно для CRM, поддержки, юридических документов, HR, финансов и внутренних баз знаний.

Хорошая память агента обычно делится на типы: краткосрочная память для текущего диалога, долгосрочная память для устойчивых фактов, session memory для одной сессии, semantic memory для знаний и artifact memory для файлов, решений и результатов работы. Для каждого типа нужны отдельные ограничения.

Пример правила: агент может сохранить "пользователь предпочитает краткие ответы", но не должен сохранять пароль, API-ключ, номер паспорта, медицинские данные или неподтвержденную догадку модели. Если факт влияет на будущие действия, его лучше сохранять только после подтверждения человеком или после проверки источника.

Memory guardrails также помогают управлять актуальностью. У записи должен быть владелец, источник, дата создания, срок жизни, уровень доступа и причина сохранения. Тогда память можно проверять, чистить, отключать для отдельных сценариев и объяснять, почему агент использовал тот или иной факт.

Примеры

  • Агент поддержки сохраняет предпочитаемый язык клиента, но не сохраняет полный текст обращения с персональными данными.
  • AI-ассистент руководителя запоминает формат weekly review, но не сохраняет временные черновики и непроверенные догадки из встречи.
  • Юридический агент может хранить ссылку на договор и статус проверки, но не должен переносить конфиденциальные пункты в общую память.
  • CRM-агент сохраняет устойчивые предпочтения клиента только в namespace конкретной компании, чтобы не смешивать данные разных клиентов.
  • Система удаляет записи памяти старше 90 дней, если у них нет статуса "подтверждено" или бизнес-причины для хранения.

Где используется

  • AI-агенты с долгосрочной памятью
  • персональные AI-ассистенты
  • агенты поддержки клиентов
  • CRM-агенты и sales-ассистенты
  • AI для HR, финансов и юридических документов
  • RAG-системы с историей пользователя
  • мультиарендные AI-приложения
  • контроль PII и секретов
  • очистка устаревшей памяти
  • аудит действий AI-агента

Связанные термины

Частые вопросы

Зачем нужны memory guardrails?

Они не дают агенту сохранять лишние, опасные или неподтвержденные данные. Без таких правил память может привести к утечкам, старым рекомендациям, смешиванию клиентов и ошибочным действиям.

Что нельзя сохранять в память AI-агента?

Обычно нельзя сохранять пароли, API-ключи, токены, платежные данные, лишние персональные данные, медицинскую и юридически чувствительную информацию, неподтвержденные догадки модели и временные черновики.

Что можно безопасно сохранять?

Предпочтения пользователя, подтвержденные настройки, устойчивые рабочие правила, ссылки на источники, статусы задач и факты с понятным владельцем. Лучше хранить не весь сырой текст, а короткую проверенную запись с источником.

Чем memory guardrails отличаются от обычных guardrails?

Обычные guardrails контролируют ввод, вывод и действия агента. Memory guardrails отдельно управляют тем, что попадает в память, как долго хранится, кому доступно и когда должно быть удалено.

Как проверить, что память агента работает безопасно?

Нужно логировать записи памяти, проверять их источники, тестировать сценарии с PII и секретами, делать evals на устаревшие факты, задавать TTL и давать пользователю возможность посмотреть и удалить сохраненные данные.

Где читать дальше

Статьи по теме

Инструменты

Связанные инструменты