Что показали наши испытания памяти агентов
OpenViking нашёл все нужные готовые правила, но в другом режиме не сохранил их из диалога. Текстовые файлы перенесли исправления между сессиями. Разбираем, что именно мы проверяли и где заканчивалась доказательность результатов.
После исправления повторяем проверку: старое правило не должно оставаться действующим.
С 16 по 21 октября 2026 года мы провели 73 сравнительные сессии агентов разработки и две учебные. Испытывали AgentMemory, OpenViking, Mem0 OSS и Hindsight. Контролями служили готовые файлы, записи самого агента и работа без переданного опыта.
Главный вывод: успех памяти нужно проверять на каждом переходе — от записи правила до его применения после исправления. Итоговый ответ может оказаться правильным даже при пустой памяти.
Как устроили сравнение
В предыдущей статье я описал протокол. Здесь — результаты его последовательного уточнения на небольших, преимущественно синтетических задачах разработки.
Мы разделили два вопроса:
- Поиск готового знания. Правила заранее записаны. Найдёт ли система нужное, а агент — правильно применит?
- Обучение из диалога. Агент получил исправление. Сохранится ли оно и поможет ли следующей сессии без исходной переписки?
Внутри серии сохраняли задачи и модель исполнителя, меняли способ передачи памяти. Новые сессии начинали с чистой историей; встроенную память и посторонние автоматические записи отключали. Результат проверяли тестами, скрытыми от исполнителя. Защита поздних запусков опиралась на инструкции и аудит, а не на изоляцию средствами ОС.
Отдельно считали верное применение известного правила, обоснованный ответ «неизвестно», пропуск доступного знания и неверный конкретный ответ. Читали сохранённые записи и результаты поиска: это позволяло найти этап потери. Наборы и оценщики готовились в одном исследовательском контуре; независимой внешней проверки не было.
Первый опыт сравнивал хорошие проектные файлы с теми же файлами и дополнительной ручной выжимкой. Все четыре сессии обнаружили четыре внесённых дефекта; выигрыша от выжимки мы не увидели. Первый небольшой тест систем памяти тоже оказался слишком лёгким: Hindsight получил 35/36 при пустом извлечении. После этого мы усилили набор.
Готовые правила: OpenViking и файлы прошли весь набор
В усиленном наборе было 36 источников: целевые и похожие проекты, старые редакции, исправления и отменённые разрешения. Проверяли три задачи, шесть вариантов и два применения каждого — 36 свежих сессий.
Файловый вариант получал все восемь записей своего проекта. Системы памяти — первые пять результатов штатного поиска в пределах 2000 токенов по единому счётчику. Оба применения использовали одну замороженную выдачу: это повтор работы агента, не независимый повтор поиска.
На узком экране таблицу можно прокрутить в сторону.
| Вариант | Правильно применено известное правило | Верное «неизвестно» | Всего |
|---|---|---|---|
| Готовые файлы | 78/78 | 30/30 | 108/108 |
| OpenViking | 78/78 | 30/30 | 108/108 |
| AgentMemory | 54/78 | 30/30 | 84/108 |
| Mem0 OSS | 20/78 | 30/30 | 50/108 |
| Без памяти | 0/78 | 30/30 | 30/108 |
У AgentMemory нужное правило условной доставки не попало в первые пять результатов. Агент 24 раза воздержался, хотя знание было в корпусе. У Mem0 часть сохранённых фактов не дошла до выдачи; в двух случаях агент также чрезмерно расширил условие разрешения. Hindsight не прошёл предварительную проверку содержательного извлечения, поэтому его диагностический балл не включён в рейтинг.
Преимущество OpenViking относится к поиску заранее загруженных текстов. Полный файловый контекст и выборочная выдача — разные условия; таблица сравнивает эти способы доставки знания, а не чистую скорость или качество хранилищ.
Опыт из диалога: решающей оказалась полнота записи
Следующая серия: два сценария, три варианта памяти, три последовательные сессии — 18 запусков. В сессии A агент получал исправление, в B продолжал только по памяти и получал новое изменение с отменой исключения, в C снова начинал без переписки.
Файлы Markdown — обычный текст с простой разметкой — теперь писал и обновлял сам агент. OpenViking получал реальные сообщения диалога через штатный механизм извлечения памяти. Контроль не получал прошлый опыт.
На узком экране таблицу можно прокрутить в сторону.
| Вариант | Проверки переноса между сессиями | Верно перенесённые известные поля |
|---|---|---|
| Markdown, записанный агентом | 114/114 | 170/170 |
| OpenViking, исходный профиль | 52/114 | 0/170 |
| Без памяти | 52/114 | 0/170 |
52 успешных случая у двух последних вариантов состояли из воздержаний и обработки пустых входов. Они не означают, что правила запомнились. Прямые исправления в текущем разговоре все три варианта применили успешно.
У OpenViking нужные правила отсутствовали уже в хранилище. В исходной конфигурации был выключен Agent Evolution — механизм, включающий извлечение опыта решения задач. Предварительная проба проверяла лишь пользовательское предпочтение и пропустила эту проблему. Это ошибка допуска нашей конфигурации, а не оценка всех режимов OpenViking.
После включения механизма появились предметные случаи и отмена исключения, но часть условий всё ещё терялась. Эти диагностические повторы не заменяют исходные баллы. У Markdown вся запись занимала 698–831 токен и читалась целиком: большой архив этим опытом не проверен.
Исправления: почти полная память ещё может противоречить себе
Затем проверили два общих шаблона проектных правил для OpenViking. До запуска зафиксировали допуск: 44 проверки полноты и согласованности в хранилище и поисковой выдаче после двух ревизий. Для нового скрытого сравнения требовались все 44.
Первый шаблон прошёл 36/44, второй — 42/44. Во втором сохранились все исполняемые условия новой версии, но старая версия в истории продолжала называться CURRENT — «действующая». Два провала относятся к приоритету версии: один в хранилище, другой в выдаче.
Это не доказанная ошибка применения: учебный код прошёл 408 проверок. Но заранее установленный допуск не выполнен, поэтому следующие 18 сравнительных сессий не запускали. Все 74 обращения к моделям на этом этапе были успешны; результат не объясняется сетевым сбоем или обрезанием текста. Срез статьи зафиксирован на этом завершённом этапе 21 октября.
Что из этого следует для выбора
На малом наборе точные файлы оказались сильной отправной точкой. OpenViking успешно доставлял готовые правила; его автоматическое извлечение потребовало отдельной настройки и проверки обновлений. У AgentMemory проявился пропуск поиска, у Mem0 — неполная выдача и две ошибки применения. Для Hindsight сначала нужен успешно прошедший допуск извлечения.
Мы проверяли AgentMemory 0.9.30, OpenViking 0.4.17.1, Mem0 OSS 2.2.1 и Hindsight API slim 1.0.0. Модели записи и обработки у систем различались. Эти результаты не дают универсального рейтинга, оценки стоимости или вывода о новых версиях. Длительная работа, большой архив, совместные изменения и права доступа в рабочем окружении ещё не проверены.
Basic Memory, Letta, Honcho, Zep/Graphiti и LangMem мы изучали по документации и коду, но на этом общем стенде не испытывали.
Практический порядок проверки: сначала убедиться, что точное правило сохранилось; затем — что нашлось; после исправления — что старая версия перестала быть действующей; и только потом оценивать новую работу агента. Следующее сравнение имеет смысл после прохождения этого допуска.
Термины
- Сессия — отдельный запуск агента со своей историей сообщений.
- Markdown — текстовый формат с простой разметкой; здесь файлы служили памятью.
- Токен — единица представления текста моделью. Для ограничения выдачи использовался единый внешний счётчик.
- Допуск — заранее заданные условия, без выполнения которых сравнительный запуск не начинается.
- Agent Evolution — механизм OpenViking для извлечения и накопления опыта; в испытанном исходном профиле был выключен.
Основания и материалы
Числа приведены по нашим локальным отчётам и машинным сводкам за 16–21 октября 2026 года. Сырые журналы и полный стенд не опубликованы: это отчёт о собственных опытах, а не независимо воспроизведённый публичный тест. Число тестов включает повторные исполнения; это не число независимых задач. Проверки ответов, отдельных полей и содержимого памяти измеряют разное и не складываются в общий балл.
- Методика проверки пользы памяти.
- Реализации: AgentMemory, OpenViking, Mem0, Hindsight.
Время чтения: 7 минут.
Налаживаете работу с ИИ-агентами?
Помогаю командам выбрать рабочий процесс, подготовить знания и проверить результат внедрения. Практические заметки публикую в Telegram-канале.