Память и поведение агента: что дают модели Анохина и Дубынина
Чем отличаются факты, эпизоды и навыки; как цель направляет выбор действия; зачем сравнивать ожидаемый результат с наблюдаемым.
Агент может хранить подробную историю работы и всё равно повторять одну ошибку. Запись о прошлом становится полезной, когда влияет на выбор следующего действия, а результат этого действия проверяется. Поэтому разговор о памяти постепенно превращается в разговор об устройстве поведения.
Поводом для этого разбора стала идея Николая Рыжикова об «агенте по Дубынину». Здесь мы разберём её научный контекст по открытым источникам и построим самостоятельный учебный пример. Вячеслав Дубынин объясняет работу мозга через несколько научных моделей; классификация памяти и теория функциональных систем имеют собственную историю и авторов. Его курс МГУ прямо называет одной из основ подход Петра Анохина. Описание курса.
Инженерные сопоставления ниже — способ рассуждать об архитектуре программы. Они не подтверждают наличие у неё человеческих переживаний и не доказывают, что такая архитектура будет эффективнее более простой.
Стрелки показывают, откуда берётся следующий шаг. Условия и ограничения разобраны в статье.
Память: несколько разных вопросов
Слово «память» может обозначать сохранённый факт, воспоминание о событии, приобретённое умение или временное удержание информации во время работы. Эти значения полезно развести до выбора базы данных.
В классификации долговременной памяти, которую описывают Ларри Сквайр и Стюарт Зола, декларативная память охватывает факты и события. Недекларативная память объединяет разные формы обучения, включая навыки и привычки. Процедурная память связана с приобретёнными способами действия и не исчерпывает всё недекларативное. Squire и Zola, 1996.
Рабочая память относится к временному удержанию и использованию информации при текущей деятельности. Модель Алана Бэддели рассматривает несколько взаимодействующих компонентов, включая управление вниманием. Поэтому рабочая память — более широкое понятие, чем пассивное кратковременное хранилище. Baddeley, 2012.
Следующая таблица — объяснительная карта, а примеры агента условные. Четыре строки не образуют четыре равноправных, изолированных отдела мозга: здесь соединены различия по содержанию и по роли в текущей деятельности.
На узком экране таблицу можно прокрутить в сторону.
| Вид памяти | Вопрос | Условный пример агента |
|---|---|---|
| Рабочая | Что нужно удерживать сейчас? | Период выгрузки, текущая позиция, проверенные результаты, следующий шаг |
| Эпизодическая | Что произошло в конкретном случае? | Вчера выгрузка остановилась после ответа об ограничении частоты; продолжение после паузы удалось |
| Семантическая | Что известно о мире? | Этот сервис ограничивает частоту запросов; данные выдаются порциями |
| Процедурная | Как действовать? | Сохранить позицию, выдержать разрешённую паузу, продолжить и проверить полноту |
Рассказ о том, как человек учился ездить на велосипеде, и умение ехать — разные результаты обучения. В программе похожее различие возникает между журналом прошлого запуска и способом, который можно применить в новых условиях. Один журнал ещё не делает агента более умелым.
Назначение записи, носитель и поиск — три отдельных решения. Факт может лежать в текстовом файле или базе данных. Процедура может быть описана инструкцией или выражена кодом. Поиск по смысловому сходству способен находить и факты, и эпизоды, и процедуры; сам по себе он не определяет, что именно система помнит.
Даже исполнимая процедура не гарантирует полезный навык всей системы: агенту ещё нужно выбрать её в подходящей ситуации, передать верные входные данные и проверить исход. Связь этого различия с состоянием приложения разобрана в обзоре state, context и memory.
Функциональная система Анохина
Теория функциональных систем рассматривает согласованную работу компонентов ради полезного результата. Для этой модели важны связи между потребностью, обстановкой, прошлым опытом, выбором действия и обратной информацией о результате. Это историческая физиологическая теория; её схема не является готовой спецификацией программного агента.
В изложении Анохина афферентный синтез объединяет доминирующую мотивацию, информацию об обстановке, пусковой сигнал и память. Принятие решения приводит к формированию программы действия и аппарата предвосхищения его результата — акцептора результата действия. Ожидание формируется до получения результата; обратная информация позволяет сопоставить ожидаемое с произошедшим. Анохин, «Очерки по физиологии функциональных систем», с. 327–332.
Для инженерного примера из этой схемы удобно выделить три вопроса:
На узком экране таблицу можно прокрутить в сторону.
| Объект | Вопрос | Пример загрузки данных |
|---|---|---|
| Цель | Какое состояние требуется получить? | Все записи за выбранный период загружены и проверены |
| Прогноз | Что должно произойти после этого действия? | Следующий запрос вернёт очередную порцию записей |
| Наблюдение | Что произошло в действительности? | Сервис вернул ограничение частоты вместо записей |
Это наше учебное разложение. Оно помогает избежать частой ошибки проектирования: принять описание желаемого результата за свидетельство его достижения. Сообщение агента «загрузка закончена» проверяется по данным и условиям полноты.
Другая ошибка — сохранить цель, но не иметь ожидания от конкретного шага. Тогда непонятно, почему полученный ответ требует изменить план. Если ожидали следующую порцию данных, а получили требование подождать, расхождение имеет ясное последствие: изменить способ продолжения, сохранив исходную цель.
Дубынин: потребность, мотивация и программа
В учебнике «Регуляторные системы организма человека» Дубынин и соавторы описывают потребность как недостаток значимого для организма условия, а мотивацию — как готовность действовать для её удовлетворения. Актуальная потребность связана с активацией соответствующих навыков и ассоциаций. Выбор поведенческой программы зависит от обстановки и прошлого опыта успеха; модель внешнего мира участвует в прогнозировании последствий. Учебник, разделы 4.1 и 4.12.
Различие слов проще увидеть на бытовом примере. Бумаги мешают работать — исходная проблема. Готовность заняться уборкой — мотивация. Свободный стол к вечеру — цель. Рассортировать бумаги по назначению — выбранная программа. Переложить конкретный лист — действие. У человека эта последовательность не обязана осознаваться и проговариваться; пример лишь разделяет функции.
Для агента здесь возникает инженерная гипотеза: извлечение опыта следует связывать с текущей целью и условиями применения. Два текста могут быть похожи, но требовать разных действий. Рекомендация повторить запрос подходит для временного сбоя сети; при запрете доступа тот же повтор обычно не устраняет причину.
Такую аналогию полезнее проверять по поведению, чем по названиям модулей. Назвать компонент «мотивацией» недостаточно. Нужно определить, какой сигнал он получает, какое решение может изменить и по какому наблюдению проверяется результат. Подробные анатомические схемы учебника при этом не становятся схемами расположения программных модулей.
Какие ещё модели нужны для понимания
Здесь встречаются несколько моделей, которые отвечают на разные вопросы. Смешение их словарей создаёт впечатление одной большой теории, хотя основания и предмет у них различаются.
На узком экране таблицу можно прокрутить в сторону.
| Модель | Что объясняет | Чего из неё не следует |
|---|---|---|
| Системы памяти Сквайра и Золы | Различия фактов, событий и недекларативных форм обучения | Что каждый вид памяти должен иметь отдельную базу данных |
| Рабочая память Бэддели | Временное удержание информации и управление текущей деятельностью | Что контекстное окно языковой модели воспроизводит человеческую рабочую память |
| Функциональные системы Анохина | Организацию поведения относительно результата и обратной связи | Что достаточно нарисовать цикл, чтобы получить надёжного агента |
| Потребностно-информационная теория Симонова | Связь эмоций с потребностью и оценкой возможности её удовлетворения | Что внутренний числовой сигнал программы является переживанием |
| Обучение по ошибке предсказания | Изменение оценок при расхождении ожидаемого и полученного подкрепления | Что неожиданность равна полезности или истинности |
| Выбор с моделью последствий и без неё | Сочетание накопленных оценок действий с поиском возможных исходов | Что это то же самое, что «код или языковая модель» |
Эмоция и ошибка предсказания
Павел Симонов связывал эмоции с актуальной потребностью и субъективной оценкой возможности её удовлетворения. Смысл результата для организма и прогноз достижимости здесь существенны. Это авторская историческая теория, а не универсальная формула измерения всех эмоций. Simonov, 1984.
Другая линия работ исследует ошибку предсказания вознаграждения. В статье Шульца, Даяна и Монтегю часть фазических дофаминовых ответов в задачах с вознаграждением связывается с различием между ожидаемым и полученным: неожиданной наградой, предсказанной наградой и отсутствием ожидаемой. Это не определение эмоции и не описание всех функций дофамина. Schultz, Dayan и Montague, 1997.
В условной системе агента два успешных запуска могут иметь разную информационную ценность. Один подтвердил привычное ожидание, другой показал, что ранее неработавший способ теперь применим. Однако неожиданный сбой тоже информативен. Поэтому в предлагаемой инженерной модели стоит разделять достижение цели, неожиданность и надёжность свидетельства. Единый «эмоциональный балл» скрывает эти различия.
Привычный способ и поиск по модели
Доу, Нив и Даян предложили вычислительную модель взаимодействия контроллеров: один использует накопленные оценки действий, другой — модель последствий и поиск. В их объяснении неопределённость оценок участвует в выборе между способами управления. Daw, Niv и Dayan, 2005.
Инженерная аналогия: знакомая задача позволяет выбрать проверенную процедуру; изменение условий требует заново рассмотреть последствия. Если сервис изменил формат продолжения выгрузки, старый способ может потерять применимость, даже если раньше он работал сотни раз.
Это различие нельзя автоматически приравнять к паре «процедурная и декларативная память». Система хранения опыта и механизм выбора действия — разные уровни описания. Код тоже может планировать, а языковая модель — воспроизводить знакомый шаблон без проверки новых условий.
Что означает «агент по Дубынину»
Будем использовать это выражение как название идеи: агент выбирает способ действия с учётом цели и опыта, получает обратную связь и корректирует дальнейшее поведение. Ниже — наша инженерная реконструкция, не описание реализованного продукта и не архитектура, предложенная самим Дубыниным.
У такого агента полезно различать три потока информации:
- Поручение пользователя задаёт цель и допустимые границы работы.
- Наблюдения среды уточняют факты, состояние задачи и результат действия.
- Сигналы исполнения сообщают об ограничениях: остатке ресурсов, необходимости паузы, заполнении доступного контекста.
Под контекстом здесь понимается информация, которую модель получает при конкретном вызове. Если её становится слишком много, система может сохранить состояние и сократить рабочий набор. Такая служебная операция поддерживает поручение. Она не должна незаметно менять цель с «загрузить всё» на «загрузить столько, сколько успели».
Сохранённый способ и план тоже различаются. Способ описывает, как действовать в некотором классе условий; план — его применение к текущей задаче. После ограничения частоты план включает паузу именно этого запуска. Сама общая процедура не обязана меняться после каждого такого события.
Сквозной пример: выгрузка остановилась
Предположим, агент должен собрать данные за месяц. Это вымышленный пример устройства системы, а не отчёт об испытании.
Сначала фиксируется критерий завершения: период покрыт целиком, записи не потеряны, дубликаты проверены. Рабочая память удерживает границы периода и подтверждённую позицию. Семантическая память сообщает, как сервис выдаёт данные частями. Из процедур выбирается способ загрузки с сохранением позиции.
На очередном шаге агент получает требование подождать. Он сохраняет наблюдение отдельно от объяснения: ответ сервиса — свидетельство, а «мы слишком часто обращались» — интерпретация, которую можно уточнить. Предсказание следующей порции данных не сбылось. План меняется: сохранить позицию, дождаться допустимого момента, продолжить.
После продолжения проверяется полнота. Успех одного запроса ещё не означает успех всей задачи. В эпизоде сохраняются условия, выбранный способ, исход и ссылка на проверку. Если сходные случаи повторяются, можно уточнить условия применимости процедуры.
Так появляется путь от опыта к последующему выбору: наблюдение → проверенный эпизод → сопоставление случаев → уточнение способа. Это рекомендуемая организация программной памяти, а не обязательная последовательность образования человеческого навыка. Один случай может быть важен, но сам по себе не доказывает общее правило.
Сон, эмоции и закрепление опыта
Биологические метафоры помогают поставить вопрос, но легко подменяют механизм. Слово «сон» в описании агента обычно означает фоновый разбор накопленного опыта: выделить повторения, найти противоречия, обновить процедуры. Это программная операция; её полезность определяется качеством последующих решений.
У человека консолидация означает процессы стабилизации памяти. Её нельзя сводить исключительно к сну: например, в исследовании Дьюар и соавторов спокойный отдых во время бодрствования после обучения улучшал последующее воспроизведение в изученной задаче. Этот результат не устанавливает универсальную замену сна отдыхом. Dewar и соавторы, 2012.
Эмоциональная значимость и возбуждение могут влиять на запоминание; работа Кенсингер и Коркина показывает необходимость различать эти факторы. Из яркости воспоминания не следует истинность его содержания. Kensinger и Corkin, 2004.
Для программы разумный перенос — сохранять потенциально важные случаи вместе с доказательствами и условиями. Ошибка, затронувшая ключевое требование, может заслуживать разбора даже при малой частоте. Но высокий приоритет записи не должен автоматически превращать объяснение агента в подтверждённый факт.
Наконец, внешняя память, текущий план и параметры языковой модели меняются разными способами. Запись процедуры в файл не является дообучением базовой модели. В биологии обучение тоже нельзя объяснить одной фразой «переписалась ДНК»: работы Эрика Канделя связывают долговременные изменения с регуляцией экспрессии генов, синтезом белков и изменениями синаптических связей. Нобелевская лекция Канделя.
Что эта теория даёт проектировщику
Главная польза рассмотренных моделей — возможность точнее назвать, чего системе не хватает. Если агент забыл границы задачи, нужно разбирать рабочее состояние. Если не знает устройство сервиса — актуальность фактов. Если повторяет известную ошибку — извлечение и применимость опыта. Если объявляет успех без проверки — способ оценки результата.
Прежде чем добавлять ещё одно хранилище, полезно ответить на четыре вопроса:
- Какое наблюдаемое поведение должно измениться благодаря памяти?
- При каких условиях сохранённый способ применим, а при каких его следует отвергнуть?
- Что считается свидетельством успеха независимо от самооценки агента?
- Как новая информация исправляет старое знание, сохраняя возможность проверить его происхождение?
Ответы превращают метафору в обсуждаемую архитектуру. Следующий шаг теоретического разбора — описать на одной задаче цель, прогноз, наблюдение, применимый опыт и правило пересмотра. Только после этого появляется предмет для сравнения с более простой системой.
Термины
- Декларативная память — память фактов и событий в рассматриваемой классификации.
- Недекларативная память — совокупность различных форм обучения, включая навыки и привычки.
- Рабочая память — временное удержание и использование информации в текущей деятельности.
- Эпизодическая память — память конкретных событий в их контексте.
- Семантическая память — знания о фактах и смысловых связях.
- Процедурная память — приобретённые способы действия.
- Афферентный синтез — объединение мотивации, обстановки, пускового сигнала и памяти в модели Анохина.
- Акцептор результата действия — аппарат предвосхищения результата и сопоставления его с обратной информацией в теории Анохина.
- Ошибка предсказания вознаграждения — расхождение полученного и ожидаемого подкрепления.
- Контекст — информация, доступная языковой модели при конкретном вызове.
- Консолидация — процессы стабилизации памяти; в программной аналогии механизм должен быть определён отдельно.
Источники
Это выборочный разбор моделей, полезных для поставленного вопроса, по материалам, проверенным 16–17 октября 2026 года. Он не является полным обзором современной нейронауки. Бытовые и программные примеры, таблицы сопоставлений и схема агента — авторский синтез. Ссылки на лекции ведут к курсу и его содержанию; пересказа непросмотренного видео здесь нет.
- Squire и Zola. Structure and function of declarative and nondeclarative memory systems, 1996 — различия систем долговременной памяти.
- Baddeley. Working Memory: Theories, Models, and Controversies, 2012 — рабочая память и её модели.
- П. К. Анохин. Очерки по физиологии функциональных систем, 1975 — первичный текст; особенно с. 327–332 о принятии решения и предвосхищении результата.
- В. А. Дубынин и соавторы. Регуляторные системы организма человека, 2003 — разделы 4.1, 4.10 и 4.12: потребности, память и выбор поведения.
- Курс МГУ «Мозг: как он устроен и работает» — маршрут дальнейшего изучения: лекции 5–6 о памяти, 7 о сне, 8 о мышлении и решениях.
- Simonov. The information theory of emotions, 1984 — потребностно-информационная теория эмоций.
- Schultz, Dayan и Montague. A Neural Substrate of Prediction and Reward, 1997 — обучение и ошибка предсказания подкрепления.
- Daw, Niv и Dayan. Uncertainty-based competition between prefrontal and dorsolateral striatal systems for behavioral control, 2005 — вычислительная модель выбора управления; здесь использовано доступное авторское описание, а не недоступный полный текст.
- Kensinger и Corkin. Two routes to emotional memory, 2004 — эмоциональная значимость и возбуждение при запоминании.
- Dewar и соавторы. Brief Wakeful Resting Boosts New Memories Over the Long Term, 2012 — исследование спокойного бодрствования после обучения.
- Kandel. The Molecular Biology of Memory Storage: A Dialogue Between Genes and Synapses — молекулярные и синаптические механизмы памяти.
Время чтения: 14 минут.
Налаживаете работу с ИИ-агентами?
Помогаю командам выбрать рабочий процесс, подготовить знания и проверить результат внедрения. Практические заметки публикую в Telegram-канале.