ExpeL: как агент переносит опыт между задачами
Агент один раз нашёл нужный товар и сохранил весь диалог. При следующем поиске ему нужно понять, что из этого опыта полезно: конкретная последовательность действий или общий приём проверки. ExpeL соединяет обе формы памяти. Разберём эту идею на условном помощнике по подбору оборудования.
Стрелки показывают, откуда берётся следующий шаг. Условия и ограничения разобраны в статье.
Основа — работа Andrew Zhao и соавторов ExpeL: LLM Agents Are Experiential Learners, впервые опубликованная в 2023 году. Здесь используется редакция v3 от 20 декабря 2024 года. Описание метода опирается на первоисточник; пример с оборудованием, предлагаемые записи и проверки — моя интерпретация, а не результаты экспериментов авторов.
Два разных ответа на вопрос «что запомнить»
В ExpeL агент сначала собирает опыт на обучающих задачах. Сохраняются траектории — последовательности наблюдений и действий. Из неудачных и успешных попыток одной задачи, а также групп успешных решений извлекаются текстовые выводы. При решении новой задачи в контекст попадают и выводы, и похожие успешные траектории. Параметры языковой модели при этом не обновляются. Метод, §4.1–4.3.
Это две разные функции. Вывод подсказывает принцип, который стоит учитывать. Траектория показывает конкретный способ выполнить работу в знакомой среде. В базовом варианте весь список выводов включается в контекст, а успешные примеры выбираются по сходству задачи. Поэтому описывать ExpeL как поиск отдельных правил на каждом шаге было бы неточно.
Мой практический вывод из этого устройства: запись опыта стоит оценивать не только по краткости. Иногда сокращение сохраняет полезное правило, но выбрасывает единственный пример, по которому понятно, как его применить.
Условный пример: выбор док-станции
Представим агента, который подбирает док-станцию для рабочего места. Он должен предложить устройство для двух внешних мониторов, проверить совместимость с ноутбуком и уложиться в заданный бюджет. Покупку совершает человек; агент только готовит обоснованный вариант.
В первой учебной попытке агент ищет название разъёма и выбирает товар по заголовку. Выясняется, что подходящий разъём ещё не подтверждает работу нужной конфигурации мониторов. Во второй попытке агент читает техническую спецификацию, сопоставляет ограничения и предлагает совместимый вариант.
Из этой истории можно сохранить два разных материала.
| Вид записи | Содержание нашего примера | Как помогает |
|---|---|---|
| Обобщённый вывод | Для совместимости недостаточно названия разъёма: нужно проверить требуемую конфигурацию по спецификации | Подсказывает, какой вопрос нельзя пропустить |
| Успешная траектория | Открыть карточку, перейти к спецификации, найти ограничения по мониторам, сопоставить их с требованиями, сохранить ссылку | Показывает, как проверка была выполнена в конкретном магазине |
Пример намеренно не называет реальных моделей устройств. Его задача — показать различие между принципом и демонстрацией действия, а не дать рекомендацию по покупке.
Теперь приходит другой запрос: подобрать оборудование для одного монитора и другого ноутбука. Общий вывод о проверке совместимости по-прежнему полезен. Список шагов тоже может помочь, но названия разделов и характеристики из прошлой карточки нельзя принять за свойства нового товара.
Именно здесь память требует работы: агент должен использовать найденный пример, чтобы получить новые свидетельства. Если он просто повторяет прошлый итог, сохранённый опыт превращается в источник устаревшего ответа.
Как появляется обобщение
В §4.2 ExpeL список выводов поддерживается операциями добавления, редактирования, повышения и понижения оценки. Запись удаляется, когда её счётчик важности падает до нуля. Это механизм отбора текстовых выводов; сам по себе счётчик не означает независимого доказательства их истинности.
Для нашего помощника полезно сравнить разные формулировки урока:
- «Всегда открывай спецификацию» — слишком широкое указание: оно не говорит, что именно проверять.
- «Для ноутбука из прошлой задачи бери устройство из прошлой покупки» — частный ответ, ошибочно превращённый в общее правило.
- «Если задача содержит требования совместимости, сопоставь каждый существенный параметр с источником характеристик» — условный способ проверки, применимый к нескольким товарам.
Последняя формулировка выглядит лучше, но это ещё гипотеза. Например, для товара без опубликованной спецификации агент должен сообщить о пробеле, а не придумать подтверждение. Для простого поиска расходного материала из заранее утверждённого списка такая подробная проверка может быть лишней. Область применения определяет ценность записи.
Почему похожая задача бывает плохим примером
Допустим, прежний и новый запросы одинаково содержат слова «ноутбук», «монитор» и «док-станция». По тексту они близки. Но прошлый пример решался в магазине с подробными спецификациями, а новый — на площадке, где продавец указал только краткое описание.
Мой вариант проверки извлечённого примера — задать три вопроса:
- Совпадает ли цель проверки, ради которой нужен пример?
- Доступны ли в новой среде те же действия и свидетельства?
- Какие элементы старой траектории придётся получить заново?
В нашем случае полезной останется последовательность вопросов о совместимости. Переход «открыть спецификацию» может оказаться невыполнимым. Корректным итогом станет запрос дополнительных сведений или отказ от уверенной рекомендации, а не бесконечное повторение прежнего маршрута.
Здесь удобно хранить рядом с примером дату, описание среды и исходные требования. Это моё предложение для прикладной системы: оно не означает, что ExpeL автоматически проверяет свежесть каждой записи.
Что именно проверяли исследователи
В работе использованы текстовые среды HotpotQA, ALFWorld и WebShop; отдельный опыт переноса связан с FEVER. Авторы сравнивали полный вариант с вариантами, использующими только выводы или только извлечённые примеры. Их роль различалась по задачам. Детали находятся в §5.
Для чтения результатов важно разделять подготовку и применение. Основная схема предполагает сбор опыта до оценки на новых задачах и одну попытку на оценочную задачу; дополнительный вариант с повторными попытками обсуждается отдельно. «Одна попытка» здесь не означает отсутствие затрат на предварительное накопление опыта.
В §6 авторы ограничивают выводы текстовыми наблюдениями и отмечают вопрос роста списка правил. Из этого исследования нельзя получить готовую оценку пользы ExpeL для конкретного магазина, современного браузерного агента или многолетней корпоративной памяти. Самостоятельной репликации в этом разборе нет.
Как я проверял бы такую память
Для нашего помощника я бы подготовил несколько новых задач и сравнил четыре режима: без накопленного опыта, только с выводами, только с примерами и с обоими видами памяти. Модель, инструменты и допустимый бюджет работы должны оставаться сопоставимыми. Подготовку памяти нужно учитывать отдельно.
Особенно полезны задачи, на которых старый опыт частично перестаёт подходить:
| Новая ситуация | Что наблюдать |
|---|---|
| Требования похожи, но характеристики товара изменились | Получает ли агент свежие сведения вместо копирования прошлого ответа |
| Принцип проверки подходит, интерфейс магазина другой | Перестраивает ли последовательность действий |
| В найденном примере отсутствует новое обязательное требование | Замечает ли агент этот пробел |
| В памяти есть уверенный, но неверный вывод | Может ли проверка по источнику остановить его применение |
Считать стоит подтверждённые требования, неподтверждённые утверждения, лишние действия и стоимость выполнения. Красивая формулировка сохранённого урока сама по себе не показывает, что новая задача решена лучше.
ExpeL полезен как отправная точка для такого разделения: один слой памяти помогает сформулировать правильный вопрос, другой показывает способ искать ответ. В проекте ценность обоих слоёв придётся подтвердить на новых задачах.
Термины
- Траектория — последовательность наблюдений и действий агента при одной попытке выполнить задачу.
- Текстовый вывод, или insight — обобщённый урок, извлечённый из нескольких попыток.
- Контекст — информация, переданная модели для текущего ответа или действия.
- Извлечение примеров — выбор подходящих прошлых решений для включения в контекст новой задачи.
- Обновление параметров модели — изменение внутренних численных значений модели при обучении; в рассматриваемой схеме ExpeL оно не требуется.
Источник
Andrew Zhao, Daniel Huang, Quentin Xu, Matthieu Lin, Yong-Jin Liu, Gao Huang. ExpeL: LLM Agents Are Experiential Learners. Первая версия — 20 августа 2023 года; разобрана версия v3 от 20 декабря 2024 года. Полный текст, официальный код. Авторы распространяют статью по CC BY 4.0. Этот материал — самостоятельное объяснение с оригинальным условным примером; код и эксперименты авторами разбора не воспроизводились.
Все материалы по теме: «Организационная и агентская память».
Хотите внедрить это у себя?
Помогаю командам перейти на агентную разработку: как советник, через обучение команды или внедрение изменений с проверкой эффекта по данным. Короткие заметки между статьями выходят в Telegram-канале.