← К публикациям

Памятка себе: как внедрять ИИ-агентов в разработку

Моя памятка о том, как давать ИИ-агентам задачи, проверять результат и понимать, когда решение должен принимать человек.

Задача проходит через несколько этапов проверки и выходит готовым результатом

Эту памятку я пишу для себя, но так, чтобы любой разработчик мог применить её правила в своей команде.

ИИ-агент может читать файлы проекта, запускать команды и менять код. Но его самостоятельность полезна только тогда, когда результат можно надёжно проверить.

Главное правило: заранее решить, как проверить работу

До начала задачи я спрашиваю себя:

Как я пойму, что агент сделал всё правильно?

Хороший ответ — это тест, точный расчёт или другой способ автоматической проверки. Плохой ответ — «я потом прочитаю весь код и посмотрю».

Например, агент добавляет выгрузку отчёта в файл с таблицей, и отчёт должен быть доступен только его владельцу. Одна проверка запускает выгрузку и убеждается, что в файле правильные столбцы и данные. Другая подтверждает, что пользователь без нужных прав не сможет скачать чужой отчёт.

Если такую проверку можно написать, агенту можно дать больше самостоятельности. Если результат может оценить только опытный разработчик, агент должен подготовить черновик и остановиться. Дальше решает человек.

Всё, что работает по строгим правилам, лучше отдать обычному скрипту

Если шаги всегда одинаковые, я пишу обычный скрипт. Он будет работать быстрее, дешевле и предсказуемее. Например, скриптом лучше:

  • запускать один и тот же набор тестов;
  • проверять формат файлов;
  • собирать проект;
  • запрещать нежелательные зависимости между частями программы.

Агент полезен там, где заранее неизвестно, какие файлы придётся изучить и какое решение выбрать.

За важные решения всё равно отвечает человек

Что бы агент ни сделал сам, ответственность остаётся у людей.

Заранее отмечаю места, где агент обязан остановиться и запросить решение. Например:

  • изменение затрагивает данные пользователей;
  • нужно выдать новый доступ;
  • меняется устройство всей системы;
  • код готов к выпуску на рабочий сервер;
  • автоматические проверки не дают однозначного ответа.

Чем выше цена ошибки, тем важнее явное подтверждение человека.

Агенту нужны знания о проекте

Агент не знает ваш проект заранее. Ему нужно объяснить:

  • что должна делать программа;
  • где находятся её основные части;
  • как запустить проект и тесты;
  • какие правила нельзя нарушать;
  • почему раньше были приняты важные решения.

Эти знания я записываю в инструкции для агента: они хранятся рядом с проектом и обновляются вместе с кодом. Если всё держится в голове одного опытного разработчика, не разберётся ни новичок, ни агент.

Простая проверка для меня: даю агенту маленькую задачу в незнакомой части проекта и не подсказываю путь к файлам. Если он не может найти код или запустить тесты, сначала привожу в порядок инструкции для агента.

Инструкции для агента тоже нужно проверять

Инструкция срабатывает не на каждую задачу, а только на подходящую, и агент отвечает не всегда одинаково. Поэтому два удачных ответа не значат, что инструкция работает: она может сработать там, где не нужна, или не сработать там, где нужна.

Для проверки собираю 10–20 настоящих примеров:

  • задачи, где инструкция нужна;
  • задачи, где она не нужна;
  • простые и сложные случаи;
  • примеры правильного и неправильного результата.

После изменения инструкции или модели ИИ снова прогоняю эти примеры. Так я вижу, стало ли лучше и не сломалось ли то, что раньше работало.

Не заставлять человека читать весь отчёт агента

После задачи агент часто выдаёт несколько экранов текста. Такой отчёт трудно проверить.

Прошу агента оставить только главное:

  • что он изменил;
  • какие проверки запустил;
  • что проверить не удалось;
  • какие риски остались;
  • какое решение требуется от человека.

С чего начать

  1. Выбираю один небольшой вид задач, которые встречаются часто, но каждый раз требуют разобраться в коде.
  2. Записываю, каким должен быть правильный результат.
  3. Делаю автоматическую проверку этого результата.
  4. Указываю, в каких случаях агент должен остановиться и позвать человека.
  5. Проверяю весь процесс на 10–20 настоящих задачах этого вида.
  6. Сравниваю время, стоимость, число ошибок и возвратов на доработку с тем, как эти задачи делали без агента.

Только после этого решаю, можно ли давать агенту более сложные задачи и больше самостоятельности.

Что происходит с вашей командой и ИИ прямо сейчас?

Бесплатная диагностика: анкета на 15–25 минут, в ответ — разбор процессов-кандидатов на автоматизацию, рисков и конкретного следующего шага.

Пройти диагностику или посмотреть форматы работы · канал «Жизнь стартапа в стране ИИ»