Памятка себе: как внедрять ИИ-агентов в разработку

Моя памятка о том, как давать ИИ-агентам задачи, проверять результат и понимать, когда решение должен принимать человек.

Задача проходит через несколько этапов проверки и выходит готовым результатом

Это моя памятка о том, как внедрять ИИ-агентов в разработку. Я пишу её для себя, но так, чтобы любой разработчик мог понять правила и применить их в своей команде.

ИИ-агент может читать файлы проекта, запускать команды и менять код. Но его самостоятельность полезна только тогда, когда результат можно надёжно проверить.

Главное правило: заранее решить, как проверить работу

До начала задачи я спрашиваю себя:

Как я пойму, что агент сделал всё правильно?

Хороший ответ — это тест, точный расчёт или другой способ автоматической проверки. Плохой ответ — «я потом прочитаю весь код и посмотрю».

Например, агент добавляет выгрузку отчёта в файл с таблицей. Проверка должна создать этот файл и убедиться, что в нём правильные столбцы и данные. Ещё одна проверка должна подтвердить, что пользователь без нужных прав не сможет скачать чужой отчёт.

Если такую проверку можно написать, агенту можно дать больше самостоятельности. Если результат может оценить только опытный разработчик, агент должен подготовить черновик и остановиться. Дальше решает человек.

Всё, что работает по строгим правилам, лучше отдать обычной программе

Не каждую задачу стоит выполнять с помощью ИИ.

Если шаги всегда одинаковые, я пишу обычный скрипт. Он будет работать быстрее, дешевле и предсказуемее. Например, скриптом лучше:

  • запускать один и тот же набор тестов;
  • проверять формат файлов;
  • собирать проект;
  • запрещать нежелательные зависимости между частями программы.

Агент полезен там, где заранее неизвестно, какие файлы придётся изучить и какое решение выбрать. Простые повторяющиеся действия лучше оставить обычному коду.

За важные решения всё равно отвечает человек

Агент может исследовать задачу, предложить решение, изменить код и запустить проверки. Но ответственность остаётся у людей.

Заранее отмечаю места, где агент обязан остановиться и запросить решение. Например:

  • изменение затрагивает данные пользователей;
  • нужно выдать новый доступ;
  • меняется устройство всей системы;
  • код готов к выпуску на рабочий сервер;
  • автоматические проверки не дают однозначного ответа.

Чем выше цена ошибки, тем важнее явное подтверждение человека.

Агенту нужны знания о проекте

Агент не знает ваш проект заранее. Ему нужно объяснить:

  • что должна делать программа;
  • где находятся её основные части;
  • как запустить проект и тесты;
  • какие правила нельзя нарушать;
  • почему раньше были приняты важные решения.

Эти знания должны храниться рядом с проектом и обновляться вместе с кодом. Если всё держится в голове одного опытного разработчика, не разберётся ни новичок, ни агент.

Простая проверка для меня: даю агенту маленькую задачу в незнакомой части проекта и не подсказываю путь к файлам. Если он не может найти код или запустить тесты, сначала привожу в порядок документацию и сам проект.

Инструкцию для агента тоже нужно тестировать

Нельзя запустить инструкцию два раза и решить, что она работает. Агент отвечает не всегда одинаково. Иногда инструкция сработает правильно, а иногда будет применена не к той задаче.

Для проверки собираю 10–20 настоящих примеров:

  • задачи, где инструкция нужна;
  • задачи, где она не нужна;
  • простые и сложные случаи;
  • примеры правильного и неправильного результата.

После изменения инструкции или модели ИИ снова прогоняю эти примеры. Так я вижу, стало ли лучше и не сломалось ли то, что раньше работало.

Не заставлять человека читать весь журнал работы

После задачи агент часто выдаёт несколько экранов текста. Такой отчёт трудно проверить.

Прошу агента оставить только главное:

  • что он изменил;
  • какие проверки запустил;
  • что проверить не удалось;
  • какие риски остались;
  • какое решение требуется от человека.

Человек должен получить короткое описание результата, а не пересказ каждого шага агента.

С чего начать

  1. Выбираю один небольшой и повторяющийся вид задач.
  2. Записываю, каким должен быть правильный результат.
  3. Делаю автоматическую проверку этого результата.
  4. Указываю, в каких случаях агент должен остановиться и позвать человека.
  5. Проверяю работу на 10–20 настоящих задачах.
  6. Сравниваю время, стоимость, число ошибок и возвратов на доработку.

Только после этого решаю, можно ли давать агенту более сложные задачи и больше самостоятельности.

Что происходит с вашей командой и ИИ прямо сейчас?

Бесплатная диагностика: анкета на 15–25 минут, в ответ — разбор процессов-кандидатов на автоматизацию, рисков и конкретного следующего шага.

Пройти диагностику или забронировать звонок