Понять
Связать тип вопроса со способом получения ответа и увидеть границы RAG.
Разным вопросам нужны разные операции§
«Найди инструкцию P-17» — поиск известного объекта. «Какие процедуры действуют для версии 4.1?» — выборка с точными условиями. «Почему возникают похожие отказы?» — вопрос, который может потребовать сравнения нескольких материалов. Для каждого случая определите, что считать результатом: документ, список, объяснение или обобщение.
Человеку иногда достаточно понятного меню и фильтра. Агенту может понадобиться структурированный ответ с идентификаторами, условиями и основанием. Сохраняйте возможность перейти от ответа к исходной записи, чтобы проверить его и сообщить об ошибке.
Как работает RAG§
В упрощённой схеме RAG сначала ищет материалы, затем передаёт найденный контекст языковой модели, которая составляет ответ. Ошибка может появиться в любом месте: источник устарел, нужный фрагмент не найден, потеряно условие либо модель сделала неподдержанный вывод.
Поиск по близости эмбеддингов помогает находить похожие формулировки. Однако похожесть не устанавливает, подходит ли инструкция к конкретной версии оборудования. Точные условия, права доступа и статус записи нужно учитывать отдельно.
Отсутствие ответа тоже требует поведения§
Продумайте четыре исхода: дать ответ с основанием, запросить недостающее условие, сообщить о конфликте или направить к ответственному. Формулировка «не найдено» не должна скрывать технический сбой, отсутствие прав или реально неизвестный факт — у этих случаев разный следующий шаг.
Учебный пример. Запрос содержит модель К-2, но не содержит версию прошивки. Система нашла процедуры для 4.0 и 4.1. В учебном контракте она просит уточнить версию, а не выбирает самый похожий текст.
Проверить себя
Если найденный фрагмент очень похож на вопрос, можно ли считать его применимым?
Свериться с разбором
Нет. Нужно проверить предмет, условия, актуальность, статус и право использования. Семантическая близость отвечает лишь за один аспект поиска.
Что прочитать по теме · 2
- Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users’ QuestionsКлассификация информационных потребностей и сочетания LLM, графов и поиска.
- Knowledge GraphsЧасти о моделях данных, schema, identity, context и quality assessment.
Практические шаги и учебный кейс — адаптация для этой программы. Роль и ограничения каждого источника указаны в библиографии.
Применить
Построить простой маршрут от вопроса к проверяемому ответу и испытать его на сценариях проекта.
Начните с наблюдаемого базового варианта§
- Возьмите проверочные вопросы. Для каждого укажите ожидаемые записи и необходимые фильтры.
- Проверьте, что дают навигация, точный поиск по идентификатору и полнотекстовый поиск. Сохраните результаты как исходное сравнение.
- Если добавляете поиск по смыслу, сравнивайте его на тех же вопросах. Не меняйте одновременно все части системы.
- Сохраняйте у фрагмента ссылку на документ, версию, раздел, условия и доступ. Проверьте, не отрезаны ли исключения заголовком или границей фрагмента.
- Добавляйте генерацию ответа после того, как можете наблюдать и оценивать найденный контекст.
Контракт ответа§
У ответа на справочный вопрос и у операции изменения данных должны быть разные полномочия. Наличие инструкции в контексте не означает разрешения автоматически выполнить описанное действие.
| Часть | Учебное требование |
|---|---|
| Результат | Применимая процедура или понятная причина отсутствия ответа |
| Условия | Модель, версия и существенные ограничения |
| Основание | Ссылка на конкретную запись и её версию |
| Неопределённость | Каких данных не хватает или какие источники расходятся |
| Следующее действие | Прочитать процедуру, уточнить вход или обратиться к владельцу |
Проверьте крайние случаи§
- Точное название и разговорный синоним ведут к одному предмету.
- Устаревшая версия не подменяет действующую.
- Запись недоступна пользователю и не раскрывается через фрагмент, сводку или ссылку.
- Не хватает входного условия — система уточняет его.
- Источники конфликтуют — ответ сохраняет разногласие.
- Поиск или источник недоступен — интерфейс сообщает о сбое и предлагает допустимый обходной путь.
Практика: Путь вопроса
- Опишите маршрут для точного, неоднозначного и обобщающего вопроса.
- Зафиксируйте исходные результаты простого поиска.
- Сравните следующий вариант на тех же случаях и заполните контракт ответа.
Критерии готовности
- Видно, какие записи попали в контекст.
- Можно проверить основание каждого существенного утверждения.
- Неопределённость и технический сбой имеют понятное поведение.
- Проверен вопрос от пользователя с ограниченными правами.
Проверить себя
Нужно ли сразу делить каждый документ на одинаковые короткие части?
Свериться с разбором
Нет универсального размера. Сначала проверьте структуру документов и вопросы. Фрагмент должен сохранять смысл и условия; полезно сопоставить несколько вариантов разбиения на своём наборе задач.
Что прочитать по теме · 2
- Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users’ QuestionsКлассификация информационных потребностей и сочетания LLM, графов и поиска.
- From Local to Global: A Graph RAG Approach to Query-Focused SummarizationПостроение графа сущностей, сводки сообществ и ответы на глобальные вопросы к корпусу.
Практические шаги и учебный кейс — адаптация для этой программы. Роль и ограничения каждого источника указаны в библиографии.
Спроектировать
Обосновать архитектуру поиска и её обновление, измерить пользу дополнительных компонентов.
Сравните варианты на одинаковом входе§
GraphRAG в приведённой статье использует граф сущностей и сводки сообществ для обобщающих вопросов. Рассматривайте это как конкретную исследованную архитектуру. Для поиска одной инструкции такая обработка может не дать нужного выигрыша.
| Вариант | Причина рассмотреть | Что измерить |
|---|---|---|
| Полнотекстовый поиск и фильтры | Названия, коды, термины, точные условия | Нахождение нужного объекта и устойчивость к формулировкам |
| Поиск по смыслу | Разные способы описать одну потребность | Полезные находки и похожие, но неприменимые результаты |
| Сочетание методов и переранжирование | Методы дают дополняющие результаты | Добавочную пользу, задержку и стоимость |
| Запросы по связям | Ответ требует цепочки отношений | Полноту и актуальность отношений |
| GraphRAG со сводками | Нужны обобщения по большому корпусу | Качество обобщения, стоимость индекса и пересмотра сводок |
Где проходит граница доступа§
Материал, который пользователь не вправе читать, не должен попасть в переданный модели контекст. Фильтрация ссылок уже после генерации не устраняет раскрытие. Производные сводки, кеши и логи тоже могут содержать сведения источника: задайте для них собственные правила хранения и доступа.
Если в одной базе работают люди с разными полномочиями, испытайте одинаковый вопрос под разными ролями. Включите попытку получить сведения косвенно через обобщение. Поведение ответа не должно раскрывать больше, чем допускает политика проекта.
Индекс можно восстановить§
Храните связь фрагмента с версией канонической записи. При изменении, снятии или ограничении доступа определяйте затронутые фрагменты и сводки. Для больших обновлений удобно готовить новое поколение индекса, проверять его и переключать чтение согласованно.
Запишите путь восстановления: из каких источников пересобирается индекс, как проверяется полнота и как возвращается предыдущая рабочая версия. В журнале ответа полезны версии источников, конфигурации поиска и модели — в пределах допустимого хранения данных.
Практика: Архитектурное сравнение
- Сравните базовый и усложнённый вариант на одном наборе вопросов.
- Добавьте изменение документа, отзыв доступа и удаление записи.
- Опишите восстановление и условия отказа от лишнего компонента.
Критерии готовности
- Есть измерение добавочной пользы.
- Изменение источника достигает всех используемых представлений.
- Права проверяются до передачи контекста модели.
- Обоснована стоимость сопровождения.
Проверить себя
Когда векторный индекс можно считать источником истины?
Свериться с разбором
В предлагаемой архитектуре он является производным представлением. Истина поддерживается в назначенных канонических записях, а индекс можно пересоздать. Иначе исправление или удаление сведений становится трудно контролировать.
Что прочитать по теме · 3
- Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users’ QuestionsКлассификация информационных потребностей и сочетания LLM, графов и поиска.
- Knowledge GraphsЧасти о моделях данных, schema, identity, context и quality assessment.
- From Local to Global: A Graph RAG Approach to Query-Focused SummarizationПостроение графа сущностей, сводки сообществ и ответы на глобальные вопросы к корпусу.
Практические шаги и учебный кейс — адаптация для этой программы. Роль и ограничения каждого источника указаны в библиографии.