Понять
Связать тип вопроса со способом получения ответа и увидеть границы ответов с помощью ИИ.
Разным вопросам нужны разные операции§
«Найди инструкцию P-17» — поиск известного объекта. «Какие процедуры действуют для версии 4.1?» — выборка с точными условиями. «Почему возникают похожие отказы?» — вопрос, который может потребовать сравнения нескольких материалов. Для каждого случая определите, что считать результатом: документ, список, объяснение или обобщение.
Человеку иногда достаточно понятного меню и фильтра. Агенту может понадобиться структурированный ответ с идентификаторами, условиями и основанием. Сохраняйте возможность перейти от ответа к исходной записи, чтобы проверить его и сообщить об ошибке.
Как работает RAG§
В упрощённой схеме RAG сначала ищет материалы, затем передаёт найденный контекст языковой модели, которая составляет ответ. Ошибка может появиться в любом месте: источник устарел, нужный фрагмент не найден, потеряно условие либо модель сделала неподдержанный вывод.
Эмбеддинг — числовое представление текста для сравнения по смыслу. Поиск по близости эмбеддингов помогает находить похожие формулировки. Однако похожесть не устанавливает, подходит ли инструкция к конкретной версии оборудования. Точные условия, права доступа и статус записи нужно учитывать отдельно.
Отсутствие ответа тоже требует поведения§
Продумайте четыре исхода: дать ответ с основанием, запросить недостающее условие, сообщить о конфликте или направить к ответственному. Формулировка «не найдено» не должна скрывать технический сбой, отсутствие прав или реально неизвестный факт — у этих случаев разный следующий шаг.
Учебный пример. Запрос содержит модель К-2, но не содержит версию прошивки. Найдены утверждённая процедура P-17 для 4.0 и неутверждённая заметка с предложением применить её к 4.1. Система просит уточнить версию; заметка не расширяет область действия процедуры.
Проверить себя
Если найденный фрагмент очень похож на вопрос, можно ли считать его применимым?
Свериться с разбором
Нет. Нужно проверить предмет, условия, актуальность, статус и право использования. Семантическая близость отвечает лишь за один аспект поиска.
Что прочитать по теме · 2
- Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users’ QuestionsКлассификация информационных потребностей и сочетания LLM, графов и поиска.
- Knowledge GraphsЧасти о моделях данных, schema, identity, context и quality assessment.
Применить
Настроить базовый поиск, описать ответ и сохранить результаты проверки.
Перед началом. Нужны согласованные карточки и вопросы. Разработчик настраивает поиск; эксперт проверяет применимость, руководитель принимает результат. Для учебного запуска нужны Python 3.9+ с SQLite FTS5 и работа с терминалом.
Без своего проекта используйте «Контур-сервис». Входные данные и заполненный пример →
Настройте базовый поиск§
- Возьмите проверочные вопросы. Для каждого укажите ожидаемые записи и необходимые фильтры.
- Настройте навигацию, точный поиск по идентификатору и полнотекстовый поиск.
- Сохраняйте у фрагмента ссылку на документ, версию, раздел, условия и доступ. Проверьте, не отрезаны ли исключения заголовком или границей фрагмента.
- Добавляйте генерацию ответа после того, как можете наблюдать и оценивать найденный контекст.
- Для каждого вопроса сохраните найденные записи, ответ и вердикт. Это исходные результаты для сравнения архитектур.
Контракт ответа§
У ответа на справочный вопрос и у операции изменения данных должны быть разные полномочия. Наличие инструкции в контексте не означает разрешения автоматически выполнить описанное действие.
| Часть | Учебное требование |
|---|---|
| Результат | Применимая процедура или понятная причина отсутствия ответа |
| Условия | Модель, версия и существенные ограничения |
| Основание | Ссылка на конкретную запись и её версию |
| Неопределённость | Каких данных не хватает или какие источники расходятся |
| Следующее действие | Прочитать процедуру, уточнить вход или обратиться к владельцу |
Проверьте крайние случаи§
- Точное название и разговорный синоним ведут к одному предмету.
- Устаревшая версия не подменяет действующую.
- Запись недоступна пользователю и не раскрывается через фрагмент, сводку или ссылку.
- Не хватает входного условия — система уточняет его.
- Источники конфликтуют — ответ сохраняет разногласие.
- Поиск или источник недоступен — интерфейс сообщает о сбое и предлагает допустимый обходной путь.
Практика: Путь вопроса
- Выберите свой проект или учебный кейс «Контур-сервис». В кейсе входные данные и заполненный результат уже доступны для сравнения.
- Опишите маршрут для точного, неоднозначного и обобщающего вопроса.
- Проверьте базовый поиск и сохраните результаты.
- Заполните контракт ответа и проверьте крайние случаи.
Критерии готовности
- Видно, какие записи попали в контекст.
- Можно проверить основание каждого существенного утверждения.
- Неопределённость и технический сбой имеют понятное поведение.
- Проверен вопрос от пользователя с ограниченными правами.
Проверить себя
Нужно ли сразу делить каждый документ на одинаковые короткие части?
Свериться с разбором
Нет универсального размера. Сначала проверьте структуру документов и вопросы. Фрагмент должен сохранять смысл и условия; полезно сопоставить несколько вариантов разбиения на своём наборе задач.
Что прочитать по теме · 2
- Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users’ QuestionsКлассификация информационных потребностей и сочетания LLM, графов и поиска.
- From Local to Global: A Graph RAG Approach to Query-Focused SummarizationПостроение графа сущностей, сводки сообществ и ответы на глобальные вопросы к корпусу.
Спроектировать
Сравнить базовый поиск с альтернативой и обосновать дополнительные компоненты.
Сравните варианты на одинаковом входе§
Переранжирование повторно упорядочивает уже найденные записи по полезности для вопроса. Оно не подтверждает их применимость.
GraphRAG в приведённой статье использует граф сущностей и сводки сообществ для обобщающих вопросов. Рассматривайте это как конкретную исследованную архитектуру. Для поиска одной инструкции такая обработка может не дать нужного выигрыша.
| Вариант | Причина рассмотреть | Что измерить |
|---|---|---|
| Полнотекстовый поиск и фильтры | Названия, коды, термины, точные условия | Нахождение нужного объекта и устойчивость к формулировкам |
| Поиск по смыслу | Разные способы описать одну потребность | Полезные находки и похожие, но неприменимые результаты |
| Сочетание методов и переранжирование | Методы дают дополняющие результаты | Добавочную пользу, задержку и стоимость |
| Запросы по связям | Ответ требует цепочки отношений | Полноту и актуальность отношений |
| GraphRAG со сводками | Нужны обобщения по большому корпусу | Качество обобщения, стоимость индекса и пересмотра сводок |
Где проходит граница доступа§
Материал, который пользователь не вправе читать, не должен попасть в переданный модели контекст. Фильтрация ссылок уже после генерации не устраняет раскрытие. Производные сводки, кеши и логи тоже могут содержать сведения источника: задайте для них собственные правила хранения и доступа.
Если в одной базе работают люди с разными полномочиями, испытайте одинаковый вопрос под разными ролями. Включите попытку получить сведения косвенно через обобщение. Поведение ответа не должно раскрывать больше, чем допускает политика проекта.
Индекс можно восстановить§
Поисковый индекс — структура для быстрого поиска по записям. Это производное представление: при потере его можно собрать заново из источников.
Храните связь фрагмента с версией канонической записи. При изменении, снятии или ограничении доступа определяйте затронутые фрагменты и сводки. Для больших обновлений удобно готовить новое поколение индекса, проверять его и переключать чтение согласованно.
Запишите путь восстановления: из каких источников пересобирается индекс, как проверяется полнота и как возвращается предыдущая рабочая версия. В журнале ответа полезны версии источников, конфигурации поиска и модели — в пределах допустимого хранения данных.
Практика: Архитектурное сравнение
- Возьмите результаты базового поиска или подготовьте их по уровню «Применить».
- Проверьте альтернативу на тех же вопросах. Первое учебное сравнение — точный и полнотекстовый поиск в кейсе. Для проекта добавьте задержку и стоимость при своей нагрузке.
- Испытайте изменение документа, отзыв доступа и удаление записи; опишите восстановление.
- Обоснуйте, какие дополнительные компоненты нужны и при каких результатах вы от них откажетесь.
Критерии готовности
- Есть измерение добавочной пользы.
- Изменение источника достигает всех используемых представлений.
- Права проверяются до передачи контекста модели.
- Обоснована стоимость сопровождения.
Проверить себя
Когда векторный индекс можно считать источником истины?
Свериться с разбором
В предлагаемой архитектуре он является производным представлением. Истина поддерживается в назначенных канонических записях, а индекс можно пересоздать. Иначе исправление или удаление сведений становится трудно контролировать.
Что прочитать по теме · 3
- Large Language Models, Knowledge Graphs and Search Engines: A Crossroads for Answering Users’ QuestionsКлассификация информационных потребностей и сочетания LLM, графов и поиска.
- Knowledge GraphsЧасти о моделях данных, schema, identity, context и quality assessment.
- From Local to Global: A Graph RAG Approach to Query-Focused SummarizationПостроение графа сущностей, сводки сообществ и ответы на глобальные вопросы к корпусу.