(https://arxiv.org/abs/2601.20131v1)
Taxonomy of the Retrieval System Framework: Pitfalls and Paradigms
Разработка системы поиска на основе эмбеддингов требует навигации в сложном пространстве проектирования, характеризующемся конфликтующими компромиссами между эффективностью и результативностью. Данная работа структурирует эти решения как вертикальное прохождение по стеку проектирования системы. Мы начинаем с Уровня представления, изучая, как функции потерь и архитектуры, в частности би-энкодеры и кросс-энкодеры, определяют семантическую релевантность и геометрическую проекцию. Далее мы анализируем Уровень гранулярности и оцениваем, как стратегии сегментации, такие как атомарное и иерархическое разбиение на фрагменты, смягчают информационные узкие места в документах с длинным контекстом. Переходя к Уровню оркестрации, мы обсуждаем методы, выходящие за рамки парадигмы одного вектора, включая иерархический поиск, агентную декомпозицию и многоступенчатые конвейеры переранжирования для разрешения ограничений пропускной способности. Наконец, мы обращаемся к Уровню робастности, выявляя архитектурные способы смягчения сбоев обобщения по доменам, лексических «слепых зон» и бесшумного ухудшения качества поиска из-за временного дрейфа. Категоризируя эти ограничения и проектные решения, мы предлагаем всеобъемлющую основу для практиков для оптимизации границы эффективности-результативности в современных нейронных поисковых системах.