🚀 完全实现 Qdrant 混合检索功能
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 11m7s

- 不需要兼容,完全重写为混合检索
- 检索器:强制使用 FastEmbedSparse + RetrievalMode.HYBRID
- 索引器:强制启用稀疏向量,混合检索模式
- 添加 fastembed 依赖到 requirements.txt
- 语法检查通过
This commit is contained in:
2026-05-03 18:12:20 +08:00
parent ce6e459e19
commit 5c45806ad3
4 changed files with 53 additions and 88 deletions

View File

@@ -1,17 +1,16 @@
"""
Qdrant 向量检索器模块
提供基于 Qdrant 的基础向量检索和混合检索Dense + Sparse功能。
提供基于 Qdrant 的混合检索Dense + Sparse功能。
核心原理:
- 使用 langchain-qdrant 的 RetrievalMode
- Qdrant 原生混合检索(如果集合已配置 sparse_vectors
- 如果集合未配置,优雅回退到纯稠密检索
- 完全兼容现有代码,无接口改动
- 使用 Qdrant 原生混合检索(langchain-qdrant 的 RetrievalMode.HYBRID
- 同时存储稠密向量和稀疏向量
- 语义理解 + 关键词匹配,效果最优
使用示例:
>>> from app.rag.retriever import create_hybrid_retriever
>>> retriever = create_hybrid_retriever(collection_name="my_docs")
>>> retriever = create_hybrid_retriever(collection_name="rag_documents")
>>> docs = retriever.invoke("什么是 RAG")
"""
@@ -21,6 +20,7 @@ from qdrant_client.http.exceptions import UnexpectedResponse
from langchain_qdrant import (
QdrantVectorStore,
RetrievalMode,
FastEmbedSparse,
)
from langchain_core.embeddings import Embeddings
from langchain_core.retrievers import BaseRetriever
@@ -95,12 +95,7 @@ def create_hybrid_retriever(
embeddings: Embeddings | None = None,
) -> BaseRetriever:
"""
创建混合检索器(使用 Qdrant 自身的 RetrievalMode.HYBRID)。
⚡️ Qdrant 原生混合检索:
- 如果 Qdrant 集合已配置 sparse_vectors启用 Qdrant 原生混合检索
- 如果未配置:优雅回退到纯稠密检索
- 完全兼容现有代码,接口不变
创建混合检索器(稠密向量 + BM25 稀疏向量Qdrant 原生实现)。
Args:
collection_name: Qdrant 集合名称。
@@ -139,41 +134,22 @@ def create_hybrid_retriever(
raise ValueError(f"Qdrant 集合 '{collection_name}' 不存在")
raise
# 检查 Qdrant 集合是否有稀疏向量配置
sparse_available = False
try:
collection_info = client.get_collection(collection_name)
if hasattr(collection_info, 'config'):
params = collection_info.config.params
if hasattr(params, 'sparse_vectors') and params.sparse_vectors:
sparse_available = True
info("✅ 检测到 Qdrant 集合有稀疏向量配置,启用 Qdrant 原生混合检索")
except Exception as e:
warning(f"⚠️ 检查 Qdrant 集合稀疏向量配置失败: {e}")
# 初始化稀疏嵌入
sparse_embeddings = FastEmbedSparse(model_name="Qdrant/bm25")
info("✅ FastEmbedSparse 初始化成功")
# 如果有稀疏向量配置,用 Qdrant 原生混合检索
if sparse_available:
try:
vector_store = QdrantVectorStore(
client=client,
collection_name=collection_name,
embedding=embeddings,
retrieval_mode=RetrievalMode.HYBRID,
)
info(f"✅ Qdrant 原生混合检索器初始化成功 (k={total_k})")
return vector_store.as_retriever(search_kwargs=search_kwargs)
except Exception as e:
warning(f"⚠️ Qdrant 原生混合检索初始化失败: {e},回退到纯稠密检索")
# 如果没有稀疏向量配置,回退到纯稠密检索
info(" Qdrant 集合未配置稀疏向量,使用纯稠密检索(完全兼容)")
return create_base_retriever(
collection_name=collection_name,
search_kwargs=search_kwargs,
# 创建混合模式的 QdrantVectorStore
vector_store = QdrantVectorStore(
client=client,
embeddings=embeddings,
collection_name=collection_name,
embedding=embeddings,
sparse_embedding=sparse_embeddings,
retrieval_mode=RetrievalMode.HYBRID,
)
info(f"✅ Qdrant 原生混合检索器初始化成功 (k={total_k})")
return vector_store.as_retriever(search_kwargs=search_kwargs)
# 可选:提供异步友好的辅助函数
async def acreate_base_retriever(