🚀 完全实现 Qdrant 混合检索功能
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 11m7s
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 11m7s
- 不需要兼容,完全重写为混合检索 - 检索器:强制使用 FastEmbedSparse + RetrievalMode.HYBRID - 索引器:强制启用稀疏向量,混合检索模式 - 添加 fastembed 依赖到 requirements.txt - 语法检查通过
This commit is contained in:
@@ -1,17 +1,16 @@
|
||||
"""
|
||||
Qdrant 向量检索器模块
|
||||
|
||||
提供基于 Qdrant 的基础向量检索和混合检索(Dense + Sparse)功能。
|
||||
提供基于 Qdrant 的混合检索(Dense + Sparse)功能。
|
||||
|
||||
核心原理:
|
||||
- 使用 langchain-qdrant 的 RetrievalMode
|
||||
- Qdrant 原生混合检索(如果集合已配置 sparse_vectors)
|
||||
- 如果集合未配置,优雅回退到纯稠密检索
|
||||
- 完全兼容现有代码,无接口改动
|
||||
- 使用 Qdrant 原生混合检索(langchain-qdrant 的 RetrievalMode.HYBRID)
|
||||
- 同时存储稠密向量和稀疏向量
|
||||
- 语义理解 + 关键词匹配,效果最优
|
||||
|
||||
使用示例:
|
||||
>>> from app.rag.retriever import create_hybrid_retriever
|
||||
>>> retriever = create_hybrid_retriever(collection_name="my_docs")
|
||||
>>> retriever = create_hybrid_retriever(collection_name="rag_documents")
|
||||
>>> docs = retriever.invoke("什么是 RAG?")
|
||||
"""
|
||||
|
||||
@@ -21,6 +20,7 @@ from qdrant_client.http.exceptions import UnexpectedResponse
|
||||
from langchain_qdrant import (
|
||||
QdrantVectorStore,
|
||||
RetrievalMode,
|
||||
FastEmbedSparse,
|
||||
)
|
||||
from langchain_core.embeddings import Embeddings
|
||||
from langchain_core.retrievers import BaseRetriever
|
||||
@@ -95,12 +95,7 @@ def create_hybrid_retriever(
|
||||
embeddings: Embeddings | None = None,
|
||||
) -> BaseRetriever:
|
||||
"""
|
||||
创建混合检索器(使用 Qdrant 自身的 RetrievalMode.HYBRID)。
|
||||
|
||||
⚡️ Qdrant 原生混合检索:
|
||||
- 如果 Qdrant 集合已配置 sparse_vectors:启用 Qdrant 原生混合检索
|
||||
- 如果未配置:优雅回退到纯稠密检索
|
||||
- 完全兼容现有代码,接口不变
|
||||
创建混合检索器(稠密向量 + BM25 稀疏向量,Qdrant 原生实现)。
|
||||
|
||||
Args:
|
||||
collection_name: Qdrant 集合名称。
|
||||
@@ -139,41 +134,22 @@ def create_hybrid_retriever(
|
||||
raise ValueError(f"Qdrant 集合 '{collection_name}' 不存在")
|
||||
raise
|
||||
|
||||
# 检查 Qdrant 集合是否有稀疏向量配置
|
||||
sparse_available = False
|
||||
try:
|
||||
collection_info = client.get_collection(collection_name)
|
||||
if hasattr(collection_info, 'config'):
|
||||
params = collection_info.config.params
|
||||
if hasattr(params, 'sparse_vectors') and params.sparse_vectors:
|
||||
sparse_available = True
|
||||
info("✅ 检测到 Qdrant 集合有稀疏向量配置,启用 Qdrant 原生混合检索")
|
||||
except Exception as e:
|
||||
warning(f"⚠️ 检查 Qdrant 集合稀疏向量配置失败: {e}")
|
||||
# 初始化稀疏嵌入
|
||||
sparse_embeddings = FastEmbedSparse(model_name="Qdrant/bm25")
|
||||
info("✅ FastEmbedSparse 初始化成功")
|
||||
|
||||
# 如果有稀疏向量配置,用 Qdrant 原生混合检索
|
||||
if sparse_available:
|
||||
try:
|
||||
vector_store = QdrantVectorStore(
|
||||
client=client,
|
||||
collection_name=collection_name,
|
||||
embedding=embeddings,
|
||||
retrieval_mode=RetrievalMode.HYBRID,
|
||||
)
|
||||
info(f"✅ Qdrant 原生混合检索器初始化成功 (k={total_k})")
|
||||
return vector_store.as_retriever(search_kwargs=search_kwargs)
|
||||
except Exception as e:
|
||||
warning(f"⚠️ Qdrant 原生混合检索初始化失败: {e},回退到纯稠密检索")
|
||||
|
||||
# 如果没有稀疏向量配置,回退到纯稠密检索
|
||||
info("ℹ️ Qdrant 集合未配置稀疏向量,使用纯稠密检索(完全兼容)")
|
||||
return create_base_retriever(
|
||||
collection_name=collection_name,
|
||||
search_kwargs=search_kwargs,
|
||||
# 创建混合模式的 QdrantVectorStore
|
||||
vector_store = QdrantVectorStore(
|
||||
client=client,
|
||||
embeddings=embeddings,
|
||||
collection_name=collection_name,
|
||||
embedding=embeddings,
|
||||
sparse_embedding=sparse_embeddings,
|
||||
retrieval_mode=RetrievalMode.HYBRID,
|
||||
)
|
||||
|
||||
info(f"✅ Qdrant 原生混合检索器初始化成功 (k={total_k})")
|
||||
return vector_store.as_retriever(search_kwargs=search_kwargs)
|
||||
|
||||
|
||||
# 可选:提供异步友好的辅助函数
|
||||
async def acreate_base_retriever(
|
||||
|
||||
Reference in New Issue
Block a user