DeepSearcher：私有数据的深度研究与智能问答平台

在

 

DeepSearcher：私有数据的深度研究与智能问答平台



名称：deep-searcher
类型：项目
介绍：利用大型语言模型（如 OpenAI、DeepSeek 等）和向量数据库（如 Milvus、Zilliz Cloud 等）来对私有数据进行高效的搜索、评估和推理，特别适用于企业知识管理、智能问答系统和信息检索场景。

DeepSearcher是一个开源项目，旨在结合推理大型语言模型（LLMs）和向量数据库，对私有数据进行搜索、评估和推理，从而提供高精度的答案和综合报告。该项目主要应用于企业知识管理、智能问答系统和信息检索等场景。

项目概述

DeepSearcher通过整合多种推理LLMs（如OpenAI的o1、o3-mini，DeepSeek，Grok 3等）和向量数据库（如Milvus、Zilliz Cloud等），实现对私有数据的深度搜索和分析。其核心功能包括：

  • 私有数据搜索：在确保数据安全的前提下，最大化利用企业内部数据。必要时，可整合在线内容以提供更准确的答案。

  • 向量数据库管理：支持Milvus等向量数据库，允许数据分区以提高检索效率。

  • 灵活的嵌入选项：兼容多种嵌入模型，用户可根据需求选择最优模型。

  • 多种LLM支持：支持DeepSeek、OpenAI等大型模型，用于智能问答和内容生成。

  • 文档加载器：支持本地文件加载，网页爬取功能正在开发中。

快速开始

安装

您可以使用以下步骤安装DeepSearcher：

1.克隆仓库：

git clone https://github.com/zilliztech/deep-searcher.git

2.创建Python虚拟环境并激活：

bash
cd deep-searcher
python3 -m venv .venv
source .venv/bin/activate

3.安装依赖：

pip install -e .

4.设置环境变量：

将您的OPENAI_API_KEY添加到环境变量中。如果更改配置中的LLM，请确保准备好相应的API密钥。

示例

以下是一个简单的使用示例：

from deepsearcher.configuration import Configuration, init_config
from deepsearcher.online_query import query

# 初始化配置
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o-mini"})
init_config(config=config)

# 加载本地数据
from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

# 查询
result = query("请撰写关于XXX的报告。")

模块支持

DeepSearcher支持多种模块，包括：

  • 嵌入模型：支持开源嵌入模型、OpenAI（需要OPENAI_API_KEY）、VoyageAI（需要VOYAGE_API_KEY）、Amazon Bedrock（需要AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY）等。

  • LLM支持：支持OpenAI、DeepSeek、Grok 3（即将推出）、SiliconFlow推理服务、TogetherAI推理服务、Google Gemini、SambaNova云推理服务等。

  • 文档加载器：支持本地文件加载（如PDF、TXT、MD），网页爬取功能正在开发中。

  • 向量数据库支持：目前支持Milvus（与Zilliz相同）。

未来计划

DeepSearcher计划在未来增强网页爬取功能，支持更多的向量数据库（如FAISS等），增加对更多大型模型的支持，并提供RESTful API接口（已完成）。我们欢迎社区贡献，共同打造更强大的DeepSearcher！

GitHub：https://github.com/zilliztech/deep-searcher

油管：https://youtu.be/CJEyHA57aBc


留言

發佈留言