QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。
您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。
目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)，更多格式，敬请期待...
- 数据安全，支持全程拔网线安装使用。
- 支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
- 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。
- 高性能生产级系统，可直接部署企业应用。
- 易用性，无需繁琐的配置，一键安装部署，拿来就用。
- 支持选择多知识库问答。
知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。
QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，从而实现：
- 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
- 基于LlamaIndex的RAG评测，表现SOTA【基于LlamaIndex的RAG评测指标】。
| 模型名称 | Retrieval | STS | PairClassification | Classification | Reranking | Clustering | 平均 |
|---|---|---|---|---|---|---|---|
| bge-base-en-v1.5 | 37.14 | 55.06 | 75.45 | 59.73 | 43.05 | 37.74 | 47.20 |
| bge-base-zh-v1.5 | 47.60 | 63.72 | 77.40 | 63.38 | 54.85 | 32.56 | 53.60 |
| bge-large-en-v1.5 | 37.15 | 54.09 | 75.00 | 59.24 | 42.68 | 37.32 | 46.82 |
| bge-large-zh-v1.5 | 47.54 | 64.73 | 79.14 | 64.19 | 55.88 | 33.26 | 54.21 |
| jina-embeddings-v2-base-en | 31.58 | 54.28 | 74.84 | 58.42 | 41.16 | 34.67 | 44.29 |
| m3e-base | 46.29 | 63.93 | 71.84 | 64.08 | 52.38 | 37.84 | 53.54 |
| m3e-large | 34.85 | 59.74 | 67.69 | 60.07 | 48.99 | 31.62 | 46.78 |
| bce-embedding-base_v1 | 57.60 | 65.73 | 74.96 | 69.00 | 57.29 | 38.95 | 59.43 |
- 更详细的评测结果详见Embedding模型指标汇总。
| 模型名称 | Reranking | 平均 |
|---|---|---|
| bge-reranker-base | 57.78 | 57.78 |
| bge-reranker-large | 59.69 | 59.69 |
| bce-reranker-base_v1 | 60.06 | 60.06 |
- 更详细的评测结果详见Reranker模型指标汇总
NOTE:
- 在WithoutReranker列中，我们的bce-embedding-base_v1模型优于所有其他embedding模型。
- 在固定embedding模型的情况下，我们的bce-reranker-base_v1模型达到了最佳表现。
- bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。
- 如果想单独使用embedding和rerank请参阅：BCEmbedding
开源版本QAnything的大模型基于通义千问，并在大量专业问答数据集上进行微调；在千问的基础上大大加强了问答的能力。 如果需要商用请遵循千问的license，具体请参阅：通义千问
在GitHub上加星，即可立即收到新版本的通知！
| System | Required item | Minimum Requirement | Note |
|---|---|---|---|
| Linux | NVIDIA GPU Memory | >= 4GB (use OpenAI API) | 最低: GTX 1050Ti（use OpenAI API） 推荐: RTX 3090 |
| NVIDIA Driver Version | >= 525.105.17 | ||
| Docker version | >= 20.10.5 | Docker install | |
| docker compose version | >= 2.23.3 | docker compose install | |
| git-lfs | git-lfs install |
| System | Required item | Minimum Requirement | Note |
|---|---|---|---|
| Windows with WSL Ubuntu子系统 | NVIDIA GPU Memory | >= 4GB (use OpenAI API) | 最低: GTX 1050Ti（use OpenAI API） 推荐: RTX 3090 |
| GEFORCE EXPERIENCE | >= 546.33 | GEFORCE EXPERIENCE download | |
| Docker Desktop | >= 4.26.1（131620） | Docker Desktop for Windows | |
| git-lfs | git-lfs install |
git clone https://github.com/netease-youdao/QAnything.git- 📖 QAnything_Startup_Usage
- 执行
bash ./run.sh -h获取详细的LLM服务配置方法
cd QAnything
bash run.sh # 默认在0号GPU上启动（注意）如果自动下载失败，您可以从以下三个地址之一手动下载模型。
modelscope: https://modelscope.cn/models/netease-youdao/QAnything
wisemodel: https://wisemodel.cn/models/Netease_Youdao/qanything
huggingfase: https://huggingface.co/netease-youdao/QAnything
（可选）指定单GPU启动
cd QAnything
bash ./run.sh -c local -i 0 -b default # 指定0号GPU启动 GPU编号从0开始 windows机器一般只有一张卡，所以只能指定0号GPU（可选）指定单GPU启动 - 推荐 Windows10/Windows11 WSL2 用户使用此方式运行 QAnything
# 注意: Windows系统请先进入**WSL2**环境
# Step 1. 下载开源 LLM 模型 (e.g., Qwen-7B-QAnything) 并保存在路径 "/path/to/QAnything/assets/custom_models"
# (可选) 从 ModelScope 下载 Qwen-7B-QAnything: https://www.modelscope.cn/models/netease-youdao/Qwen-7B-QAnything
# (可选) 从 Huggingface 下载 Qwen-7B-QAnything: https://huggingface.co/netease-youdao/Qwen-7B-QAnything
cd QAnything/assets/custom_models
git clone https://huggingface.co/netease-youdao/Qwen-7B-QAnything
# Step 2. 执行启动命令，其中"-b hf"表示指定使用 Huggingface transformers 后端运行 LLM.
cd ../../
bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything（可选）指定单GPU启动 - 推荐 GPU Compute Capability >= 8.6 && VRAM >= 24GB 使用此方式运行 QAnything
# 查看 GPU 算力 GPU Compute Capability: https://developer.nvidia.com/cuda-gpus
# Step 1. 下载开源 LLM 模型 (e.g., Qwen-7B-QAnything) 并保存在路径 "/path/to/QAnything/assets/custom_models"
# (可选) 从 ModelScope 下载 Qwen-7B-QAnything: https://www.modelscope.cn/models/netease-youdao/Qwen-7B-QAnything
# (可选) 从 Huggingface 下载 Qwen-7B-QAnything: https://huggingface.co/netease-youdao/Qwen-7B-QAnything
cd QAnything/assets/custom_models
git clone https://huggingface.co/netease-youdao/Qwen-7B-QAnything
# Step 2. 执行启动命令，其中"-b vllm"表示指定使用 vllm 后端运行 LLM.
cd ../../
bash ./run.sh -c local -i 0 -b vllm -m Qwen-7B-QAnything -t qwen-7b-qanything -p 1 -r 0.85（可选）指定多GPU启动
cd QAnything
bash ./run.sh -c local -i 0,1 -b default # 指定0,1号GPU启动，请确认有多张GPU可用，最多支持两张卡启动运行成功后，即可在浏览器输入以下地址进行体验。
- 前端地址: http://
your_host:5052/qanything/
如果想要访问API接口，请参考下面的地址:
- API address: http://
your_host:8777/api/ - For detailed API documentation, please refer to QAnything API 文档
如果想要查看相关日志，请查看QAnything/logs/debug_logs目录下的日志文件。
- debug.log
- 用户请求处理日志
- sanic_api.log
- 后端服务运行日志
- llm_embed_rerank_tritonserver.log（单卡部署）
- LLM embedding和rerank tritonserver服务启动日志
- llm_tritonserver.log（多卡部署）
- LLM tritonserver服务启动日志
- embed_rerank_tritonserver.log（多卡部署或使用openai接口）
- embedding和rerank tritonserver服务启动日志
- rerank_server.log
- rerank服务运行日志
- ocr_server.log
- OCR服务运行日志
- npm_server.log
- 前端服务运行日志
- llm_server_entrypoint.log
- LLM中转服务运行日志
- fastchat_logs/*.log
- FastChat服务运行日志
bash close.shmulti_paper_qa.mp4
information_extraction.mp4
various_files_qa.mp4
web_qa.mp4
如果需要接入API，请参阅QAnything API 文档
我们感谢您对贡献到我们项目的兴趣。无论您是修复错误、改进现有功能还是添加全新内容，我们都欢迎您的贡献！
欢迎加入QAnything Discord 社区！
扫描下方二维码，加入QAnything官方微信群
如果你需要私信我们团队，请通过下面的邮箱联系我们：
有任何公开的问题，欢迎提交 Github issues
QAnything 依照 Apache 2.0 协议开源。