python企业级本地知识库问答解决方案 任意格式文件或数据库的问答
是致力于支持任意格式文件或数据库的本地知识库问答系统,可断网安装使用。 您的任何格式的本地文件都可以往里扔,即可获得准确、快速、靠谱的问答体验。 目前已支持格式: PDF(pdf),Word(docx),PPT(pptx),XLS(xlsx),Markdown(md),电子邮件(eml),TXT(txt),图片(jpg,jpeg,png),CSV(csv),网页链接(html),更多格式,敬请期待... 特点- 数据安全,支持全程拔网线安装使用。
- 支持跨语种问答,中英文问答随意切换,无所谓文件是什么语种。
- 支持海量数据问答,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好。
- 高性能生产级系统,可直接部署企业应用。
- 易用性,无需繁琐的配置,一键安装部署,拿来就用。
- 支持选择多知识库问答。
为什么是两阶段检索?知识库数据量大的场景下两阶段优势非常明显,如果只用一阶段embedding检索,随着数据量增大会出现检索退化的问题,如下图中绿线所示,二阶段rerank重排后能实现准确率稳定增长,即数据越多,效果越好。 使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力,能消除语义检索里面的中英语言之间的差异,从而实现: 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。 基于LlamaIndex的RAG评测,表现SOTA【基于LlamaIndex的RAG评测指标】。 LLM本大模型基于通义千问,并在大量专业问答数据集上进行微调;在千问的基础上大大加强了问答的能力。 开始必要条件For LinuxSystem | Required item | Minimum Requirement | Note | Linux | NVIDIA GPU Memory | >= 4GB (use OpenAI API) | 最低: GTX 1050Ti(use OpenAI API)
推荐: RTX 3090 | | NVIDIA Driver Version | >= 525.105.17 | | | Docker version | >= 20.10.5 | Docker install | | docker compose version | >= 2.23.3 | docker compose install | | git-lfs | | git-lfs install | For Windows with WSL Ubuntu子系统System | Required item | Minimum Requirement | Note | Windows with WSL Ubuntu子系统 | NVIDIA GPU Memory | >= 4GB (use OpenAI API) | 最低: GTX 1050Ti(use OpenAI API)
推荐: RTX 3090 | | GEFORCE EXPERIENCE | >= 546.33 | GEFORCE EXPERIENCE download | | Docker Desktop | >= 4.26.1(131620) | Docker Desktop for Windows | | git-lfs | | git-lfs install |
最近更新
2024-05-20: 支持与OpenAI API兼容的其他LLM服务,并提供优化后的PDF解析器。
2024-04-26: 支持联网检索、FAQ、自定义BOT、文件溯源等。
2024-04-03: 支持在纯Python环境中安装;支持混合检索。
2024-01-29: 支持自定义大模型,包括OpenAI API和其他开源大模型,GPU需求最低降至GTX 1050Ti,极大提升部署,调试等方面的用户体验
2024-01-23: 默认开启rerank,修复在windows上启动时存在的各类问题
2024-01-18: 支持一键启动,支持windows部署,提升pdf,xlsx,html解析效果
以下内容需要积分高于 2 才可浏览
链接:https://pan.baidu.com/s/1lbhvfMCTqxXCeFzFKa1UZQ
提取码下载:
|