搭建纯离线本地AI知识库：DeepSeek + Ollama + AnythingLLM 完全指南

今年年初，我给大家做了一期用DeepSeek搭建云端AI知识库的教程。虽然视频数据还不错，但评论区很多小伙伴想看的，是那种纯离线本地知识库的搭建方法。毕竟有很多人的文档资料涉及到一些隐私问题，不方便上传到云端服务器。

所以本期视频，我将用几分钟的时间，从0开始，详细地教大家搭建一个不联网也能使用的本地AI知识库系统。全程干货，无广无废话，就算是电脑小白也可以听懂照做。本文来源于油管+BiliBili博主“我是阿众”，请搜索相关频道支持博主更新！

一、理论篇：为什么要搭建本地AI知识库？

在正式介绍具体操作之前，我想先跟大家简单地聊一下与本地知识库搭建相关的几个核心问题：为什么要搭建？实现原理是什么？需要哪些工具？我觉得弄懂这些问题，比学会怎么操作搭建知识库更加重要。

1.1 我们为什么要搭建AI知识库？

没有AI的时候，我们的资料往往存在于一个个文件夹，或者是存放在各种笔记软件中。找资料纯靠记忆，或者是软件的搜索功能——不仅效率低，而且还容易遗忘。最主要的是，你搜到的仅仅是一个资料原文，而不是你想问问题的直接答案。

而有了AI知识库之后，AI会首先提前分析和理解你所有的文档资料。当你进行搜索的时候，它能够快速理解你的意思，并且从资料库中匹配最精准的内容，然后基于匹配到的内容，整合成一个最终的答案给到你。

注意：它不是直接给你搜到的资料原文，而是一个基于你文档内容的直接答案。

换句话说，搭建了AI知识库，就相当于拥有了一个对你的文档资料了如指掌的知识管家。有什么问题直接向他提问，他会直接给出你问题的答案。

1.2 AI知识库系统的原理是什么？

其实非常简单。你可以把它理解成一个能够理解语义的搜索系统。整个过程大概分为三步：

第一步：把文档转成向量
当你导入一篇PDF、Markdown笔记或者是Word文档的时候，系统会先把文字内容拆成多个小片段，然后用一个叫做“嵌入模型”的东西，把这些文字转成一个个数字——也就是向量。这一步的作用，就是让电脑能够理解每一段文字的语义信息。

第二步：语义检索
当你提问的时候，比如说你问“这份资料里有没有讲到加密算法”，系统不会去做简单的关键词匹配，而是会把你的问题也转成向量，然后在所有的文档向量中，去找到最相似的那几段内容。这就像是在几千份文件里面，用AI去理解，而不是用关键词来帮你找答案。

第三步：大模型生成回答
当找到相关内容之后，系统会把这些内容片段发送给大语言模型（比如说 Llama、Qwen、DeepSeek 等开源模型）。模型会基于这些资料，生成一段自然语言的回答。

总之，这个流程其实就是：文本 → 向量化 → 语义检索 → 模型回答。

所以本地AI知识库的核心在于：它不仅能够帮你找信息，还懂得用信息。而且最关键的是，整个过程都可以在你的电脑上离线完成，不需要连接任何外部服务器，数据始终掌握在你自己的手里。

1.3 搭建AI知识库都需要哪些工具？

其实搭建过程没有想象中的复杂。整个系统主要由两部分组成：

第一部分：搭建本地模型的运行环境
这部分的内容，就相当于是整个知识库的大脑。具体来说，就是把DeepSeek、Qwen等开源的大语言模型部署在本地的电脑上。只有部署在本地使用，才能够真正实现离线、不联网也能工作。

目前有很多可以帮助我们实现本地模型部署的工具，比如说Ollama、LM Studio等等。本期视频我将使用Ollama给大家做演示，因为它不需要科学上网，很容易进行模型部署。而且新版Ollama还增加了可以直接与模型聊天的UI界面，比较适合小白用户。

如果你不是小白，也能够科学上网，那我更推荐你使用LM Studio，它的功能会更加丰富一些。

第二部分：搭建AI知识库管理工具
这就是能够让AI读懂你资料的关键组件。你可以理解为它是连接文档和模型的桥梁。这部分可选择的软件比较多，比如说AnythingLLM、Cherry Studio等等。本期视频我将使用AnythingLLM来做演示，因为我测试发现，AnythingLLM的知识库使用效果比Cherry Studio要好很多。

二、实操篇：手把手搭建本地AI知识库

好，理论讲完了，接下来我们进入实操环节，带大家手把手搭建一个纯离线本地AI知识库。

2.1 第一步：下载并安装Ollama

首先，我们到Ollama的官网下载Ollama客户端。进来之后点击“Download”按钮，就会进入到下载页面，选择你的系统类型，点击下载即可。

安装完成之后打开软件，就可以看到Ollama的界面了。之前跟大家介绍Ollama的时候，它也只能通过终端命令的方式进行聊天。新版的Ollama增加了可以直接与模型聊天对话的界面。不仅如此，下载模型的方式也变得非常简单。

点击输入框右下角的模型列表，可以看到它会将一些常用的开源模型列出来了。后面带有云朵图标的意思是，这是Ollama提供的云端模型，不需要下载安装，只需要联网并注册一个Ollama账户就可以直接对话。云端模型都是一些参数量比较大的开源模型，比如DeepSeek V3的671B模型、Qwen 2.5的72B模型等——这些模型基本上很难直接部署到个人电脑中。

不过本期的重点是本地离线AI知识库的搭建，所以云端模型不是我们的关注重点。我们要看的是下面这些后面带有下载图标的模型：有OpenAI开源的GPT系列模型、谷歌开源的Gemma系列模型，还有国内的DeepSeek和Qwen。

这里我就以8B的DeepSeek R1模型为例给大家做演示。选择之后随便发送一个对话，它就会自动下载这个模型。等待模型下载完成之后，就可以与该模型进行本地聊天对话了，就算是没有联网也可以使用。

如果想要下载其他的开源模型，可以到Ollama的官网，点击左上角的“Models”，在这里搜索其他的模型即可。但常用的也就那么几个，比如说我想要下载DeepSeek R1的14B模型，就可以复制这个命令，然后在电脑中打开终端命令行窗口，粘贴命令就可以进行模型下载了。下载之后，你可以回到Ollama的界面，在输入框选择你刚才下载的模型，就可以聊天了。

⚠️ 注意：这些模型不是你想用哪个就能用的，因为模型规格跟你的电脑配置是有关系的。我这里整理了一个不同DeepSeek模型与电脑配置的对应关系，大家可以对号入座：

还有，有些同学可能不明白模型后面的“B”是什么意思。其实B是英文“Billion”（十亿）的意思：7B模型就是70亿参数，14B模型就是140亿参数，最大的671B模型是6710亿参数。参数量越大，模型的体积越大，所需要的内存、显存这些硬件资源就越高。

2.2 第二步：下载嵌入模型

下载完可以对话的DeepSeek大语言模型，我们还需要下载一下之前提到的、可以把文本转换成数字向量的嵌入模型。

同样来到Ollama的Models界面，点击上方的“Embedding”标签，然后在下面找到一个叫做BGE-M3的模型，复制这个命令到终端，粘贴并运行即可。这个模型是用来处理数据的，所以没有聊天对话的功能，后续会讲到如何使用它。

到此，第一步模型的下载工作就做完了。

2.3 第三步：下载并配置AnythingLLM

第二步是去下载知识库管理软件，也就是刚才提到的AnythingLLM。依旧是直接从官网下载即可。

安装完之后，我们需要进行一些配置：

1. 设置大模型服务提供者：首先它会提示你设置一下大模型的服务提供者。由于我们刚才使用的是Ollama，所以这里直接选择“Ollama”即可。

2. 选择本地大模型：然后从模型中选择你下载的本地大模型。我这里就选择刚才下载的14B的DeepSeek R1。

3. 保持默认配置：下面的配置保持默认，点击“下一步”即可。

4. 创建工作区：最后他会让你设置一个工作区的名字。这个工作区，你可以理解为你的其中一个知识库。设置好之后，就进入到了AnythingLLM的工作界面。

它整体呈现的是两栏式的结构：左侧是对话记录列表，右侧是对话聊天界面。

2.4 第四步：基础设置调整

1. 切换中文界面：点击左下角的设置按钮，把“显示语言”这个配置修改为中文。

2. 确认大语言模型：再点击“人工智能提供商”中的“大语言模型”，这个其实就是我们第一次打开软件的时候就已经设置过了。如果要修改为其他大模型，就在这里设置。

3. 配置嵌入模型：然后点击“嵌入器”，配置一下我们刚才下载的嵌入模型。嵌入式引擎提供商选择“Ollama”，模型列表中选择“BGE-M3”。选择好之后，别忘了点击右上角的“保存”按钮。

其他的一些设置，我们就暂时保持默认就好了。

2.5 第五步：创建聊天窗口并上传文档

点击刚才创建的工作区，工作区下面的这些子列表相当于是一个个的聊天窗口。“Use Thread”按钮就是创建一个新的对话窗口的意思。

这时你就可以在Default这个窗口中与DeepSeek进行聊天对话了。

那怎样上传我们的文档资料呢？

1. 新建聊天窗口：首先新建一个聊天窗口，在输入框上方会提示你先上传文档。

2. 上传文件：点击之后会弹出文档上传界面。它支持的文件类型还挺多的：比如说PDF、EPUB这些电子书的格式，还有CSV、Word等Office的格式，甚至还能支持音频文件。另外，你也可以在这里输入网页地址。

3. 导入文档：这里我们就以一本电子书为例给大家做演示。首先上传电子书，然后选中刚才上传的文件，点击下方的“移动到工作区”，这个文档就存到了你刚才创建的知识库中。

4. 保存和嵌入：然后再点击“保存和嵌入”，它就会自动拆分文档，并转换成数字向量存到数据库中。解析时间取决于你文档的数量和大小。

2.6 第六步：开始使用知识库

然后我们就可以到对话界面，询问与这份电子书相关的任何问题了。

比如说，我让它给我梳理一下“Instagram的发展历程”。稍等片刻，它就给出了详细的回答，并且在回答末尾还有一个“显示引文”的按钮。点击之后可以看到，它的这次回答，是参考了我们上传的这本电子书的内容。

即使我们把网络给断掉，也可以正常使用知识库进行问答！

2.7 第七步：关键设置优化

还有一个设置很重要。点击知识库名称右侧的设置按钮，再点击“聊天设置”——“聊天模式”这里有两个选择：一个是“聊天”，一个是“查询”。

• 如果选择了聊天模式，你得到的回答里，有一部分内容将会是大语言模型基于自己经验的发挥。

• 如果选择了查询模式，那么你得到的回答将完全基于你上传的知识库内容。

一般建议设置为查询模式，这对于文档检索的准确度提升有很大帮助。

至此，我们搭建的这个本地AI知识库系统就大功告成了！

三、结语与预告

本期主要聚焦的是环境的搭建和软件的安装。其实如果想要用好AI知识库，还有很多技巧。如果本期视频的数据还可以的话，后续我会继续制作一些与AI知识库使用技巧相关的视频。

owenlee永久会员

打赏 收藏 海报 链接