步骤1：安装Docker环境

Docker是容器化平台，可以简化AnythingLLM的部署过程。

• Windows用户：下载并安装Docker Desktop
• Mac用户：根据芯片类型选择相应版本的Docker Desktop
• Linux用户：执行以下命令安装Docker：

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo usermod -aG docker $USER

安装完成后重启系统，确保Docker服务正常运行。

步骤2：部署AnythingLLM

AnythingLLM是一个开源的文档聊天平台，支持多种文件格式和向量数据库。

• 打开终端或命令提示符，执行以下命令：

git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm
docker-compose up -d

首次启动会自动下载所需镜像，可能需要5-10分钟。完成后，在浏览器中访问http://localhost:3001即可打开AnythingLLM界面。

步骤3：下载并配置DeepSeek R1模型

DeepSeek R1是性能强大的开源模型，支持中英双语。

1. 访问DeepSeek官方仓库，选择DeepSeek-R1-7B-Chat模型
2. 通过以下命令下载模型：

mkdir -p models/deepseek
cd models/deepseek
git lfs install
git clone https://huggingface.co/deepseek-ai/deepseek-r1-7b-chat

模型文件较大(约14GB)，下载时间取决于网络速度，建议使用稳定网络环境。

步骤4：配置AnythingLLM连接DeepSeek

将AnythingLLM与DeepSeek模型连接起来。

1. 在AnythingLLM管理界面中，点击”Settings”(设置)
2. 选择”LLM Preference”(LLM偏好设置)
3. 选择”Local”选项卡
4. 选择模型提供者为”DeepSeek”
5. 设置模型路径为刚才下载的模型位置
6. 根据您的硬件情况调整参数(如量化设置、上下文长度等)
7. 点击”Save Changes”保存设置

步骤5：创建知识库并导入文档

这一步将导入您的专业文档，构建个性化知识库。

1. 在AnythingLLM主界面，点击”Create New Workspace”创建新工作区
2. 输入工作区名称和描述
3. 点击”Documents”标签，然后选择”Upload”
4. 选择并上传您的文档(支持PDF、DOCX、TXT等格式)
5. 系统将自动处理文档，包括分割、向量化等步骤
6. 处理完成后，文档将显示在文档列表中，并标记为”Embedded”状态

步骤6：开始使用知识库问答

现在您可以开始与基于您专业知识的AI助手对话了。

1. 在工作区主界面，您会看到聊天输入框
2. 输入您的问题，系统将自动从知识库中检索相关内容
3. DeepSeek模型会基于检索到的内容生成回答
4. 回答中通常会包含引用来源，便于验证信息准确性

步骤1：安装Ollama

Ollama是一个轻量级的本地LLM运行环境，支持多种开源模型。

• • Windows用户：

# 访问Ollama官网下载安装程序
https://ollama.com/download/windows
# 运行安装程序，按提示完成安装

• • macOS用户：

# 终端执行以下命令
curl -fsSL https://ollama.com/install.sh | sh

• • Linux用户：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，Ollama会作为服务在后台运行，默认监听本地10001端口。

步骤2：拉取适合的LLM模型

根据硬件条件和需求选择合适的模型。

打开终端或命令提示符，执行以下命令拉取模型：

# 以qwen:7b为例
ollama pull qwen:7b

步骤3：安装和配置AnythingLLM

AnythingLLM将提供完整的知识库管理和用户界面。

1. 首先确保Docker已安装（参考方案一的Docker安装步骤）
2. 拉取AnythingLLM并启动：

git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm
docker-compose up -d

安装完成后，访问http://localhost:3001打开AnythingLLM界面。

步骤4：配置AnythingLLM连接Ollama

将AnythingLLM与本地Ollama服务连接。

1. 登录AnythingLLM后台（默认用户名[email protected]，密码password）
2. 进入”Settings”（设置）
3. 选择”LLM Preference”（LLM偏好设置）
4. 选择”Ollama”选项卡
5. 设置Ollama服务地址为http://host.docker.internal:11434（Docker环境中连接主机）
6. 选择已下载的模型（如qwen:7b）
7. 调整模型参数（如temperature、上下文长度等）
8. 点击”Save”保存设置

步骤5：创建和配置知识库

导入专业文档构建知识库。

1. 在AnythingLLM主界面创建新工作区（Workspace）
2. 设置工作区名称和描述
3. 切换到Documents选项卡
4. 上传PDF、Word、TXT等格式文档
5. 系统自动处理文档，包括文本提取、分块和向量化

步骤6：测试与使用

开始体验基于自有知识库的问答系统。

1. 在工作区聊天界面输入问题
2. 系统会从知识库中检索最相关内容
3. Ollama模型基于检索内容生成回答
4. 查看回答引用来源，验证信息准确性

步骤1：注册并获取API密钥

首先需要在老张AI平台注册账号并获取API密钥。

1. 访问laozhang.ai注册页面
2. 填写邮箱、设置密码完成注册
3. 验证邮箱后登录账号
4. 在用户控制台，点击”API密钥管理”
5. 创建新的API密钥并保存(注意妥善保管，不要泄露)

步骤2：API集成方式

根据不同需求，您可以选择三种不同的集成方式：

curl https://api.laozhang.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "stream": false,
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "基于知识库回答：什么是RAG技术?"}
    ],
    "knowledge_base_id": "kb_12345"
  }'

步骤3：创建专业知识库

接下来创建和管理您的专业领域知识库。

1. 在平台控制台选择”知识库管理”
2. 点击”创建知识库”，输入名称和描述
3. 选择知识库类型，如”企业内部知识”、”技术文档”等
4. 设置访问权限（私有/团队共享/公开）
5. 点击”文档管理”，上传您的专业文档

步骤4：选择合适的模型

平台支持多种顶级模型，根据需求和预算选择：

在知识库设置或API调用时指定所需模型。对于一般企业文档，GPT-3.5-Turbo通常足够；对于法律、医疗等专业领域，推荐使用GPT-4o。

步骤5：开始使用和优化

系统会自动处理上传的文档，完成后即可开始使用。

1. 在”知识库问答”界面，选择已创建的知识库
2. 输入专业问题，系统会从知识库中检索相关内容
3. 查看回答及引用来源，验证准确性
4. 根据使用效果，调整提示词或重新组织文档