先上结果：

准备

1、BOIS开启虚拟化、系统中开启虚拟化和WSL功能。
相关教程：【教程】wsl命令报错：命令行选项无效的处理方法 – iTPno.、【笔记】Windows部署DockerDesktop问题 – iTPno.
2、安装Docker Desktop。

下载一个配置文件¹←点击脚注。

在配置文件目录中执行（拉取镜像、部署镜像）：

如果有N卡则将配置文件中显卡注释去除

    # 有N卡的加上这段
    deploy:
        resources:
            reservations:
                devices:
                  - driver: "nvidia"
                    count: "all"
                    capabilities: ["gpu"]

docker-compose pull && docker-compose up -d
# 或者直接执行
docker-compose up -d

正常没问题就会在Docker Desktop中看到这个：

配置OneApi

打开localhost:3001或直接点击one-api后面的Port(s)的链接打开OneApi应用。

部署本地Ollama的相关教程：【教程】本地Ollama部署模型[Windows] – iTPno.
免费逆向API方案：LLM Red Team

点击登录，账号root，密码123456。

系统默认就有一个超级令牌：

添加M3E向量模型，用于知识库的索引模型

渠道-添加新的渠道

按照下图填入

按需配置自己的模型

在下面有例子

配置FastGPT

点开本机的localhost:3000或者点开fastgpt应用端口，登录默认账号，账号root，密码1234：

如果出现无法登录的情况，进入docker的mongo bash（初始化复制集）

# mongo
...
> use admin
switched to db admin
>rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
{"ok": 1}
> db.createUser(
   {
     user: "myname",
     pwd: "mypassword",
     roles: [ { role: "root", db: "admin" } ]
   }
 )
Successfully added user: {
        "user" : "myname",
        "roles" : [
                {
                        "role" : "root",
                        "db" : "admin"
                }
        ]
}
> db.auth("myname","mypassword")
1

返回1则成功

添加FastGPT、OneApi接口信息

进入OneApi，渠道，添加渠道：

我的例子：

然后在FastGPT的config.json中添加模型信息：（配置文件中已经添加了，而且更新到了最新版本）

    {
      "model": "gpt-3.5-turbo-1106", // 模型名
      "name": "gpt-3.5-turbo", // 别名
      "maxContext": 16000, // 最大上下文
      "maxResponse": 4000, // 最大回复
      "quoteMaxToken": 13000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0,
      "censor": false,
      "vision": false, // 是否支持图片输入
      "datasetProcess": false, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
      "toolChoice": true, // 是否支持工具选择
      "functionCall": false, // 是否支持函数调用
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig":{}  // 对话默认配置（比如 GLM4 的 top_p
    },

以上是配置文件的解释。

在FastGPT应用中加入模型即可：

结束

1. 分享名称：FastGPT
   分享链接：https://kb.itpno.com/#s/-cBmR7Fw
   访问密码：iTPno. ↩︎

新搭建了一个大模型API集成平台，欢迎来购买；P

iAPI – AI语言模型接口集成平台