前些日子，公司多出一台AI应用服务器，配置有：

系统Ubuntu 20.04

CPU：Intel® Xeon(R) Silver 4210 CPU @ 2.20GHz × 40（2块10核20逻辑处理器的CPU）

内存：64G

GPU：Quadro RTX 4000 × 4 （8G显存/块）

硬盘：30T

经过筛选，本想用MiniGPT-4，因为里面Demo有带图像识别，但是部署介绍太少，折腾起来太麻烦，选择了简便一些的ChatGLM2-6B，看评论说ChatGLM2-6B这个最新版效率提高很多。

以下是我折腾了一下午部署成功的案例：

实话说，效果真不错，准备开发该功能的前台系统。想了想还是用Laravel做后端，Ant Design Vue做前端。