天天新资讯：优质野生教程！CPM-Bee部署及创建接口服务
服务部署
—
(相关资料图)
01 服务器配置
配置详情
GPU：8*3080TI服务器 (一块24G显存的卡就可以了)
CUDA：12.1
02 环境安装
为了避免cuda环境和pytorch版本的冲突，一个个进行安装。
1）安装pytorch，适配cuda12.1
参考：https://pytorch.org/get-started/locally/
注意：使用cuda安装比较慢，所以用pip3安装
2）安装bmtrain
3）安装其他环境
03 模型下载
下载地址：https://huggingface.co/openbmb/cpm-bee-10b/tree/main
1）代码克隆
2）下载模型 19G
下载路径，自定义即可
04 测试
1）修改测试文件
修改 vi text_generation.py
更改模型路径
2）测试模型
05 接口设计（Python版）
1）新建Flask接口
在上述代码中，我们通过 from flask_cors import CORS导入了 CORS 类，并在 Flask 应用程序中调用了 CORS(app)。这样就启用了默认的 CORS 配置，允许所有来源跨域访问。
未避免显存异常，在上述代码中，通过创建一个线程锁 lock 和一个计数器 counter 来控制并发请求的数量。如果请求超过了 MAX_CONCURRENT_REQUESTS 的限制，即达到了最大并发请求数，服务器将返回提示信息"请稍等再试"。
2）启动接口
3）接口测试
选择题测试
Chat测试
聊天窗口（前后端）
—
*版权声明：本文为CSDN博主「feifeiyechuan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载附上原文出处链接↓https://blog.csdn.net/feifeiyechuan/article/details/130952744
➤ CPM-Bee开源地址
https://github.com/OpenBMB/CPM-Bee
➤ 加社群/ 提建议/ 有疑问
请找 OpenBMB 万能小助手：
关注我们
微信搜索关注 “OpenBMB开源社区”
后台回复“CPM-Live” 即可加入CPM-Live加油群
还可获取更多大模型干货知识和前沿资讯！
