您现在的位置是:首页 >技术杂谈 >基于趋动云部署复旦大学MOSS大模型网站首页技术杂谈

基于趋动云部署复旦大学MOSS大模型

夜魔009 2023-06-14 16:00:03
简介基于趋动云部署复旦大学MOSS大模型

首先新建项目:

MOSS部署项目,然后选择镜像,直接用官方的镜像就可以。 

之后选择数据集:

公开数据集中,MOSS_复旦大学_superx 这个数据集就是了,大小31G多 

完成选择后:

 点击创建,暂不上传代码。

接着,点击运行代码

 然后先选择B1主机即可,便宜一些,安装过程也挺费时间的,等装完了,再换成P1的主机。没有80G显存,这栋西跑不动。

如下图所示,进行设置配置即可

 等待,到开发环境运行起来。

点击进入开发环境,在网页终端中,进行命令行操作:

cd /gemini/code/

git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python3 -m pip install --upgrade pip

git clone https://github.com/OpenLMLab/MOSS.git

ls

可以看到路径下MOSS工程已近下载到位了

然后执行以下命令

cd MOSS/

mkdir fnlp

cd fnlp/

ln -s /gemini/data-1/MOSS /gemini/code/MOSS/fnlp/moss-moon-003-sft

ls -lash

达到如下效果,这样我们就把模型挂载到了MOSS web UI的正确路径。

接着进入到MOSS的路径下

cd /gemini/code/MOSS

修改requirements.txt文件,因为平台的torch版本要高,要修改,另外webui需要增加些库

修改torch版本和镜像版本一致 1.12.1

末尾增加2个库,如图所示

mdtex2html

gradio 

修改后记得ctrl+s保存。

然后打开  文件

修改34行,在行尾增加 , max_memory={0: "70GiB", "cpu": "20GiB"}

意思是显存最大用70G,内存最大用20G

如图所示:

 修改第178行

 改成这样:

demo.queue().launch(share=True, server_name="0.0.0.0",server_port=19527)

 接着回到网页终端,执行

pip install -r requirements.txt

一阵滚屏之后,就安装完成了。

至此,安装就全部完成了。开始运行(退出时记得勾选保存镜像,以后进入环境,只需要执行下面的步骤)。安装环节完成。可以退出保存镜像。然后把执行环境调整成P1 80G显存的那个,来跑这个MOSS了。感受大模型的魅力吧!

进入网页终端后,只需要执行:

 cd /gemini/code/MOSS

python moss_gui_demo.py

等待模型加载完毕,出现

http://0.0.0.0:19527

的文本信息,就启动完成,可以去访问了。公网访问方法,前两篇都有说过。不再重复了

效果:

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。