您现在的位置是:首页 >技术杂谈 >基于趋动云部署复旦大学MOSS大模型网站首页技术杂谈
基于趋动云部署复旦大学MOSS大模型
首先新建项目:
MOSS部署项目,然后选择镜像,直接用官方的镜像就可以。
之后选择数据集:
公开数据集中,MOSS_复旦大学_superx 这个数据集就是了,大小31G多
完成选择后:
点击创建,暂不上传代码。
接着,点击运行代码
然后先选择B1主机即可,便宜一些,安装过程也挺费时间的,等装完了,再换成P1的主机。没有80G显存,这栋西跑不动。
如下图所示,进行设置配置即可
等待,到开发环境运行起来。
点击进入开发环境,在网页终端中,进行命令行操作:
cd /gemini/code/
git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python3 -m pip install --upgrade pip
git clone https://github.com/OpenLMLab/MOSS.git
ls
可以看到路径下MOSS工程已近下载到位了
然后执行以下命令
cd MOSS/
mkdir fnlp
cd fnlp/
ln -s /gemini/data-1/MOSS /gemini/code/MOSS/fnlp/moss-moon-003-sft
ls -lash
达到如下效果,这样我们就把模型挂载到了MOSS web UI的正确路径。
接着进入到MOSS的路径下
cd /gemini/code/MOSS
修改requirements.txt文件,因为平台的torch版本要高,要修改,另外webui需要增加些库
修改torch版本和镜像版本一致 1.12.1
末尾增加2个库,如图所示
mdtex2html
gradio
修改后记得ctrl+s保存。
然后打开 文件
修改34行,在行尾增加 , max_memory={0: "70GiB", "cpu": "20GiB"}
意思是显存最大用70G,内存最大用20G
如图所示:
修改第178行
改成这样:
demo.queue().launch(share=True, server_name="0.0.0.0",server_port=19527)
接着回到网页终端,执行
pip install -r requirements.txt
一阵滚屏之后,就安装完成了。
至此,安装就全部完成了。开始运行(退出时记得勾选保存镜像,以后进入环境,只需要执行下面的步骤)。安装环节完成。可以退出保存镜像。然后把执行环境调整成P1 80G显存的那个,来跑这个MOSS了。感受大模型的魅力吧!
进入网页终端后,只需要执行:
cd /gemini/code/MOSS
python moss_gui_demo.py
等待模型加载完毕,出现
http://0.0.0.0:19527
的文本信息,就启动完成,可以去访问了。公网访问方法,前两篇都有说过。不再重复了
效果: