您现在的位置是:首页 >技术教程 >DeepSpeed 部署中bug以及解决方法网站首页技术教程

DeepSpeed 部署中bug以及解决方法

编程牧马人 2024-06-14 17:17:40
简介DeepSpeed 部署中bug以及解决方法

text-generation

1. can’t find Rust compiler

在Linux上安装Rust:
您可以使用curl或者类似包管理器的工具来安装Rust:

  1. 使用curl命令安装Rust和Cargo:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

此命令将下载并运行脚本,该脚本将自动安装Rust和Cargo,并将其添加到环境变量中。

  1. 安装完成后,重新打开终端以更新环境变量。您可以通过以下命令检查Rust是否正确安装:
rustc --version

2. ImportError: cannot import name ‘LlamaTokenizerFast’ from ‘transformers’

这个错误提示表明无法从 Transformers 库中导入名为 LlamaTokenizerFast 的类。要解决这个问题,您可以尝试以下几个步骤:

  1. 确认您已经安装了最新的 Transformers 库:请检查您是否已经安装了最新版本的 Transformers 库,您可以使用pip命令来更新Transformers库:
pip install --upgrade transformers
  1. 检查LlamaTokenizerFast是否存在于Transformers库中:请确保您在Transformers库中找到了LlamaTokenizerFast类。您可以查看Transformers文档或使用以下命令来检查:
python -c "from transformers import LlamaTokenizerFast"

如果该命令未报告任何错误,则表示LlamaTokenizerFast类可用。

  1. 检查Python路径:请确保您的Python路径已正确设置,并且可以找到Transformers库和所需的依赖项。您可以通过运行以下命令来检查Python路径:
python -c "import sys; print(sys.path)"

如果您发现缺少某些目录,请将它们添加到PYTHONPATH环境变量中。

  1. 检查其他依赖项:某些Transformers库的功能可能需要其他依赖项。请参阅Transformers文档以了解所需的依赖项,并确保它们已正确安装和配置。

3. RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1.

这个错误提示表明 Transformers 库中的 Llama 模型需要使用版本号为0.13.3或更高的 tokenizers 库,但当前安装的是较低版本的0.12.1。要解决这个问题,您可以尝试以下几个步骤:

  1. 更新tokenizers库:请使用pip命令更新tokenizers库,以确保其版本达到所需的最低版本0.13.3或更高版本:
pip install --upgrade tokenizers
  1. 检查Python路径:请确保您的Python路径已正确设置,并且可以找到Transformers库和所需的依赖项。您可以通过运行以下命令来检查Python路径:
python -c "import sys; print(sys.path)"

如果您发现缺少某些目录,请将它们添加到PYTHONPATH环境变量中。

  1. 重新启动Python解释器:有时在更新库之后,需要重新启动Python解释器才能使新的库版本生效。请尝试退出Python解释器并重新启动它,然后再次尝试导入Llama模块。

如果上述步骤无法解决问题,请参阅Transformers文档或提交问题报告以获取更多帮助。

stable-diffusion

  1. symbol cublasLtGetStatusString version libcublasLt.so.11 not defined in file libcublasLt.so.11 with link time reference

解决方法:

pip uninstall nvidia_cublas_cu11

参考:https://stackoverflow.com/questions/74394695/how-does-one-fix-when-torch-cant-find-cuda-error-version-libcublaslt-so-11-no

4 Connection error, and we cannot find the requested files in the cached path." ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on. #10067

解决办法,导入代理
https://stackoverflow.com/questions/56628194/sslerror-installing-with-pip/56628419

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。