您现在的位置是:首页 >技术杂谈 >【已解决】github上传大文件:this exceeds GitHub‘s file size limit of 100.00 MB网站首页技术杂谈

【已解决】github上传大文件:this exceeds GitHub‘s file size limit of 100.00 MB

Mr.Winter` 2023-05-25 04:00:03
简介【已解决】github上传大文件:this exceeds GitHub‘s file size limit of 100.00 MB

1 问题背景

通过git推送更新到远程仓库时报错

remote: error: File "path_of_your_large_file" is 243.28 MB; this exceeds GitHub's file size limit of 100.00 MB

在这里插入图片描述

2 问题探索

导致这个错误的本质原因是GitHub限制上传文件大小在100 MB以内,这是为了确保系统的稳定性和可用性,因为较大的文件可能会导致服务器处理时间变慢,同时也会占用更多的磁盘空间和带宽资源。而且,GitHub旨在作为开源代码仓库和协作平台,而不是作为大型文件存储平台。

要想快速解决这个报错,可以尝试:

  • 删除Git中缓存的大文件
  • 将大文件拆分成若干小文件

然而对于某些项目而言,100MB的限制可能会限制其功能,例如深度学习中的大权重文件。在这种情况下,我们必须考虑如何突破GitHub100MB的限制。
在这里插入图片描述
Git LFS(Large File Storage)是一个Git扩展,用来处理较大的文件,它允许Git存储和管理大于100 MB的大型文件,并提供了更好的性能和可扩展性。Git LFS可以将大型文件存储在专门的Git LFS服务器上,而不是存储在Git存储库中,从而避免对GitHub存储库的负载。使用Git LFS,可以将大型二进制文件(例如图像、视频、音频等)存储在Git LFS服务器上,然后在Git存储库中引用它们。这样可以避免Git存储库变得过于庞大,从而提高Git操作的速度和效率。Git LFSGit工作流程相同,且支持多种存储后端。

3 问题总结

3.1 安装Git LFS

  1. 安装Git LFS依赖项和二进制文件
    sudo apt install curl
    curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
    
  2. 安装Git LFS
    sudo apt install git-lfs
    
  3. 验证Git LFS已被成功安装
    git lfs install
    

在这里插入图片描述

3.2 上传大文件

  1. 跟踪大文件
    git lfs track large_file_path
    
  2. 正常提交步骤
    git add large_file_path
    git commit -m ''
    git push origin master
    

在这里插入图片描述

4 告别Bug

本文收录于《告别Bug》专栏,该专栏记录人工智能领域中各类Bug以备复查,文章形式为:问题背景 + 问题探索 + 问题解决,订阅专栏+关注博主后可通过下方名片联系我进入AI技术交流群帮忙解决问题


🔥 更多精彩专栏


👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。