您现在的位置是:首页 >技术交流 >Ray使用案例网站首页技术交流

Ray使用案例

MaxCode-1 2024-06-15 12:01:02
简介Ray使用案例

Ray Use Cases

Ray用例
本页索引了用于扩展ML的常见Ray用例。它包含了对博客、例子和教程的突出引用,也位于Ray文档的其他地方。

大型语言模型和生成型人工智能

大型语言模型(LLMs)和生成性人工智能正在迅速改变行业,并以惊人的速度要求计算。Ray为这些模型的扩展提供了一个分布式计算框架,使开发人员能够更快更有效地训练和部署模型。凭借用于数据流、训练、微调、超参数调整和服务的专门库,Ray简化了开发和部署大规模人工智能模型的过程。

批量推理

批量推理是指在一组输入观测值上生成模型预测。该模型可以是一个回归模型,神经网络,或简单的Python函数。Ray可以将批量推理从单个GPU机器扩展到大型集群。

通过将训练好的模型的架构和权重导出到共享对象存储中,可以并行地对输入的批次数据进行推理。利用这些模型副本,Ray AIR的批处理预测器可以在不同的工作者之间扩展批处理的预测。
在这里插入图片描述

多模型训练

许多模型训练在ML用例中很常见,如时间序列预测,这需要在对应于地点、产品等的多个数据批上拟合模型。重点是在一个数据集的子集上训练许多模型。这与在整个数据集上训练一个单一的模型形成对比。

当你想训练的任何给定的模型可以在单个GPU上适应时,Ray可以把每个训练运行分配给一个单独的Ray任务。通过这种方式,所有可用的工作者都被利用来运行独立的远程训练,而不是一个工作者按顺序运行作业。

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。