您现在的位置是：首页 >技术交流 >斯坦福《Transformers集结》；大语言模型“书生・浦语“发布网站首页技术交流

? AI新闻

? 上海人工智能实验室发布1040亿参数大语言模型"书生・浦语"，在多项考试中超越ChatGPT

摘要：上海人工智能实验室近日发布了一个千亿级参数大语言模型——“书生・浦语”。该模型在多领域测试中表现优秀，尤其在中文综合性考试中超越了ChatGPT。然而，该模型仍存在一些局限性，如语境窗口长度等。研究人员还通过多个学术评测集对“书生・浦语”进行了分项能力评测，该模型在阅读理解、数学推理、编程能力等方面也取得了不错的成绩。

? 新加坡国立大学研究者推出专门用于算术问题的Goat模型

摘要：近日，新加坡国立大学研究者推出了一个专门用于算术问题的“Goat”模型，对GPT-4模型中存在的算术问题进行了改进。该模型利用一种新方法将计算过程拆解为一系列可以学习的任务，让模型学习答题模式，并泛化为看不见的数据，使得算术性能得到提高，可以在零样本学习中实现近乎完美的精度。研究人员对Goat模型进行了训练和测试，其结果领先于Bloom、GPT-NeoX、OPT等模型，在大数计算方面远超GPT-4。

? OpenAI CEO表示公司目前仍未开始训练GPT-5

摘要：OpenAI CEO Sam Altman在印度经济时报主办的会议上表示，OpenAI目前仍未开始训练GPT-5。他也反驳了一些对人工智能担忧的声音，并表示OpenAI已对潜在危险进行了评估。Altman此行前往印度的一部分是他积极与全球各地的立法者和行业参与者会面并建立信任的一部分。

? Stack Overflow版主罢工，反对公司新出台的AI内容政策

摘要：知名软件开发者论坛Stack Overflow的一些版主发起了罢工行动，抗议公司新出台的AI内容政策。该政策规定由AI生成的所有内容都可以发布在网站上，而且不得因为AI内容而封禁用户。版主们担心这样会导致错误信息泛滥，损害网站的质量和信誉。公司在制定政策时缺乏透明度，版主们要求公司撤回并修改AI政策，解决公开和私下版本之间的不一致问题，并为此道歉。此次罢工是针对AI生成内容涌入在线网站的首个重大行动，其他论坛上的版主也有类似的担忧。

? 2023世界人工智能大会主题发布，超1400位大咖将亮相，400家企业出席展览

摘要：2023世界人工智能大会官方公布了本次大会的主题和主视觉，以“智联世界，生成未来”为主题。预计有超过1400位国内外大咖出席，包括图灵奖得主、诺贝尔奖得主、国际组织代表、国外院士、海内外企业家/CEO等。本届大会展览将恢复至线下举行，总规模达5万平米，参展企业预计突破400家，创历年新高。

? AI知识

? 我用GPT给电子厂带货

这篇网页介绍了一位互联网营销员的工作经历，他使用了GPT来优化工厂的产品文章和短视频，提高了文章的可读性和视频的播放量。文章强调了合理使用类似GPT的工具能够帮助快速生产内容，达到降本增效的结果。同时，文章也提到了制造业在营销方面相较于其他行业走得更慢，需要更多的创新。

? 斯坦福《Transformers集结》

自2017年引入以来，Transformer 彻底改变了自然语言处理（NLP）的方式。现在，Transformer 在深度学习的各个领域都有应用，包括计算机视觉（CV）、强化学习（RL）、生成对抗网络（GANs）、语音甚至生物学。除此之外，Transformer 还使得像GPT-3 这样的强大语言模型的创建成为了可能，并在 DeepMind 最近针对蛋白质折叠的 AlphaFold2 中发挥了关键作用。
在本次研讨会中，我们将深入分析 Transformer 的工作原理，深入探讨不同类型的 Transformer 在不同领域中的应用。我们会邀请不同领域的 Transformer 研究前沿人士进行讲座。
这门课程的主要内容是研究人员的演讲，讨论他们在 Transformer 研究方面的最新突破，以及他们如何应用它们在研究领域中进行探索。该课程的目标是将来自机器学习（ML）、自然语言处理（NLP）、计算机视觉（CV）、生物学和其他社区的 Transformer 相关思想汇集在一起，理解它们的广泛影响，并激发跨学科研究。

更多AI工具，参考国内AiBard123, Github-AiBard123