您现在的位置是:首页 >其他 >读 AI学者生存策略网站首页其他

读 AI学者生存策略

Layumi1993 2023-06-21 16:00:02
简介读 AI学者生存策略

链接:https://arxiv.org/pdf/2304.06035.pdf

作者:Julian Togelius and Georgios N. Yannakakis

随着大模型 和 大数据的出现, AI研究者 都会感到焦虑。 没有计算资源 ,没有标注的人力,很难做出突破性的研究。即使很多领域还没有出现大模型,但这个过程始终是在加速实现的。所以本文作者提出了一些想法。如作者最后所说的,(1) 分享一些想法给community,(2)提供一些guidelines ,讨论 学术届 与 工业界的AI赛道差异 (3)引发一些公开的讨论。

  1. Introduction

与公司比拼,对于研究人员(小作坊)来说 是不公平的。

  • Engineering的问题。很多工程问题也不是一个phd或者postdoc能解决的。

  • Scale的问题。 作者也提到了 Sutton 关于Bitter Lesson的例子,可能越简单的方法,scale大了,自然就好了,不需要很多ad-hoc的东西。

  • 类似,你开小镇杂货铺,对门来了沃尔玛。

​基于这种情况下,我们要继续推动AI的发展,继续做出有意义的研究。我们该采用什么策略呢?

(读者按:确实,数据 和 算力是核心问题。)

2. 放弃

一种策略是保证先活下去,即使投一些mid-tier 期刊和会议,保证 Funding的来源。没有必要大幅度改变轨道。

3. 我也做大

尝试用一些GPU 和 CPU 去做更大的事情。但和大公司相比肯定还是少很多的。 而且还有调试成本。

同时对于PhD学生他们科研训练,要求独立的paper,而不是一个多作者的工程技术论文。也不符合Phd的需求。

(读者按:要和学生的interest匹配,而且要考虑学生的能力。)

4. Toy Data万岁

做一些toy data上的实验,来探寻机制。

这一种方法的缺点是:虽然往往会很惊艳,但是实际没啥人care。

(读者按:我会想到一个我很喜欢Uber的 paper, coord conv 当时在reddit上有很多讨论。这个paper 的video还是很不错的。)

5. 拿来主义

拿来主义,打不过就加入。

但大模型是否足够general, finetune或者其他post-hoc分析往往不足以达到惊艳的效果。

(读者按:(1)可能大模型连inference都做不了,一张卡也放不下。(2)prompt learning 等也应算在其中,作者好像没提到。 )

6. 分析大模型

其实目前我们也不了解大模型。可以从不同角度分析大模型,找到特别的点 或者机制。

(读者按:这方面我不了解,目前可能 也就 probe? 和CAM?应该还有空间?)

7. RL不需要标注数据

RL 可能相对不需要标注数据,但RL的训练时间 仍旧比较长,而且有很多tricks。可能是个难点。

(读者按:我知道早期2017,2018确实是,需要一点技术,但近期我也不确定有没有好一些。早期也有人喷openai的demo不稳定,但后续也解决了?)

8. 小模型减少计算

考虑到部署, edge AI 是最直接的想法,减少碳排放。 知识蒸馏等。

(读者按:还有联邦学习等。 最近我们也有两个工作,一个是有针对地训练难样本,加速训练的。郑哲东:TIP2022|领域迁移Adaboost,让模型“选择”学哪些数据! , 一个是用2.4M参数训练了一个小型reid网络 郑哲东:TNNLS22|在3D空间,用点云数据学行人重识别特征

9. 特定领域

不是工业界直接关注(直接挣钱)的领域,提前布局。但结果是你的paper很难中。

maybe 可以考虑自己办个会(就像deep learning在cvpr以前也不待见)。

(读者按:老lecun人了)

10. 很少人关注的问题

类似上一点,找不紧急也不sexy的问题。可以和身边不做AI的人讨论一下。

(读者按:就像mu神说的,impact可能就很小。)

11. 尝试一些不work的事情

工业界大家都会尝试一些work的东西,不会尝试 不稳的方法。很多AI的发现和idea也是来自于试错。

(读者按:嗯就像coordconv的motivation。find what CNN can not do)

12.做一些“有坏印象”的事情

公司还是有会限制,在意reputation (比较圣母一些)。这也是为什么大公司会让startup做一些实验性的尝试,而不是自己下场。相比之下,研究者更自由,只要不违法乱纪,可以探索更多东西。

(读者按:我们近期也开了一个ACM MM2023 Workshop关于无人机多媒体的讨论,欢迎大家投稿4页短文 郑哲东:ACM MM23 Workshop|多媒体+无人机

13. 产学结合

把实验室的想法 通过 公司落地。有很多好处,你可以知道实际的问题,获得实际的数据。

但这也不是完美的。需要考虑(1)很多科研方向不适合start up ,或者做一个产品出来;(2) 需要的转化时间比较长,需要一些功能性产品展示;(3) 投资依旧有限,仍旧不能做大公司的实验; (4)不是所有人都爱冒险

14. 和大公司合作

把实验室开到大公司里(或者派phd去实习)。 缺点是 IP专利 。 另外可能也没人想去你的组,如果整组人都在,有点变味儿了。

15. 工业界大佬 能做啥?

公司关注收益。学术界不是他们的interest。

最基础的开源代码/模型,仍会对研究者有益。

培养实习生,建立联系。

16. 大学能做啥?

大学应该鼓励创新。目前有影响力的paper仍旧多数与大学合作。大学应该鼓励faculty 来take more risks.

每年发顶会 paper 可能是不合理,相比之下 工业界的lab 更容易。

目前的 grants 也是喜欢 safe and incremental research on popular topics,但这也限制了 很难与工业界的lab 竞争。如果大学想改变,应该更鼓励失败,提升high-risk研究的比例 。


最后感谢大家看完,欢迎点赞转发~~ 也欢迎关注我的其他文章和回答:

Pytorch有什么节省显存的小技巧?

郑哲东:IJCV | 利用Uncertainty修正Domain Adaptation中的伪标签

郑哲东:读 ICML22 | 多模态预训练X-VLM

郑哲东:读《为什么》 第一章-因果关系之梯

 

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。