您现在的位置是:首页 >技术交流 >文心一格:文心一格发布会图文摘要及与ChatGPT对此分析网站首页技术交流

文心一格:文心一格发布会图文摘要及与ChatGPT对此分析

Freedom3568 2023-06-15 20:00:02
简介文心一格:文心一格发布会图文摘要及与ChatGPT对此分析

简介

GPT-4发布一天之后,压力全部给到百度这边。就在刚刚,百度交卷。文心一言,百度全新一代知识增强大语言模型,正式在百度总部“挥手点江山”会议室里发布。在一片静寂的氛围里,李彦宏小步登场,语气里带着点紧张:大家的期望值,是我们对标ChatGPT,对标GPT-4,这个门槛有点高。十月怀胎,我们就带大家来看看这个AI大模型文心一言长什么样。

1993ba0e41e1410787420b399a2f9209.gif

此前,有人狂转meme图把百度比作GPT-4旁边的箱子。

ac5604a9f9a55ac668390cadd758406c.png

那么这个中国版ChatGPT到底实力如何?咱们就用百度发布会演示的预录制Demo,对比一下崭新出炉的GPT-4,先凭实力说话。

和GPT-4一样,文心一言是一个多模态大模型。李彦宏开场就展示了文心一言具备的5种能力,包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。文心一言甚至还现场秀了一口接地气的四川话,现场网友发出一片笑声:其他能力如何?我们具体展开来看。

1.文学创作

在文学创作上,李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。先让文心一言介绍一下大刘,“毕竟我也是刘慈欣老乡嘛”:

fd39286e3e4a2db46ab6b5c129fd7314.gif

看起来没什么问题。同样的问题问问GPT-4呢?

17cb838b2a53009afcee553ffdbd6d38.png

直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜随后,李彦宏又展示了从哲学的角度对这段文章进行续写的demo:

a97d913945e0e1af79db9151b0b933e8.gif

看起来中规中矩,比较理性。老样子,我们也来与GPT-4进行一波对比:

e5c7b3701936173a26e39560e2a7201d.png

再来看看《三体》电视剧中扮演史强和汪淼的老搭档,于和伟和张鲁一,有什么共同点?

311c52c6e987ed89b4c1f565ecaec843.gif

就是看起来展示的速度有点快,比李彦宏的语速还要快上那么一点点。

98552f9702f115eda394862624648411.gif

二、商业文案创作

接下来,李彦宏又展示了一下文心一言在商业文案创作上的能力。比如给新公司起个名字。

e2eb6cd0452d3a6404a5993ef67bed0f.gif

并且这个名字它还不是瞎起的:

4678927ffdf09b5fb2b4305f5f7ec47b.png

再来看看GPT-4起名的效果?

8d06ae755cf6e75a5f0365a712e1a464.png

看起来,GPT-4对中文的掌控能力相比之下还是少了一点精髓。至于写个公司成立的新闻稿?对文心一言来说似乎也不成问题:

7c572997b2f1f2260ac848d54939d7e4.png

三、数理逻辑推算

数学能力,是考验生成式大模型的一大难题。ChatGPT刚上线时,也翻了不少车。不过在现场,文心一言处理的数学问题不算复杂,是小学数学竞赛常见的鸡兔同笼问题。

19b5a954eb91eec6c97b19b9bc60bb40.gif

彩蛋是,李彦宏现场展示的第一题,引得文心一言说出了《狂飙》里高启盛的经典台词:这题出得不对。修改一下题目,OK,再扔给文心一言试试:

7c2e4ce2d87576737b2d7f1b7a544d4c.png

看起来,答案还算是有理有据,一步步逻辑推理出来的那种。李彦宏表示,这些题“不敢说百分之一百能做对,但至少体现了文心一言的思考历程”。

四、中文理解

接下来,李彦宏着重展示了一下文心一言对中文的理解能力,并特意强调:文心一言对中国文化的了解,理应超出任何一个预训练大模型。一上来就是一个成语,“洛阳纸贵。到底有多贵?”

9fcf6642f84607144b671f99325ac12c.gif

这是文心一言的效果展示:

f6e9f3c001a6d1d56e639bd8e7e0f8de.png

还解释了一下这个成语背后的经济学原理:

ab177b2be7c1a4ac9b6a78527281e979.png

那么,将这个问题抛给GPT-4呢?首先问问它,知不知道洛阳纸贵是什么意思:

58efbf7f8a40ec1e5719aadca975b268.png

接下来,再问问他对应的经济学理论是什么:

fd65c5a0306161b38d511adaf9204e5d.png

这波看起来,GPT-4的中文理解似乎也不输文心一言啊。那么,再来看看二者写藏头诗的能力?首先是文心一言的效果展示:

3f38d111f2c4049a3819379cbec69977.png

接下来,我们再看看GPT-4怎么说:

645732207aa813dcc34c003c4e52b446.png

看起来反而是GPT-4没有真正理解“藏头诗”的含义。这波文化理解上,属实是文心一言“小胜一筹”了。不过在英文上,李彦宏也承认,虽然文心一言也能处理,但能力是显著不如中文的。这也和百度目前能用到的训练数据有关。

五、多模态生成

最后,李彦宏还简单展示了一下文心一言多模态生成的能力。首先来看看,为即将到来的2023世界智能交通大会创作海报

ad839d8681fcacc5f8702fb8d0c4cfd2.png

而除了前文展示过的文字转四川话能力,文心一言还能文字转视频。李彦宏一句指令“将以上内容生成视频”,很快啊,不到几秒钟,文心一言就把字幕和视频做好了:

d8b572c6bda1d5d30c2aebb22275e2e0.gif

有些遗憾的是,在ChatGPT被频频称赞的编程方面,文心一言并没有现场展示相关能力。但王海峰透露,文心一言的训练数据中同样包括代码。

六、原理分析

正如ChatGPT脱胎于OpenAI的GPT系列,百度这次推出的文心一言(ERNIE Bot),背后也正是基于文心大模型技术打造。据王海峰介绍,文心一言主要脱胎于两大模型:百度ERNIE系列知识增强千亿大模型,以及百度大规模开放域对话模型PLATO。

在此基础上,主要采用了六项核心技术。其中三个是广为人知的大模型技术,包括有监督精调、人类反馈强化学习(RLHF)和提示构建。另外三个,则是“百度比较有特色”的技术,包括知识增强、检索增强和对话增强技术。

eb11d7d2694a8c92b1253f9e9453928a.png

首先来看与ChatGPT类似的技术:有监督精调、RLHF和提示构建。有监督精调,尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解,筛选了特定的数据来训练模型。

c96f10010369e18abf243bf1378d8962.png

至于人类反馈的强化学习(RLHF)和提示构建,操作上也与ChatGPT大差不差。

38b473039ca3ae8bc99b3f72260e1948.png

随后是百度提出的、用于进一步改善模型效果的技术。

知识增强,包括知识内化和知识外用两个部分。其中,知识内化即将知识“渗透”进模型参数中;知识外用指的是模型可以直接使用外部的知识。

b547c4b4829fbe8fa6ccf5eaa9a9ec4f.png

检索增强,则与百度搜索引擎积累的检索技术有关。

百度将把检索技术和生成技术结合起来,先对内容进行检索后,将比较有用的部分用于生成,再整合输出结果:

986249018bfed3cbdc64ea371fa21231.png

最后是对话增强部分,包括之前百度积累的记忆机制、上下文理解和对话规划等技术:

918b32f8d5acd26abe679c1edb576b98.png

概括来看,文心一言表现出的能力,被李彦宏称为“智能涌现”:

当参数达到千亿量级,训练语料达到足够多的情况下,这种现象就会发生。

目前,百度拥有的AI技术可以分为四个部分,芯片(昆仑芯)、框架(飞桨)、模型(文心)和应用。

之所以软硬件都要布局,百度称,是为了降低成本

生成式AI需求的算力非常高,费用相当昂贵。

因此,如果在四层架构之间相互进行协同优化,就能让它的效率比别人更高,从而显著降低成本。

李彦宏认为,这也正是百度的优势所在:

四层都有领先产品的公司,绝无仅有。

2fdc84cdd5f638ff4bfa3ff60905209a.png

这次文心大模型背后的硬件算力,也是通过百度智能云提供服务。

目前,文心一言已经接入百度搜索,目的在于提升搜索资源效率。

同时,包括小度和自动驾驶Apollo等产品,以及爱奇艺等公司也已经接入百度的文心一言模型。

1f80808d2d73eaf6014385c361ac0e32.png

七、社会反响

截至发稿,百度港股股价在一波明显下跌之后,有所回弹。

80f538a88387499859f5cc6b329bdb12.png

发布会结束,网友反应最多的是“提前录制有点败好感”:

6268e858f256c1e3a5d7a0da8fefc8f0.png
4e0370c35d8a307357df55bf6a688e0b.png

对于这一点,李彦宏的解释是,给出的问题都比较长,为了节约现场时间,所以才用了提前录制的形式。还有不少网友对文心一言展示出的能力不太满意。有人调侃,看完之后感觉“提前退休的日子看起来还可以缓一缓”:

1a779d4a6e4c0423ebaa8ca118b91c7d.png

离GPT-4还差了20个老胡。

7dde8491c9c2a6d32c1026a2e364b889.png

还有网友感觉,文心一言的发布会像极了毕业答辩的自己(doge):

707a87c70e16ffad04c0e66e24b17b83.png

不过也有网友表示,希望能给国产产品一点时间一点耐心。

012778c924719e71ee8caa735ddb373a.png

小结

文心一言将从今天开始对外进行测试,包括个人用户和企业用户。是骡子是马,相信接下来,会得到更多验证。

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。