每个人都是一台大语言模型:读书是预训练,专业是微调

把人比作大语言模型,很多事会突然清晰起来:读书和通识教育相当于预训练,负责搭出你的模型基座;专业学习相当于微调,让你在自己那个领域输出可靠的答案。人和人的大脑硬件差距不大,真正拉开差距的是喂进去的语料和叠加的训练时间。这个想法是我这几年读历史时慢慢琢磨出来的,如今它成了我分配时间的底层依据。

我们每个人都是一台正在训练的模型

大家都羡慕大语言模型的能力,可细想一下,现代教育走的就是同一套流程。基础教育和广泛阅读给你提供模型基座,进入专业之后的学习和实践,则是在这个基座上做领域微调。麻烦在于,每个人吃到的数据不一样,读书量有多有少;训练量也不一样,投入的时间和方法各有差别。于是两台模型接到相同的提示词——也就是在现实里遇到同一件事——产出的答案各不相同:有人一眼看穿局面,有人反复踩同一个坑。

硬件层面反而是最公平的。人脑和人脑的算力大差不差,模型的强弱主要由后天训练决定,语料和训练时间都握在自己手里。这一点想通了,人会变得乐观。

历史是浓度最高的那部分语料

如果读书是给自己喂语料,历史大概是浓度最高的一类。我对历史的兴趣是近年参观历史古迹时被导游的讲解激发的:很多真实发生在历史当中的事,从讲解里听来比课本生动得多。K.K.(凯文·凯利)有句话,大意是历史中的怪事看多了,对当代发生的怪事也就见怪不怪了。这恰好就是语料的作用,见过的样本足够多,新样本出现时你不慌。

我高中历史老师常念叨一句话:

读史以明志,博古以鉴今。

当年听着像口号,现在细品确实有道理。看清了从古代到当代这条线,多少能帮你判断未来。桥水基金的达里奥也是个例子,他那些制作精美的视频和理论,多数建立在对历史的推断之上——从过去获得经验和感觉,再用来适应现在的剧变。

兴趣这东西也有边界。《中国和中国人》里那位传教士说他并不关心中国复杂的历史,我读到时很有同感,只不过方向相反:外国的历史事件和人物,我提不起太大精神去了解,中国从古代到当代的历史却让我兴趣浓厚。用模型的话讲,新语料要能挂上已有的参数才吸收得动,中国历史对我处处是钩子,外国史则缺少这些连接点。

《历史的镜子》:人类行为模式的相似性

最近在读吴晗的《历史的镜子》,能看出他对历史的研究非常深刻。书里写到的那些人物吏才出众,能成为政治家的人,素质一定过硬。为什么历来提倡领导干部读历史,道理一目了然:很多事自古至今都有相似之处,如何做成一件事,史书上写得很清楚,历朝历代都有经验可以借鉴。从自己的历史、近代的历史读起,掌握事情发展的规律,做事就更容易达成所愿。

这件事反过来也印证了前面的类比。大语言模型能用不算太大的基座装下人类积累的智慧,恰恰说明人这种智慧生物的行为模式高度相似。正因为行为模式相似,历史经验才可以复用,读史才有超出消遣的价值。后来我读《张居正》的感想,也顺着这条线单独写过一篇

训练时间从哪里来

想清楚自己也是一台模型,时间怎么分配就有了判断标准。按 Cal Newport 的说法,时间应该尽量被 deep work 占据,比如读书和写作;而社交媒体是典型的浅活动,短的有抖音,中长的有 bilibili 和 YouTube,再加上小红书、微博、头条,碎片时间很容易被它们瓜分干净。刷这些也是在喂语料,只是喂进去的是低质量数据,训练不出什么能力。后来我干脆删掉了抖音,那件事单独写过一篇。

既然算力大差不差,在深度的事情上叠加的训练时间越多,你这台模型就越强。分配好时间,多用高质量语料训练自己的基座,可能就是成为所谓”超级个体”、从世界获得更多经验的重要手段。往具体里说,这个问题每天都摆在眼前:今天的语料喂什么,训练时间从哪一块挤出来。


了解 创见思考 的更多信息

Subscribe to get the latest posts sent to your email.


已发布

分类

来自

标签:

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

了解 创见思考——怎样度过这一生 的更多信息

立即订阅以继续阅读并访问完整档案。

Continue reading