首页 > 言情小说 > 年近三十,科技立业 > 第57章 孙博的能力

第57章 孙博的能力(2/4)

目录

纪弘对此还真没有研究——先前在创界,主要利用别家平台进行接口对接开发,后来自己创业,上来就是类思考模型,对T模型属于降维打击,并不存在这样的问题。

他对此没有什么研究,但有一个人一直在关注着这方面——这个人就是孙博。

“靠无限制的堆积算力获得高性能大模型,短期内是可行的。”

孙博也是看到了微软的行动,在CSDNBlog跟一群人正在探讨相关的话题:

“长期的话,倒不是有上限,真要有魄力不计成本无限制的去堆积算力,理论上是真的能够获得无限制的性能提升的。

“但也仅仅只是理论上,这里边有一个巨大的问题,根据我的研究,它的增长不是线性的。

“我大约计算过,实际的增长曲线就不说了,很复杂,但大约可以简化为这个函数:y=c·log(e)·(X+1)。

“这里边y指的是性能,X你们就姑且理解为算力堆积的基本单位,大约趋势如下图。”

就算是对数学再不懂的人,看到这个公式也该看出来了,因为这个函数的曲线到最后,几乎就是一条平平的横线。

也就是说,当显卡堆积达到一定规模之后,就算再堆积硬件,性能虽然也会增加,但增加的也会十分有限,到最后甚至肉眼都不可见了。

这么说着,孙博还举例道:“以现在的GPT4为例,如果想要一个2倍GPT4参数的大模型,对算力的需求大约会是多少呢?

“我计算过,大约需要十几倍。而且公式计算的只是理论效果,而更大规模的集群,片间互联的损失肯定也会更大,实际效果只会更差。”

孙博很是热情,只要不涉及他自己工作的机密和核心,只要他在的时候,那几乎是有问必答的。

本章未完,点击下一页继续阅读。

目录
新书推荐: 美漫哥谭没有蝙蝠侠 火影:刚当海贼王,我重生成佐助 医仙之纵横无敌 村野小神医 以暴制暴,从暴君杀成千古一帝 出国后,我带回光刻机能一等功吗 我以道种铸永生 古仙传说 盘龙之亡灵主宰 末日进化:开局捡到一个美女丧尸
返回顶部