今年以来,国内外众多科技公司、科研院所纷纷推出了各自的AI大模型产品,掀起了一场前所未有的“百模大战”。至此,AI大模型成为大众热议的话题,对于众多的AI大模型,在普通用户的使用角度上大差不差,从而流传出了“大模型之间的能力已经没有壁垒”的相关言论。

就这一言论,走在AI前线的正奇五度AI数字化助手获悉,近日,李彦宏在百度内部做了一次面向员工的讲话,做了相关的解答。他表示,不赞成该说法。他说外界对大模型有相当多的误解,每一个新模型发布时,肯定都想说自己有多好,每次都去跟GPT-4o做比较,拿测试集或者弄一些榜单,说我的得分已经跟它差不多了,甚至某些单项上得分已经超过它了。但这并不能证明这些新发的模型跟OpenAl最先进的模型相比已经没有那么大的差距了。

模型之间的差距是多维度的,一个维度是能力方面,不管是理解能力、生成能力、逻辑推理能力还是记忆能力等这些基本能力上的差距;另一个维度是成本方面,你想具备这个能力或者想回答这些问题,你付出的成本是多少?有些模型可能推理速度很慢,虽然也达到了同样的效果,但实际上它的体验还是不如最先进的模型。

还有就是对于测试集的over-fitting,每一个想证明自己能力的模型都会去打榜,打榜时他就要猜别人到底在测什么、哪些题我用什么样的技巧就能做对。所以从榜单或者测试集上看,你觉得能力已经很接近了,但到实际应用中还是有明显差距的。

部分自媒体的炒作,再加上每个新模型发布时都有宣传的动力,使得大家有一种印象,认为模型之间的能力差别已经比较小了,其实真不是这样。正奇五度AI数字化助手在李彦宏的言论中发现他强调在实际使用过程当中,他不允许他们的技术人员去打榜,真正衡量文心大模型能力的是在具体应用场景当中到底有没有能够满足用户的需求,有没有能够产生价值的增益,这是他们真正在乎的。

他还提到需要看到,一方面模型能力之间还有比较明显的差距,另外一方面天花板很高,今天做到的跟实际想要做到的、跟理想状态还差得非常远,所以模型还需要不断快速地去迭代、去更新、去升级。

即使今天看到差距也许没有那么大了,再过一年看看差距有没有拉大?有谁能够持续不断地几年甚至十几年如一日往这个方向上去投入,让它越来越能够满足用户的需求,满足场景,满足提升效率或者说降低成本等需求?不同的模型之间差距不是越来越小,是会越来越大的,只是他们不知道真实需求的时候,只去做测试集的题可能会觉得差不多。

李彦宏还表示,所谓的领先12个月或者落后18个月,没有那么重要。每个公司都处在完全竞争的市场环境中,不管做什么方向都有很多竞争对手,如果能永远保证领先对手12到18个月,那是天下无敌的。不要觉得12到18个月很短,哪怕能保证永远领先竞争对手6个月,那就赢了,的市场份额可能是70%,而对手可能仅为20%甚至10%的份额。

综上所述,正奇五度AI数字化助手得知大模型之间的能力差距并未完全消失,而是处于一种动态调整和竞争状态中。国内大模型虽然在追赶国际先进水平,但在某些关键能力和应用场景上仍存在差距。