OpenAI最新大模型的数学原理

chatgpt代充2024-01-31 23:03:2091

先做个广告:如需代注册帐号或代充值Chatgpt Plus会员,请添加站长客服微信:pingzi7749

(1)

运筹学是门非常老的应用数学学科,上百年了。

运筹学在业界最传奇的案例就是:蓝血十杰,他们都是哈佛商学院高材生,他们在二战期间应召入伍,在军队担任军需物资的筹划,用的就是运筹学这个应用数学,这是运筹学这样的数学第一次被人们熟知它的实用价值和威力。后来二战结束,蓝血十杰退伍,又到了福特汽车,在福特汽车又用运筹学搞事,成就了大家现在在企业管理界最知名的称号:蓝血十杰。

(2)

运筹学属于应用数学,运筹学里的本质数学原理其实是组合数学,比如大家小时候学的排列、组合就是组合数学。

所谓的排列、组合,其实本质就是求最优解。

(3)

运筹学里面有个内容就是:线性规划和非线性规划。

而大家听说过的A*算法,就是路径规划问题中求最优解:最优路径。大家玩游戏,点一个小兵再点一下目的地,小兵就自己会自动走过去,而且会选择最佳路径走过去,这游戏程序里面用的就是A*算法。

(4)

强化学习大家都觉得特别牛,其实这事也是80年代的事情了,后来一直就没有大进展。这里面的核心就是Q-Learning,起这个名字只是为了好学术营销传播,其实本质就是:动态规划-有限马尔科夫-时序差分。


在2013年,在谷歌和OpenAI的带领下,强化学习才有往前走了一点。比如ChatGPT里使用的基于人工反馈的强化学习策略PPO,其实是OpenAI在2017年的产物了。最近才有人改进到DPO,这已经又时隔7年了。你说这进步多慢。

(5)

在去年11月,Open AI内斗最高潮,爆出一个料说首席科学家又搞出一个全新路线的大模型研究原型,叫Q*,我哈哈大笑,这不就是80年代的东西么?

不过我也不用哈哈大笑,因为大家最崇拜的Transformer里内嵌的神经网络,也是80年代的产物:前馈神经网络,FN。

所以,1990年代、2000年代,这20多年来的所有发展的东西,都被废了,还得回归到最原始的阶段,才最好使。



本文链接:https://www.vipbxr.vip/GPT5_301.html

相关文章

网友评论