OpenAI 和 其它 AI
今天Sora发布，自媒体又是一片“震惊”。如果对“指数增长“的概念没有内化，如果不理解技术发展的底层原理，那就只能反复被标题“震惊”。
当 IPhone 刚出来时, 你会加入另外一家手机公司吗, 当 IPhone 刚推出时, 深圳大概出现了20家左右的山寨机公司, 这时候你去选择加入一家这样的公司肯定死的非常快, 这时候你做什么事是最有前途的: 答案就是做IPhone的应用, 所以那时候看到巨大前景并且 all in IPhone 应用的公司, 现在都非常成功.
另外一个例子: 当 browser 出来时, 你不应该去做另外一个 browser 而是去做一个网页; 所以类比到今天的话, ChatGPT出来了, 你这时候去一家AI公司, 或者说去一家基础大模型的公司, 下场未必会很好.
GPT的范式突破和指数增长
这里面有一个关键的问题: 它到底是一个寡头的格局还是一个开源的天下. 比如说ChatGPT之前的AI, 只用开源论文一发, 大家调下模型, 然后就是谁能找到应用场景谁就牛X, 这个时候模型本身构不成什么竞争壁垒.
但在 OpenAI 这里, 我觉得 OpenAI 会一家独大, 或者说世界上最多就2, 3家大模型的底层公司, 为什么会这样认为, 孙煜征的关于ChatGPT的五个最重要问题文章说的很好, 如果你没时间看, 我就简短概况下: 文章的第一部分就是把大语言模型新的发展和过去的AI进行一个划分, 如果你不懂技术这个划分是很有必要的: ChatGPT之前的模型, 它是在理解这件事情上和 general 这件事情上是有非常低的天花板的,
但GPT发现它突破了之前的模型, 它变得非常 general, 并具备了一定的”理解能力”后, 反过来问我们人类的理解能力是什么, 人类的智能和机器的智能区别是什么, 在 GPT 出来之前答案其实非常清楚: machine learning 只能做 pattern matching, 它只能去 fit 一个现有的规律, 它没有办法去推理一些更需要理解的规律.
总之, GPT有一个范式突破( paradigm shift ), 和之前的模型不一样, 相信今天大部分人都认可这个说法, 所有的技术在发展的时候都有一个S曲线( S curve ): 技术刚开始它的加速度是低的, 然后慢慢加速度会变高, 进入一个指数发展的阶段, 然后最后差不多到了潜力挖净时, 它又会进入一个加速度比较慢的发展.
历史上很多科技都是按照S曲线发展的, GPT 也不例外, 就像 OpenAI 总裁 Greg Brockman 在演讲时给说的: 如果去看底层的技术的话, 我们的计算机是经历了5次S曲线的发展, 才到了今天这样子.
为什么OpenAI注定比第二名强十倍
现在大语言模型就是处在指数上升的阶段, 在此之前, 我先说下我的观点, 大模型本身是一个非常高工程难度的事情, 所以这里面的工程积累是很重要的, 而 OpenAI 的工程能力是非常强的, 拿数据的能力也非常强, 清理数据的 Know-How 也非常强: 官方数据能查找到2019-2020年的时候, OpenAI 去标注数据都是找 PhD 背景的人, 有自己一套非常独特的标注数据的方法, 而不是像市面上大多数公司: 去找一堆外包, 让你去选, 然后再有个auditor去看, 做一些简单的标注.
在那个时候, OpenAI 就已经知道了这么标注数据. 不要忽视这种底层的能力, 底层认知的积累, 以及他们为了完善做出这件事情所积累的工程能力, GPT就是人类历史上最复杂的工程系统之一, 虽然它是一个软件工程, 但其实它的组成部分非常之多.
在这种情况下, 不要小瞧复刻它的难度, 就比如所有人都会踢足球, 但你要拿到世界杯冠军是非常难的; 你造一家飞机也好, 造一个芯片, 其实原理大家都懂, 但是能把它做出来的人是非常少的, 因为这里面的工程难度是非常高的.
让我判断出 OpenAI 注定比第二名强十倍的decision tree是, Google 作为一个算力最强, 数据最多, 然后人才密度最高的一个公司, 它到底要花多少时间能复刻出 GPT3.5 和 复刻 GPT4, 如果说它能在6个月之内做到追上 OpenAI, 那说明这个难度虽然高, 但还是不是太高, 但如果6个月做不到, 说明这个难度真的很高.
现在一年过去了, 我们看到的是, 很多公司声称自己可以到 GPT3.5, 但是有很少公司能到 GPT4, 然后我们评估这里边难度, 你是从他的一个表象里边去推及他内层底层大模型的真实水平, 这其实是非常难的, 比如一个白痴和一个睿智的人说出来的可能是同一句话, 但是驱动他们说这句话的认知, 底层的思考, 人生的经历, 可能是非常不一样的. 所以你去通过他说的这句话, 去推测下面这个模型本身的能力, 本身就很难, 然后在这种情况下, 你还能看到非常明显的差距, 那我们要抱有一个默认的认知就是, GPT4 很难.
而且出了 GPT4 后, OpenAI 的发展速度是变的更快的, 不是 GPT4 做出来后能帮他干什么事情, 这个重要但不是那么重要, 重要的是他有一个端到端的结果, OpenAI 可以用他的这个结果为导向, 去指导他到底前面怎么做.
比如说他在成本上, 他现在知道这个是好的结果, 那么他有什么枝是可以剪掉的, 如何把这个模型去紧密连接(dense), GPT 的成本一定会指数级下降, GPT3.5 turbo 相对于 GPT3.5 推理成本直接下降至1/10, GPT4 turbo 相对于 GPT4 推理成本也下降, 所以现在成本指数10被下降, 大家没有理解这件事情有多么可怕, 而且这件事是注定接下来一段时间是会注定发生的.
指数增长下，做什么是死路一条，做什么有意义
所以你可以想象 OpenAI去做 ChatGPT 或者任何一个大语言模型的时候, 它的成本都会是数量级的下降, 可能是没过12个月也好, 18个月也好, 它的成本会直接降10倍, 现在我问你第二名如何和GPT竞争, 你第二名再怎么追你的成本永远比GPT高10倍.
成本是一方面, 另外一方面你的 Loop 包括你的训练时间, 大模型最难追赶的就是你每次的实验和训练的时间太长了, 你可以比 GPT 多10倍的钱去烧, 但 GPT 知道怎么花10天去测出来一个方向, 你不知道, 你只能花30天, 50天去测出来一个方向, GPT 调集了这项工程能力, 有这样的算力和协调这个算力的能力, 去30天跑出来一个版本, 你磕磕绊绊45天跑出来, 中间还可能失败, 然后 GPT 是有明确目的的, 他知道优化的方向大概是在这里, 去查这里优化, 而你不知道, 你四处搜索, 根本不知道这个空间是几维的, 然后你可能要试3遍才能试出来 GPT 试一遍的效果, GPT 的迭代速度又是你的10倍.
这个时候, GPT 的成本是你的1/10, 朝着正确方向迭代的速度是你的10倍, GPT 又有巨大的用户群, 他每次的增加(incremental)是有巨大意义的, GPT 可以通过无论是微软, 还是自身, 还是C端用户不断反馈, 正反馈又是你的10倍, 这时你是Google都不一定能打得过, 剩下的其它公司就不多说了.
现在 GPT 的工程, 数据和商业模式都已经形成了巨大的商业壁垒和飞轮效应的情况下, 开源模型很难追上人家.
如今 GPT 在S曲线的指数增长的阶段, 所以说 OpenAI 的差距也会和他的追赶者们越拉越远, 因为他的成本是其它的1/10, 迭代速度是其它的10倍, 商业的正反馈是10倍(数据都是虚数, 但是虚数对于内化心智模型( mental model )很重要), 这是我的观点.
什么是AI Agent
所以在这种情况下加入 AI 哪些赛道比较好, Sam本人的观点我十分认同, 就是 Agent 是真正的机会, Greg 也有说 agent 被低估了, 这些最有认知的人反复天天说的东西, 我觉得还是可以相信的, 反而是那些去做 GPT 套壳的, 之所以现在有很多 GPT 套壳, 是因为 GPT 模型还是一个试用版(Beta), 当 GPT 真的把模型能力补强之后, 检索(retrieval)做好以后, 这些套壳公司完全没必要, 因为套壳套的所有的点, 都可以被一句话取代, 因为你人修改的速度, 永远没用模型迭代的速度快.
做 agent 是很有用的, 就比如我希望第一个杀手级的应用是一个 GPT 医生, 因为我们挂一个好的专家号是非常难的, 真正高级的专家好也是很贵的, 然后绝大多数的医生的医术其实是不行的: 包括问诊, 给出综合建议, 因为真的医术是一个非常吃research的东西, 如果你去听Huberman lab就会发现, 哪怕是最简单的一个你能不能喝自来水, 你都是需要一个非常强的医疗背景, 对人体非常了解, 然后你才能给出一些答案和对应的建议. 更不要说你生了一个病, 这个病怎么治, 怎么对你最好这么复杂的一个事了.
我身边的一个例子就是我朋友当时踢球踢断了韧带, 给他诊断的那个医生让他拍X光, 没有拍核磁共振, 然后就没有看到他的韧带断了, 然后他按照医生的建议去恢复, 然后再上场, 韧带就直接完全撕裂, 不得不做韧带的复健手术. 其实世界上的庸医比大家想象的多很多, 或者整个医生中位数的水平是非常差的, GPT 很容易就能超过这个中位数的水平, 尤其是 GPT 开放了对齐( alignment )接口后, 它可以去读很多的案例库, 然后它可以根据这些案例库, 再去进行一些对应的对齐( alignment )后, 它一定会成为一个很好的医生, 然后这个医生能给出非常好的医疗建议, 救很多人.
所以说像医生, 律师, 品酒师等, 都可以做出 agent, 把智力分发的边际成本降为0, 让一个之前特别厉害的专家, 他有很强的人力资本, 然后他可以无限的分发他的智力, 比如我一个前端, 我可以去用一个我自己 align 出来的agent, 去帮我给很多的公司打工, 这是一个抽象出来的说法, 未必未来的商业模式和合作模式不是这个样子的, 总之就是, 一个特别厉害的人, 他不再受自己的时间和精力限制了, 它可以同时把自己复制100万份去给所有人打工, 去发挥他人力资本的作用, 这就是 agent 这件事情的意义.
然后这件事本身不是和 GPT 相冲突的, 因为 GPT 他是为了底层模型, 他的 general 是要越来越聪明, 如果你做的这个东西一个聪明人随时都可以做的话, 那就让 GPT 去做好了, 如果你要做的东西是要一个人足够聪明之后, 还需要有很多非共识的东西, 你有自己独特的点, 你有自己的批判性思维等等, 因为 GPT 它永远是要从人类知识中间去学习, 所以哪怕它可以学习到非常聪明, 它智力可以达到一个非常高的水平, 但有很多思维, 信仰等是无法学习的, 所以你作为一个人可以去告诉 GPT 大家的偏好是什么, 这就是 GPT 所取代不了的人独特的意义, 我觉得在这里面做事情才是有意义的.
今天的企业未来如何用好AI
在这个背景下, 你作为一家商业公司你应该做什么, 就是开始去使用 GPT, 不要去用开源模型或者自己研发一个大语言模型, 用不了 GPT 最后就会被淘汰, 尽管今天不会, 但5年10年后, 别的使用 GPT 的公司效率比你强100倍1000倍的公司可以打败你.
现在没有一个公司说自己是互联网公司, 因为所有的公司都是互联网公司, 在未来也不太会有什么公司说自己是 AI 公司, 所有的公司仍然会被自己的业务所定义, 就是他们到底是做的什么, 他们满足的是什么用户需求, 他们解决的是什么问题, 到底是用 AI 还是不是用 AI 做的不是很重要, 因为所有人都会用 AI 去解决这些问题, 就像所有人今天都会有程序用互联网去解决问题一样.
