“真正的变革是，什么时间点有一个模型可以把错误率降低到个位数。”
在经历了上半年密集的技术和产品发布后，下半年的AI圈显得有些平静，不再有如Sora这样引发轰动的产品，在GPT-4o之后，行业引领者OpenAI也迟迟没有大动作。不少行业人士认为，技术的迭代放缓了。
在亚布力企业家夏季年会上，猎豹移动董事长傅盛提出一个观点，AI浪潮已出现泡沫迹象，从大模型出现在大众视野以来，已过去近一年的时间，但最顶级大模型的模型没有明显提升。“客观来说，谁家大模型有什么优势，基本尚属‘一家之言’，用户用起来没有感觉到太大差别。”他认为，当前大模型同质化严重。
在与MiniMax创始人闫俊杰的交流中，关于瓶颈与转折点他提到，现在所有模型错误率都是20%的量级，“真正的变革是，什么时间点有一个模型可以把错误率降低到个位数，这会是一个非常本质的变化。”未来大模型能否成功，傅盛也认为，大模型的天花板能否再上一个台阶很重要。
“至暗时刻觉得技术很重要”
这一轮的生成式AI是一场掀起巨大浪潮的社会生产力革命，傅盛认为，这波浪潮今天已经呈现出明显的泡沫迹象。
何为“泡沫”，傅盛认为，一方面是模型能力没有明显提升。“在一个以科技为核心的技术浪潮中，这是不太正常的。”每次写不同的东西，傅盛都会用好几个大模型互相比较，“有时候这个大模型更好用，有时那个更好用，当前大模型的同质化很严重。”
其次，说了这么久人工智能，“但真正的Killer APP（杀手级应用）并没有出现，不仅在C端没有出现，B端也未能出现。很多行业大模型都说自己有不少应用，但真正提效的并不多。”傅盛说，想要将大模型真正变成一个明显能提效的应用，还很有难度。
泼了盆冷水的同时，傅盛补充表示，泡沫不见得会使大模型发展崩塌，因为有点泡沫很正常，互联网早期也曾出现泡沫。
在今年6月演讲时，金沙江创投主管合伙人朱啸虎曾谈及GPT-5一直“跳票”时表示，“硅谷也高度怀疑GPT-5还有没有，即使出来在核心推理能力上还有没有显著的提高，这是很不确定的东西，今年年底是一个验金石。”他判断，大模型演化速度有放缓趋势，而迭代曲线放缓以后，应用层的机会就会更多。
不过，在波形智能创始人姜昱辰看来，大模型技术迭代其实并没有放缓，而是保持着2018年以来的增速，那一年基于Transformer架构的大规模语言模型预训练开始流行。从博士的自然语言处理研究到大模型创业，姜昱辰更早开始经历这轮大模型技术演化的进程。
“大家之所以有这样的感觉（技术迭代放缓）是因为大众是在2022年底、2023年初第一次看到这个技术，做了很多短时间的learning和追赶，追赶当然比较快。”姜昱辰对第一财经表示，把OpenAI做出来的技术学一遍，不叫“技术迭代”。
虽然行业此前有一句“没有应用的大模型一文不值”广为传播，但在很多从业者看来，大模型的技术同样重要，因为更好的应用一定建立在更好的技术之上，技术和应用是一个相互转化的串联关系。
在MiniMax刚刚过去的伙伴日活动上，闫俊杰在讨论中提到，“至暗时刻会觉得技术很重要。”
很多时候做技术时，并没有真正意识到技术为什么重要。闫俊杰举例表示，用户感受到的东西可能来自于一些产品细节，或者一些品牌，技术本身是好多个环节在一起，尤其在繁荣时期，可能分不清什么是主，什么是次，“当在某些时间点遇到瓶颈的时候，抛开所有的表象东西，会意识到技术才是最终提升的来源。”
“技术做不好的时候，发现所有东西都是问题，当技术做好了，似乎所有问题都被掩盖了，”闫俊杰表示，技术是一家科技公司最核心的要素这件事，尽管已深刻意识到，偶尔还是在继续犯错误，“这个是我在多次至暗时刻里最有共性的一件事。”
做技术也是一件非常奢侈的事，“如果看一眼我们每个月的账单还是会非常心疼的。”在采访中，说到这话时，闫俊杰几次看向了MiniMax技术总监韩景涛，也就是“账单的制造者”。
因为做技术可能会失败，研发投入很大，闫俊杰此前很多时候会想要不要走点捷径，但实践经验会证明，走捷径就会被“打脸”，“这个事在我这发生可能超过十次了。”
“一个东西要实验三次才能成功，第三次实验成功的时候，会想前面两次是不是可以不用做，就像吃包子吃三个会吃饱，就会想是不是前两个不用吃是一样的。”闫俊杰表示，这是做技术时一个比较容易犯的错误。
在各种关于模型技术细节的排行榜上，或许GPT-4o的跑分不常出现在第一，甚至会在中间，但在MiniMax基于真实客户的测试集中，OpenAI的GPT-4o是遥遥领先的。
在大模型时代，如何判断技术的好坏，大众很迷惑，企业同样觉得很难，但这个点很重要，因为技术的评价标准会决定模型的迭代方向，如果指标本身不对迭代方向可能就错了。
闫俊杰提到，MiniMax目前的一个办法是，基于MiniMax开发平台的3万多个开发者和付费客户，在他们的场景上构建一个真实使用的测试集，有些客户对他们的场景非常看重，要求保证产品的效果，基于这些客户真实使用的评测是较为客观的。
“这个测试集上所有国产化模型相比GPT-4o都相差较多，其他排行榜基本上GPT-4o都要排到中间去了，但是在我们的排行榜上确实GPT-4o排在最靠前。”闫俊杰提到，国内所有模型都与GPT-4o有本质的差距，且越难的问题差距越大。按照这个评估方式，国产模型的提升空间还很大。
静待下一转折点
大模型的下一个转折点在哪里？众多创业者有不同的答案，有人认为是错误率的降低，有人觉得是个性化的模型，有人认为关键在于小算力训练出大模型，背后或许意味着架构的改进。
朱啸虎曾提到，今年的大模型本身还是有很多错误，且出来的结果不可控，今天落地最困难的是，场景下怎么解决错误问题、可控问题。
现在所有的模型错误率都在20%左右，即两位数的错误率，有时惊艳，有时不靠谱，闫俊杰认为，这也是制约模型处理复杂任务的原因，“真正的变革是，什么时间点有一个模型可以将错误率降低到个位数。”这是能增加用户使用深度的核心手段。
复杂任务往往需要多个步骤“相乘”，较高的错误率导致失败率的指数增加。闫俊杰表示，即便是GPT-4这样的模型也无法支持非常灵活的Agent（智能体），这并不是因为Agent框架写得不够好，产品做得不好，最根本的原因是模型本身不够好。
但现在可以看到的是，每家公司有了算力，无论是OpenAI、谷歌还是Meta，都在加码算力。Meta CEO扎克伯格曾在社交媒体上表示，要建立一个大规模的计算基础设施，到2024年底，这一设施将包括35万张英伟达H100显卡，业界预估这或许将耗费近百亿美元。
算法也在进步，OpenAI在2023年只能做出来GPT-4，但2024年能做GPT-4o，虽然性能差不多，速度快了近10倍。
“计算量多了不止10倍，算法也快了10倍时，没有道理说训练不出来一个更好的模型。”闫俊杰提到，“如果Scaling law（尺度定律）是对的，未来这个模型一定会出现，标志就是个位数的错误率。”
在傅盛看来，降低错误率同样重要。“今天的大模型有20%-30%的知识幻觉，而且‘它不知道自己不知道’，这是在企业应用上非常重要的一大卡点。”想要真正落地一个应用，得用大量工程化的手段去解决以前通用人工智能认为它能干的活，这中间是有差距的。
问及大模型技术的下一个转折点，姜昱辰给了一个不一样的答案，她认为是“个性化”的技术。
“ToB的创业者会觉得错误率降低很重要，因为企业级、工业级场景中要的是极高准确率，而在消费场景中，要的是‘懂你’的个人助手。因此，对ToC创业者来说，个性化技术更重要。”对于不同的答案，姜昱辰解释，ToB和ToC不同的场景下会有不同的感知。
从难度上来说，大模型幻觉是概率模型固有的，不容易解决，但个性化大模型确实是技术层面可行的。姜昱辰提到，波形智能目前在做的是这个方向，主要的难点是算法，中间需要知道的是，这样的个性化生成式模型需要什么用户信息，如何用于模型自进化。
深思考创始人杨志明则认为，下一个转折点是，如何利用小算力训练出大模型、做好大模型的推理，在这背后，当下主流的Transformer架构需要堆积算力，“性价比太低”。架构的改进或许是重要的方向。
值得期待的是，近日有消息称，OpenAI将在今年秋天推出代号为“草莓”（Strawberry）的新模型。作为核心技术突破，草莓可能集成在ChatGPT内，帮助解决当前AI聊天机器人难以完成的复杂任务，如数学和编程问题。此外，草莓更会“思考”，在解决强主观性问题上更擅长。
“草莓”是前菜，消息人士透露，OpenAI正在开发下一代大型语言模型Orion（猎户座），草莓将为其生成高质量训练数据，以帮助减少大模型幻觉问题。能否突破瓶颈，带领行业进入下一转折点，最大的可能性还在OpenAI。
还没有评论，来说两句吧...