先做个广告：如需代注册GPT4或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi

OpenAI这帮疯狂研究员又整出了个新玩意儿，叫GPT-4o mini，这玩意儿就像是AI界的袖珍版哥斯拉啊，麻雀虽小，五脏俱全！

推荐使用GPT中文版，国内可直接访问：https://ai.gpt86.top 

这就像是班上的矮个子突然在体育课上一骑绝尘，把那些长腿欧巴甩在身后！

想来各位都被铺天盖地的消息震麻了，这里就直接给个总结，说一下这GPT-4o mini是个什么妖怪：

1. 高性能和小尺寸：GPT-4o mini 是 OpenAI 最新的小型 AI 模型，比当前前沿模型更便宜、更快。它在涉及文本和视觉的推理任务上表现优于行业领先的小型 AI 模型。

2. 成本效益：GPT-4o mini 将取代 GPT-3.5 Turbo 作为 OpenAI 提供的最小模型，其运行成本比之前的前沿模型便宜 60% 以上。

3. 性能指标：在 MMLU 基准测试中，GPT-4o mini 的得分为 82%，在 MGSM 数学推理测试中的得分为 87%，分别高于其他小型模型的 79% 和 75%，以及 78% 和 72%。

4. 开发者和企业应用：该模型对开发者的价格为每百万输入 tokens 0.15 美元，每百万输出 tokens 0.60 美元，并且具有 128,000 tokens 的上下文窗口。企业用户将从下周开始获得访问权限。

5. 未来扩展能力：目前，GPT-4o mini 支持文本和视觉 API，未来将支持视频和音频功能。

简言之，就是又快又便宜，简直就是AI界的性价比之王！这玩意儿在推理任务上能把其他小模型按在地上摩擦，就像是一个被注射了兴奋剂的袖珍泰森，小拳头打得比大拳头还猛！

Andrej Karpathy 分析

Andrej Karpathy大佬激动地说："LLM模型大小竞争正在加剧...但是反向的！" 啥意思？就是说，未来的AI模型可能会越来越小，但是越来越聪明！

他说，现在的大模型就像是一个贪吃蛇，把整个互联网都吞进肚子里。它们不仅能背诵SHA哈希值，还能记住一些连你老爸都不知道的冷知识。但是，这种学习方式就像是你为了高考，把整个图书馆的书都背下来，结果考试时只用到了其中的一页！

那么，为什么不直接训练小模型呢？Karpathy说，这就像是想要教会一个孩子思考，但是你手头只有一堆垃圾杂志。你得先让这个孩子长大，变成一个博学多才的成年人，然后再让他来教导下一代。

这个过程就像是一个阶梯式的进化。每一代模型都会帮助生成下一代的训练数据，直到我们最终得到一个"完美的训练集"。到那时，即使是GPT-2这样的小模型，也能变得比现在的大模型更聪明。

网友热议

网友@rasbt说，这就像是知识蒸馏，从27B的大模型蒸馏出Gemma-2这样的小模型。但是他也提醒我们，MMLU这种多选题测试，就像是我们上学时的选择题，可以测试知识，但不能完全反映实际能力。

还有网友@krutosh调侃说，从房间大小的计算机到iPhone SE用了我们很长时间，但对于模型来说，可能只需要几年。看来，AI的进化速度比我们人类快多了，就像是坐了火箭一样！

@dkardonsky_ 更是直接甩出一张图，暗示我们可能正处在AI发展的拐点上。这让我想起了那句老话：站在风口上，猪都能飞起来。看来，我们正站在AI的风口上，是时候学会飞了！

有意思的是，@marshal_martian 提出了一个脑洞大开的想法：如果小模型表现得好，为什么不用更多的小模型来生成每个回答呢？ 就像是召集10个AI助手，然后让最聪明的那个做最后的总结。这简直就是AI界的"群策群力"啊！

当然，也有人想得更远。@atla_ 畅想道：想象一下，未来你的智能手表里就有一个离线模型，可以回答你关于人类智慧的大部分问题。这简直就是把整个图书馆戴在手腕上啊！

最后，让我们用@unclecode 的话来总结一下："我相信AGI不会来自一个大模型，而是来自许多小型专业模型的协调。" 这就像是说，未来的AI不是一个全能的超级英雄，而是一个由各路专家组成的复仇者联盟！

AGI 究竟是一个超级大模型，还是一群小模型的协调？

你怎么看？

相关链接