推荐使用国际直连GPT，立即访问： www.chatgp1.com
据The Information的最新报道，OpenAI即将推出的下一代ChatGPT模型——Orion（此前有传闻称将于今年年底发布，但随后被官方否认），其实际表现可能并不如宣传中所描绘的那般出色。
该报道引用了OpenAI内部匿名员工的言论，指出Orion相较于其前任GPT-4的改进幅度“远小于”GPT-4相对于GPT-3的飞跃。这些消息源还进一步透露，在处理特定任务，尤其是编码应用方面，Orion并未展现出比GPT-4更可靠的性能，尽管它在一般语言能力上，如文档总结或电子邮件生成方面，有了显著提升。
The Information的报告强调，用于训练新模型的“高质量文本及其他数据类型的供应量正在不断缩减”，这是导致Orion模型进步有限的主要原因。简而言之，人工智能行业正迅速遭遇训练数据瓶颈，已经从X（现Meta）、Facebook（现Meta旗下平台）和YouTube（曾两次被限制数据获取）等网站失去了社交媒体数据的便捷获取途径。因此，这些公司越来越难以找到能够推动模型超越当前能力的复杂编码挑战，进而减缓了模型发布前的训练速度。
训练效率的下降对生态系统和商业领域产生了巨大影响。随着前沿大型语言模型（LLM）的发展，其参数数量增至数万亿级别，预计未来十年内，能源、水和其他资源的消耗量将增长六倍。这解释了为何微软尝试重启三哩岛核电站、AWS购买了一座960兆瓦的电厂、谷歌收购了七座核反应堆的产出，以支撑其不断扩张的AI数据中心所需的电力——而美国当前的电力基础设施显然难以跟上这一需求。
为应对这一挑战，据TechCrunch报道，OpenAI已组建了一个“基础团队”，专门解决训练数据匮乏的问题。该团队可能探索的技术包括使用合成训练数据，例如Nvidia的Nemotron系列模型所能生成的数据。此外，他们还在研究如何提升模型训练后的性能。
Orion最初被视为OpenAI GPT-5的代号，现在预计将于2025年的某个时刻面世。至于我们是否有足够的电力供应来支持其运行，而不至于引发市政电网的瘫痪，这仍是一个有待观察的问题。