腾讯科技讯 6月1日消息,机器学习和人工智能初创公司Humanloop首席执行官拉扎·哈比比(Raza Habib)最近邀请人工智能研究公司OpenAI首席执行官萨姆·奥特曼(Sam Altman)以及其他20多位开发者,共同探讨了人工智能的未来。奥特曼非常坦率地分享了OpenAI未来两年的产品路线图,还谈到OpenAI的使命以及人工智能的社会影响等问题。

以下为访谈要点:

1、OpenAI严重受制于GPU短缺

在整个讨论中出现的一个共同主题是,目前OpenAI的GPU供应非常有限,这导致他们推迟了许多短期计划。客户最大的抱怨是API的可靠性和速度。奥特曼承认存在这种担忧,并解释说大部分问题是因GPU短缺所致。

长度为32k的上下文功能还不能推广给更多的人。OpenAI还没有克服相关技术挑战,所以虽然看起来他们很快(今年)就会有100k到1M令牌的上下文窗口,但更大的窗口都需要在研究上取得突破。

微调API目前也受到GPU可用性的限制。它们还没有使用Adapters或LoRa等高效的调优方法,因此调优的运行和管理需要大量的计算。将来会有更好的微调支持。他们甚至可以托管一个社区贡献模型的市场。

专用容量供应受GPU可用性的限制。OpenAI也提供专用容量,为客户提供该模型的私人副本。但要使用这项服务,客户必须愿意支付相当于10万美元的费用。

2、OpenAI的近期路线图

奥特曼分享了他所看到的OpenAI API临时近期路线图。

2023年:

更便宜、更快的GPT-4:这是OpenAI的首要任务。总的来说,OpenAI的目标是尽可能地降低“智能成本”,因此他们将努力随着时间的推移继续降低API的成本。

更长的上下文窗口:在不久的将来,上下文窗口可能高达100万令牌。

微调API:微调API将扩展到最新的模型上,但其确切形式将由开发者真正想要的元素来决定。

支持会话状态的API:当你今天调用聊天API时,你必须反复地传递相同的会话历史,并反复支付同样的令牌。将来,会有一个版本的API可以记住会话历史记录。

2024年:

多模态:这在GPT-4发布时进行了演示,但在更多GPU上线之前不能扩展到所有人。

3、插件“没有PMF”,可能不会很快出现在API中

许多开发人员都对通过API访问ChatGPT插件感兴趣,但奥特曼说他认为这些插件不会很快发布。除了浏览,插件的使用表明他们还没有PMF。奥特曼表示,很多人认为他们希望自己的应用被集成到ChatGPT中,但实际上,他们真正想要的是将ChatGPT引入自己的应用中。

4、OpenAI将避免与他们的客户竞争,除了ChatGPT

许多开发者表示,他们对使用OpenAI API构建产品感到紧张,因为OpenAI最终可能会发布与他们竞争的产品。对此,奥特曼表示,OpenAI不会发布更多ChatGPT之外的产品。他说,许多伟大的平台公司都有自己的杀手级应用,ChatGPT将允许他们通过成为自家产品的客户来改进API。ChatGPT的愿景是成为一个超级智能的工作助手,但还有很多其他的GPT用例是OpenAI无法触及的。

5、监管是必要的,但开源同样重要

虽然奥特曼呼吁对未来的模型进行监管,但他并不认为现有的模型是危险的,认为监管或禁止它们将是一个大错误。奥特曼强调了开源的重要性,并表示OpenAI正在考虑开源GPT-3。他们还没有开源的部分原因在于,他怀疑有多少个人和公司有能力托管大语言模型。

6、缩放定律仍然成立

最近许多文章都声称“巨型人工智能模型的时代已经结束”,但奥特曼表示,这并没有准确地表达他的意思。

OpenAI的内部数据表明,模型性能的缩放定律仍然成立,扩大模型将继续可以帮助提升性能。但这种扩展速度无法维持下去,因为OpenAI在短短几年内就把模型放大了数百万倍,这样做是不可持续的。不过,这并非意味着OpenAI将停止扩大模型,只是意味着它们的规模可能每年只会增加一倍或三倍,而不是以指数级速度增长。

缩放定律继续发挥作用的事实对通用人工智能(AGI)开发的时间线具有重要意义。缩放假设是指,我们可能已经具备了构建AGI所需的大部分要素,剩下的大部分工作将是采用现有方法,并将其扩展到更大的模型和更大的数据集上。如果缩放时代已经结束,那么我们应该期待AGI离我们更遥远。但事实上,缩放定律继续成立的事实强烈地暗示了时间线正变得更短。




中国企业电子商务网版权及免责声明:
1. 凡本网注明“来源: 中国企业电子商务网” 的所有作品,版权均属于中国企业电子商务网。如转载,须注明“来源:中国企业电子商务网”。违反上述声明者,本网将追究其相关法律责任。
2. 凡本网注明 “来源:XXX(非中国企业电子商务网)” 的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3. 任何单位或个人认为中国企业电子商务网的内容可能涉嫌侵犯其合法权益,应及时向中国企业电子商务网书面反馈,并提供相关证明材料和理由,本网站在收到上述文件并审核后,会采取相应措施。
4. 中国企业电子商务网对于任何包含、经由链接、下载或其它途径所获得的有关本网站的任何内容、信息或广告,不声明或保证其正确性或可靠性。用户自行承担使用本网站的风险。
6. 如因版权和其它问题需要同本网联系的,请依照下方联系方式进行沟通,我们将第一时间进行处理。
联系邮箱: webmaster@ccecw.com