close
正在加载
AlphaFold、GPT-3和如何用人工智能增强智能(第2部分)
互联网 · 2023-12-22 19:31:07
币界网报道:

正如我们在第1部分中看到的,通过围绕人工智能模型的优势构建增强基础设施,可以开始解决许多重要问题。模型是否生成文本?围绕文本构建。它能准确预测3D结构吗?围绕三维结构构建。但是,完全从表面上看人工智能系统也有其自身的局限性。

Douglas Engelbart使用“共同进化”一词来描述人类的工具及其使用这些工具的过程如何适应和共同进化。GPT-3和DALL-E等模型代表了工具进化的一大步,但这只是等式的一半。当你围绕模型构建时,如果没有为模型构建新的工具和流程,你就会陷入困境。模特的弱点变成了你的弱点。如果你不喜欢结果,那就由你来解决。由于训练我们迄今为止讨论的任何大型复杂人工智能系统都需要大量的数据和计算,你可能没有资源来改变模型。

在整个(最近的)技术史上的共同进化。

这是一个有点棘手的问题:一方面,我们没有资源来显著改变模型。另一方面,我们需要更改模型,或者至少想出更好的方法来处理它,以解决我们的特定用例。对于GPT-3和DALL-E等基于提示的模型,解决这一固定模型难题的两种最简单方法是即时黑客攻击和微调,这两种方法都不是特别有效:

    提示破解:GPT-3和DALL-E对自然语言提示进行操作——给定一个描述性句子(在GPT-3的情况下,甚至是一系列输入/输出示例),模型会生成一个或多个输出。模型结果的强度在很大程度上取决于这个提示,那么当输出不能满足您的期望或应用程序的需求时会发生什么呢?你可以尝试一个新的提示!这种反复试验的方法被称为即时黑客攻击。微调:请注意,我之前说过,“你可能没有资源来更改模型”,而不是“你可能根本没有资源来改变模型”。事实证明,通过一个称为微调的过程可以稍微更改模型。如果您有一些特定于用例的数据,您可以将其提供给模型,模型会更好地适应您的应用程序,并且更有可能是准确的(即,它会根据您的应用进行微调)。尽管微调是对即时黑客的盲搜索的改进,但它需要数据,这通常意味着找到足够好的数据点并手动标记。

增强智能的目标是使这样的手动过程更加高效,这样人类就可以把更多的时间花在他们擅长的事情上,比如推理和制定战略。即时黑客攻击和微调的低效性表明,在过程进化中采取对等步骤的时机已经成熟。因此,在本节中,我们将探讨一些新主题的例子——为模型构建——以及它在创建更有效的增强工具中所起的作用。

游戏内资产,随需应变

举个例子,假设你是一个正在开发下一个在线游戏特许经营权的后起之秀。你已经看到《使命召唤》和《堡垒之夜》等游戏如何为自定义皮肤和游戏内资产创造了巨大成功(且利润丰厚)的市场,但你是一家资源有限的初创公司。因此,您不需要自己开发这些资产,而是将内容生成转移到DALL-E,DALL-E可以生成任何数量的皮肤和资产样式,只需花费一小部分成本。这是一个很好的开始,但迅速进入库存充足的资产商店是低效的。

为了减少手动操作,您可以将提示转换为GPT-3等文本生成模型。像《堡垒之夜》这样的游戏病毒性的关键是将许多关键游戏资产——武器、车辆、盔甲——与各种独特的风格和参考相结合,如引人注目的图案/颜色、超级英雄和最新的流行文化趋势。当您使用资产类型为GPT-3种子时,它可以在提示中生成任意数量的这些组合。把这个提示传给DALL-E,你的皮肤设计就出来了。

这种GPT-3到DALL-E的切换听起来很棒,但只有当它为用户提供刺激、高质量的皮肤设计时,它才能真正发挥作用。手动组合每个候选设计不是一种选择,尤其是在规模上。这里的关键是构建工具,让市场为你工作。用户涌向好的内容,对坏的内容没有耐心——像TikTok这样的应用程序完全基于这个概念。因此,用户参与将是一个强有力的信号,DALL-E提示对哪些有效(即,导致有趣的皮肤设计),哪些无效。

为了让用户为您完成工作,您需要构建一个递归循环,将用户活动与每个提示进行交叉引用,并将用户参与度指标转换为活动内容提示的排名。一旦你做到了这一点,普通的A/B测试将自动显示提示见解,你可以优先考虑好的提示,删除坏的提示,甚至可以将新生成的提示与你之前测试过的提示的相似性进行比较。

但这还不是全部——同样的用户参与信号也可以用于微调。

让我们再后退一步,关注GPT-3的性能。只要你跟踪你对GPT-3(资产类型+候选主题)的输入,你就可以将这些数据与你刚刚从内容管道中获得的质量排名结合起来,创建一个成功和不成功的输入-输出对的数据集。该数据集可用于微调GPT-3以游戏设计为中心的提示生成,使其更适合为应用程序生成提示。

一个周期性的、用户驱动的管道,用于自动提示管理和微调,以我们的游戏皮肤生成为例。

这种用户驱动的循环管道通过呈现最佳提示,帮助DALL-E为用户生成更好的内容,并通过对您自己的用户活动生成的示例进行微调,帮助GPT-3生成更好的提示。在不必担心迅速的黑客攻击和微调的情况下,你可以自由地处理更大的项目,比如哪些资产是下一个资产,哪些新的内容主题可能会带来更有趣的皮肤。

个性化学习体验

还有一个巨大的机会来构建连接创意产业和创意、个性化内容生成模型的中间件。人工智能模型及其支持的服务(例如Copilot)可以帮助解决需要创建新内容的用例。这再次需要利用我们对人工智能系统及其工作方式的理解,思考如何稍微修改其行为,以创造新的更好的体验。

想象一下,您正在构建一个学习编码的服务,该服务使用Copilot生成编程练习。开箱即用,Copilot将生成从单行代码到整个函数的任意位置,这取决于它作为输入提供的文档字符串。这太棒了——你可以很快地完成一系列练习!

不过,为了让这种教育体验更具吸引力,你可能需要根据用户的需求和兴趣定制Copilot生成的练习。例如,您可能希望跨维度进行个性化设置,例如:

    技能水平:这个很明显。练习应该在用户当前能力的金发姑娘区内——不要太容易,也不要太难。(因此,这也是所谓的“流动区”,即任务难度和用户能力的混合体,最有可能让用户进入流动状态。)年龄范围:如果用户是儿童,那么充满超级英雄和体育人物的例子可能是最令人兴奋的。如果用户是成年人,那么可爱的例子可能不如时事或流行文化参考那么吸引人。预期职业:很多人为了找到一份新工作而学习编码。能够解决与财务或安全相关的编程问题,可能会为未来的财务或安全工程师带来更充实的学习体验。

自己生成文档字符串既繁琐又手动,因此Copilot的个性化输出应该尽可能自动化。好吧,我们知道另一个人工智能系统GPT-3,它非常擅长生成几乎任何类型的文本——所以也许我们可以将文档字符串的创建卸载到GPT-3。

这可以通过以下两种方式之一实现。一种方法是要求GPT-3生成与特定技能或概念相对应的通用文档字符串(例如,循环、递归等)。只需一个提示,您就可以生成任意数量的样板文档字符串。然后,使用一个精心策划的目标主题和关键词列表(只需少量手动操作),您就可以将样板中的变量名替换为目标受众。或者,您可以尝试同时向GPT-3提供目标技能/概念和主题,并让GPT-3根据您的主题自动调整文档字符串。

当然,这个想法的成功取决于GPT-3内容的质量。首先,你要确保GPT/Copilot组合产生的练习适合年龄。也许像InstructGPT这样的对齐模型在这里会更好。

前进的道路

最近的人工智能夏季已经过去了十多年。人工智能社区的一系列活动带来了令人难以置信的突破,这些突破将对许多行业产生重大影响,并可能对整个人类的发展轨迹产生重大影响。增强智能代表着一个启动这一进程的机会,它所需要的只是对我们构建人工智能系统的设计原则进行一次轻微的重新定义。除了建立模型来解决问题,我们可以围绕模型和为模型思考新的基础设施建设方式;甚至基础模型可以协同工作的方式(如GPT-3和DALL-E或GPT-3+CoPilot)。

也许有一天,我们将能够把生活中的所有“肮脏工作”都交给一些通用人工智能,过上hakuna-mamatata式的生活,但在那一天到来之前,我们应该想到恩格尔巴特——少关注取代人类智能的机器,多关注那些足够精明的机器来增强它。

    Niko Grupen是康奈尔大学的博士生,他在那里思考人类智能的成分如何使人工智能更有能力。在加入康奈尔大学之前,Niko是苹果公司的机器学习工程师。关注Twitter网站
s_logo
App内打开