强人工智能吧 关注：3,742贴子：50,364
- 11回复贴，共1页
在认知科学领域，有很多互相竞争的理论框架，它们都试图来解释智能的行为。我个人特别喜欢的一方面是具身化（embodiment）/生成进路（enactive approach），这也是从法国的现象学家到现在的神经系统科学家也都认可的个体多样性研究方法。
身体和环境在认知、行为、有机体而非大脑的生成意义中占有中心支配地位，这也是使他们取得一致的关键。虽然这些想法涉及到许多认知科学和神经科学，但我们很少听到有人在关于人工智能的文章里讨论它们。我想要改变这一现状。
我最近读完了 Alva Noë 的 Action in Perception，他是生成论方法的提倡者之一。根据 Noë 所言，行为是认知的基础。作为智能生物，如果不能熟练地使用我们的感觉运动能力，我们将不能真正地拥有一套完整的感知经验。也是通过在特定环境里行为的方式，我们创造了这个感知的世界。这些技能都非常依赖于我们的身体，并且也存在着具身化影响力的理论。最近我一边研究增强学习算法一边看这本书，我不禁认为，这两个学科的方法是相互贯通的。
在人工智能的大环境中，身体和环境都不是触手可及的实体。对于每一个机器人或是自动驾驶汽车而言，我们日常遇到的基本都是一个无实体的 Siri 或其他聊天机器人。更有意思的是，我们创造了能够在围棋上打败世界冠军但并不拥有物理实体的 AlphaGo。（除非你认为服务器是它的物理实体，我不这样认为的原因会在另一篇文章里说明。）
在这篇文章中，我想要解释的是，虽然 AlphaGo 和其他类似的智能助手可能并没有字面意义上的物理实体，但是，他们拥有的是一种存在于虚拟增强学习环境中的虚拟身体。这种虚拟的具身化替身使得人工智能能够学习和生物一样的技能。
身体和环境在认知、行为、有机体而非大脑的生成意义中占有中心支配地位，这也是使他们取得一致的关键。虽然这些想法涉及到许多认知科学和神经科学，但我们很少听到有人在关于人工智能的文章里讨论它们。我想要改变这一现状。
我最近读完了 Alva Noë 的 Action in Perception，他是生成论方法的提倡者之一。根据 Noë 所言，行为是认知的基础。作为智能生物，如果不能熟练地使用我们的感觉运动能力，我们将不能真正地拥有一套完整的感知经验。也是通过在特定环境里行为的方式，我们创造了这个感知的世界。这些技能都非常依赖于我们的身体，并且也存在着具身化影响力的理论。最近我一边研究增强学习算法一边看这本书，我不禁认为，这两个学科的方法是相互贯通的。
在人工智能的大环境中，身体和环境都不是触手可及的实体。对于每一个机器人或是自动驾驶汽车而言，我们日常遇到的基本都是一个无实体的 Siri 或其他聊天机器人。更有意思的是，我们创造了能够在围棋上打败世界冠军但并不拥有物理实体的 AlphaGo。（除非你认为服务器是它的物理实体，我不这样认为的原因会在另一篇文章里说明。）
在这篇文章中，我想要解释的是，虽然 AlphaGo 和其他类似的智能助手可能并没有字面意义上的物理实体，但是，他们拥有的是一种存在于虚拟增强学习环境中的虚拟身体。这种虚拟的具身化替身使得人工智能能够学习和生物一样的技能。
这些方向上目前的研究
得到能考虑不能直接带来益处的但具有能带来更大奖励的可能性的经历的强化学习代理的基本问题已经以多种方式得到了解决。其中首要的一个问题是发现奖励探索其环境的代理的方式。这些方向的思想是通过鼓励探索，代理会遇到允许带来更大奖励的新型环境。这方面的有一些研究试图为探索开发不同类型的奖励。这种奖励的尺度通常被认为需要达到足以让探索新环境的代理惊讶的水平。
对于这样的一般定义，存在一些计算惊喜因子（surprise factor）的方法。一个研究团队使用的方法是确定代理对自己行动的预期奖励与真实奖励之间的差异。通过探索他们所称的 Prioritized Replay（点击「阅读原文」下载相关论文），代理可以更频繁地在可能产出预期之外的奖励的经历上进行训练。
另一种方法是分层规划（Hierarchical Planning）。其中的基本思想是开发能够学习将任务分解成更小的子任务的代理。这种方法是在代理完成一项必需的子任务后就给予奖励，而非固有地奖励它们自身，这让该代理可以以一种能够发现能带来新类型的行动的感知的方式采取行动。研究者已经使用这种技术构建了一个代理，其可以在 Atari 游戏《蒙特祖玛的复仇》上得到良好的表现。这个游戏对传统的强化学习很困难，因为该代理必须找到每个房间的锁的钥匙以得到奖励。这对我们来说可能听起来挺简单，但其涉及到在得到奖励前执行一系列有目的的行为。
尽管所有这些领域都是很有前途的方法，但对于社区来说还没有什么让人「豁然开朗」的方法。我们目前还不清楚可以如何让行为以一种自然的和通用的方法影响感知——就像神经结构中的「感知→行为」关系那样直观。但所有这些方向的研究目前都还处于起步阶段，而且我们也有一点怀疑我们能否在某一天发现这种方法。这种能力本质上对世界上的生物的生存是至关重要的，而且也是未来人工智能的关键。
得到能考虑不能直接带来益处的但具有能带来更大奖励的可能性的经历的强化学习代理的基本问题已经以多种方式得到了解决。其中首要的一个问题是发现奖励探索其环境的代理的方式。这些方向的思想是通过鼓励探索，代理会遇到允许带来更大奖励的新型环境。这方面的有一些研究试图为探索开发不同类型的奖励。这种奖励的尺度通常被认为需要达到足以让探索新环境的代理惊讶的水平。
对于这样的一般定义，存在一些计算惊喜因子（surprise factor）的方法。一个研究团队使用的方法是确定代理对自己行动的预期奖励与真实奖励之间的差异。通过探索他们所称的 Prioritized Replay（点击「阅读原文」下载相关论文），代理可以更频繁地在可能产出预期之外的奖励的经历上进行训练。
另一种方法是分层规划（Hierarchical Planning）。其中的基本思想是开发能够学习将任务分解成更小的子任务的代理。这种方法是在代理完成一项必需的子任务后就给予奖励，而非固有地奖励它们自身，这让该代理可以以一种能够发现能带来新类型的行动的感知的方式采取行动。研究者已经使用这种技术构建了一个代理，其可以在 Atari 游戏《蒙特祖玛的复仇》上得到良好的表现。这个游戏对传统的强化学习很困难，因为该代理必须找到每个房间的锁的钥匙以得到奖励。这对我们来说可能听起来挺简单，但其涉及到在得到奖励前执行一系列有目的的行为。
尽管所有这些领域都是很有前途的方法，但对于社区来说还没有什么让人「豁然开朗」的方法。我们目前还不清楚可以如何让行为以一种自然的和通用的方法影响感知——就像神经结构中的「感知→行为」关系那样直观。但所有这些方向的研究目前都还处于起步阶段，而且我们也有一点怀疑我们能否在某一天发现这种方法。这种能力本质上对世界上的生物的生存是至关重要的，而且也是未来人工智能的关键。
