路卡利欧带你读论文（一）

· · 个人记录

我们这次来读 https://science.sciencemag.org/content/369/6506/915（The foundation of efficient robot learning）的第 1、2 段，剩下的内容会连载的（

注意，斜线（/）前面的文字为我的翻译，后面的文字为机器翻译。

目录

第 1 段是这样的：

The past 10 years have seen enormous breakthroughs in machine learning, resulting in game-changing applications in computer vision and language processing. The field of intelligent robotics, which aspires to construct robots that can perform a broad range of tasks in a variety of environments with general human-level intelligence, has not yet been revolutionized by these breakthroughs. A critical difficulty is that the necessary learning depends on data that can only come from acting in a variety of realworld environments. Such data are costly to acquire because there is enormous variability in the situations a general-purpose robot must cope with. It will take a combination of new algorithmic techniques, inspiration from natural systems, and multiple levels of machine learning to revolutionize robotics with general-purpose intelligence.

让我们从头开始：

The past 10 years have seen enormous breakthroughs in machine learning, resulting in game-changing applications in computer vision and language processing.

首先先看到“The past 10 years have seen”，这里 see 表见证。后面的 resulting in，实际上是省略掉了“which is”，一般的定语从句中，“which be”可以省去。

整句话的翻译：过去的 10 年见证了在机器学习领域的巨大突破，从而带来了有巨大作用的有关计算机视野和语言处理的应用。 / 在过去的十年中，机器学习取得了巨大突破，从而改变了计算机视觉和语言处理的应用。

The field of intelligent robotics, which aspires to construct robots that can perform a broad range of tasks in a variety of environments with general human-level intelligence, has not yet been revolutionized by these breakthroughs.

“field” 表领域，这一领域所追求的是建造机器人。注意 aspire 一般有两种用法：

中间用了非限制性定语从句，这段话是补充信息，一般删去不影响阅读。那我们先删去看一下是怎么样的：

The field of intelligent robotics has not yet been revolutionized by these breakthroughs. 智能机器人领域暂时还没有因这些突破而掀起一场革命。

大意理解了，看中间部分：

..., which aspires to construct robots that can perform a broad range of tasks in a variety of environments with general human-level intelligence, ...

先看“aspire”这个词，有 2 种用法：

举个例子：

Rom aspired to be skilled in OI. - Rom 希望让 OI 成为他的长项 / Rom 渴望精通 OI。

a broad range of 与 a wide range of 可以互换。

这句话就没什么好说的了，直接翻译就好：（智能机器人领域）希望构建可以以人类的平均智力完成一系列任务的机器人。

整句话翻译就是（稍微调整一下语序）：以构建可以以人类的平均智力完成一系列任务为目标的智能机器人领域暂时还没有因这些突破而掀起一场革命。 / 希望构建具有在一般人类水平的智能条件下可以在各种环境中执行各种任务的机器人的智能机器人领域尚未受到这些突破的革命。

A critical difficulty is that the necessary learning depends on data that can only come from acting in a variety of realworld environments.

这句没有什么好讲的，那就拓展一点罢：

翻译：一个关键的困难是必要的机器学习依赖于只可以在现实生活的环境中操作的数据。 / 一个关键的困难是，必要的学习取决于只能在各种现实环境中进行操作的数据。

Such data are costly to acquire because there is enormous variability in the situations a general-purpose robot must cope with.

这题我想的时候卡了一下，因为后面“there is enormous variability in the situations a general-purpose robot must cope with”这里不太好说清楚它的句式结构，但是我更加将其倾向于定义成倒装句。因为这里后面是一个独立的句子（in the situations a general-purpose robot must cope with），这里采用了完全倒装（In 在句首）。

搞清楚这一点，翻译就很容易了。

翻译：如此的数据需求成本是过于昂贵的，因为通用机器人所需要应对的情况存在着巨大的不确定性。 / 此类数据的获取成本很高，因为通用机器人必须应对的情况存在很大的可变性。

It will take a combination of new algorithmic techniques, inspiration from natural systems, and multiple levels of machine learning to revolutionize robotics with general-purpose intelligence.

It'll take sth. to do sth. 是一个比较常用的句式模板，举个例子：

It will take me 2 hours or more to finish such amount of work. 我至少要花 2 个小时才能完成这么多的工作。

这边的 take 可以换成 require 等词汇。

翻译：其需要新算法技术、来自自然的系统的灵感和多个级别的机器学习的组合以达成一场在拥有着通用智力的机器人之间的革命。 / 它需要结合新的算法技术，自然系统的启发以及多种级别的机器学习，才能用通用智能彻底改变机器人技术。

第 2 段是这样的：

Most of the successes in deep-learning applications have been in supervised machine learning, a setting in which the learning algorithm is given paired examples of an input and a desired output and it learns to associate them. For robots that execute sequences of actions in the world, a more appropriate framing of the learning problem is reinforcement learning (RL) (1), in which an “agent” learns to select actions to take within its environment in response to a “reward” signal that tells it when it is behaving well or poorly. One essential difference between supervised learning and RL is that the agent’s actions have substantial influence over the data it acquires; the agent’s ability to control its own exploration is critical to its overall success.

我们还是一句一句来：

Most of the successes in deep-learning applications have been in supervised machine learning, a setting in which the learning algorithm is given paired examples of an input and a desired output and it learns to associate them.

“be in” 表范围，表示前者范围在后者中，如：

The success of this project is in the field of quantum mechanics. 该项目在量子力学领域中取得了成功。 / 该项目的成功在于量子力学领域。

后面的定语从句用来修饰 supervised machine learning，大意也不难理解。

翻译：在深度学习中取得成功的应用大部分发生在被监督的机器学习下，即机器所采用的算法被提供了输入和期望的输出样例，让机器学习去将它们关联起来。 / 深度学习应用的大多数成功都发生在有监督的机器学习中，在这种情况下，学习算法被提供了输入和期望输出的配对示例，并学习将它们关联起来。

For robots that execute sequences of actions in the world, a more appropriate framing of the learning problem is reinforcement learning (RL) (1), in which an “agent” learns to select actions to take within its environment in response to a “reward” signal that tells it when it is behaving well or poorly.

这是一个长句子，我们拆分着看。

For robots that execute sequences of actions in the world, ...

“For”后面接对象，表示对于这种对象的特例，一般后面解解决方法、后果、建议等，如：

For people who drink too much tea, they might suffer from withdrawl when they stop drinking them suddenly. (For + 对象, 后果)

For people who suffer from obesity, they can lose weight via doing more exercises. (For + 对象, 建议)

那么接下来看逗号后面：

..., a more appropriate framing of the learning problem is reinforcement learning (RL) (1), ...

这里，framing 表示“框架”。这句话没什么好讲的，继续：

..., in which an “agent” learns to select actions to take within its environment in response to a “reward” signal that tells it when it is behaving well or poorly.

我们断一下句：

in which / an “agent” / learns to select actions to take / within its environment / in response to a “reward” signal / that tells it / when it is behaving well or poorly.

那么这里就是在讲述一个机器人在其环境内，通过对可以评判其动作好坏的“奖励”信号的响应而学习去采取行动。

那么翻译就简单了：对于那些需要在现实生活中执行一系列行动的机器人而言，一个更加适合的训练方法是强化训练。在这种学习中，一个机器人在其环境内，通过对可以评判其动作好坏的“奖励”信号的响应而学习去采取行动。 / 对于执行世界上一系列动作的机器人来说，学习问题的一个更合适的框架是强化学习，在这种学习中，“代理”学会选择响应于“奖励”而在其环境中采取的行动。告诉它何时运行良好或不良。

One essential difference between supervised learning and RL is that the agent’s actions have substantial influence over the data it acquires; the agent’s ability to control its own exploration is critical to its overall success.

没什么好讲的，直接放翻译罢：在监督学习和强化学习间，一个比较显著的差别是机器人的行为对其所需的数据有着巨大的影响。同时，机器人控制他的探索的能力对整体的成功至关重要。 / 监督学习和RL之间的一个本质区别是，代理的行为对其所获取的数据具有重大影响。代理商控制自己的勘探的能力对其整体成功至关重要。

全篇翻译

过去的 10 年见证了在机器学习领域的巨大突破，从而带来了有巨大作用的有关计算机视野和语言处理的应用。以构建可以以人类的平均智力完成一系列任务为目标的智能机器人领域暂时还没有因这些突破而掀起一场革命。一个关键的困难是必要的机器学习依赖于只可以在现实生活的环境中操作的数据。如此的数据需求成本是过于昂贵的，因为通用机器人所需要应对的情况存在着巨大的不确定性。其需要新算法技术、来自自然的系统的灵感和多个级别的机器学习的组合以达成一场在拥有着通用智力的机器人之间的革命。 / 在过去的十年中，机器学习取得了巨大突破，从而改变了计算机视觉和语言处理的应用。希望构建具有在一般人类水平的智能条件下可以在各种环境中执行各种任务的机器人的智能机器人领域尚未受到这些突破的革命。一个关键的困难是，必要的学习取决于只能在各种现实环境中进行操作的数据。此类数据的获取成本很高，因为通用机器人必须应对的情况存在很大的可变性。它需要结合新的算法技术，自然系统的启发以及多种级别的机器学习，才能用通用智能彻底改变机器人技术。

在深度学习中取得成功的应用大部分发生在被监督的机器学习下，即机器所采用的算法被提供了输入和期望的输出样例，让机器学习去将它们关联起来。对于那些需要在现实生活中执行一系列行动的机器人而言，一个更加适合的训练方法是强化训练。在这种学习中，一个机器人在其环境内，通过对可以评判其动作好坏的“奖励”信号的响应而学习去采取行动。在监督学习和强化学习间，一个比较显著的差别是机器人的行为对其所需的数据有着巨大的影响。同时，机器人控制他的探索的能力对整体的成功至关重要。 / 深度学习应用的大多数成功都发生在有监督的机器学习中，在这种情况下，学习算法被提供了输入和期望输出的配对示例，并学习将它们关联起来。对于执行世界上一系列动作的机器人来说，学习问题的一个更合适的框架是强化学习，在这种学习中，“代理”学会选择响应于“奖励”而在其环境中采取的行动。告诉它何时运行良好或不良。监督学习和RL之间的一个本质区别是，代理的行为对其所获取的数据具有重大影响。代理商控制自己的勘探的能力对其整体成功至关重要。

词汇总结

词语 词性 释义（英文） 释义（中文）
game-changing adj. having a big effect on the conditions in an area such as business 有巨大影响的
aspire v. to want something very much or hope to achieve something or be successful 渴望；追求
general-purpose adj. a general-purpose product is used for many different things, rather than one particular thing 通用的
substantial adj. large in size, value, or importance 可观的；巨大的

阅读理解

  1. Has the breakthrough in machine learning resulted in a huge revolution among robotics with general-purpose intelligence? (T / F)
  2. Why did author say that "Such data are costly to acquire"?
  3. Arccording to the paragraph, can you show us the main opinion towards the revolutionaty in fields of intelligent robotics?
  4. What is the difference between supervised learning and RL?
  5. Try to predict that what will happen if RL model is used to train agents that are to be applied to some interesting real world problems?

生草环节

在过去的十年中，已采取步骤通过机器学习彻底改变计算机和语言处理应用程序。我们希望创建一个复杂的机器人领域，该领域可以执行各种任务，并可以在各种环境中执行完整的人类智能，但是这些成就尚未发生重大变化。最大的挑战是学习过程仅基于可以在其他情况下进行管理的信息。通常，机器人必须处理内容，因此数据检索非常昂贵。结合算法的新技术，自然呼吸系统和分级机器，机器人必须完全转变为常识。 深入研究项目的成功很大程度上取决于机器学习。在这种情况下，学习算法提供了用于通过一对学习和一对输出对进行学习的示例。对于世界上移动缓慢的机器人，学习能力（RL）是学习问题的最佳基础，“代理”不是“平等”，也不是“环境”。决定采取什么预防措施。如果可能，找出原因。 R.L.阅读管理。两者之间的主要区别在于它们对参与者收集的信息有重大影响。代理监视独立分析其整体成功的能力。

（也没有太生草嘛