斯坦福大学AI研究人员介绍LILAC和动态环境的强化学习

发布时间：2020-07-02 15:18:29 【来源：】

斯坦福大学AI实验室(SAIL)的研究人员设计了一种方法，可以处理随时间变化的数据和环境，其性能优于某些强化学习的领先方法。终身潜在演员批评(也称为LILAC)使用潜在变量模型和最大熵策略来利用过去的经验来提高动态环境中的采样效率和性能。

他们在有关LILAC的论文中写道：“在各种具有非平稳性的具有挑战性的连续控制任务上，我们观察到与最新的强化学习方法相比，我们的方法带来了实质性的改进。”能够适应环境的强化学习可能能够，例如，当天气条件变化以及引入雨雪时，让机器人或自动驾驶汽车运行。

作者在动态强化学习环境中进行了四项测试，包括来自Meta-World基准的Sawyer机器人，OpenAI Gym中的半猎豹和2D导航任务。研究人员发现，与某些顶级强化学习方法(如伯克利AI Research(BAIR)于2018年推出的“软Actor-Critic”(SAC)和随机潜伏性Actor-Critic(SLAC))相比，LILAC在所有领域均获得了越来越高的回报。加州大学伯克利分校的研究人员在今年早些时候介绍了该方法。

斯坦福大学的研究人员谢妮(Annie Xie)，詹姆斯·哈里森(James Harrison)和切尔西·芬恩(Chelsea Finn)两周前在预印本仓库arXiv上发表了有关LILAC的论文。主要作者Xie还曾与UC Berkeley教授Sergey Levine一起在SAC和SLAC上工作。

“与这些方法相比，LILAC可以推断出未来情节中环境的变化，尽管在每个情节中都会经历环境的持续变化，但在训练过程中仍会保持较高的回报，”

作者说，LILAC方法与终身学习和在线学习算法具有相似之处。元学习和元强化学习算法也试图快速适应新的设置。

在其他最近的强化学习新闻中，来自Google Brain，卡耐基梅隆大学，匹兹堡大学和UC Berkeley的AI研究人员(再次包括Levine)最近引入了一种新的领域适应方法，即改变强化学习中智能体奖励功能的技术环境。像其他强化学习环境一样，该方法尝试使模拟器中的源域更像现实世界中的目标域。

根据上周发布的域适应文件，“该代理因进行过渡而受到惩罚，这将表明该代理是与源域还是目标域进行交互”。“在一系列控制任务上的实验表明，尽管仅观察到从目标域进行的少量转换，但是我们的方法可以利用源域来学习在目标域中可以很好运行的策略。”

研究人员使用分类器修改了奖励功能，以区分源域转换和目标域转换。他们在OpenAI Gym中通过三个任务测试了他们的方法。Google Brain和CMU的Benjamin Eysenbach是该论文的主要作者。

上一篇：Facebook的MARGE AI无需微调即可总结和翻译文档
下一篇：谷歌将其AI驱动的SmartReply引入YouTube