Facebook发布基于NetHack的AI开发工具

发布时间:2020-07-01 15:39:03 【来源:

Facebook的研究人员认为,NetHack游戏非常适合训练、测试和评估人工智能模型。今天,他们发布了NetHack学习环境,这是一个研究工具,用于测试强化学习代理的健壮性和泛化性。

几十年来,游戏一直是人工智能的基准。2013年,谷歌的子公司DeepMind展示了一个可以玩Pong、Breakout、Space Invaders、Seaquest、Beamrider、Enduro和Q*bert等超人类级别游戏的人工智能系统。据DeepMind联合创始人杰米斯·哈萨比斯(Demis Hassabis)等人说,这些进步不仅改善了游戏设计。相反,它们为将来某一天可能诊断疾病、预测复杂蛋白质结构和进行CT扫描的系统的发展提供了信息。

1987年首次发布的NetHack比人们想象的要复杂得多。它要求玩家下潜超过50个地下城等级来取回一个魔法护身符,在此期间,他们必须使用数百个物品并与怪物战斗,同时二者之间进行丰富的互动。《NetHack》中的关卡是程序生成的,而且每款游戏都是不同的,Facebook的研究人员注意到这一点是在测试目前最先进的AI的泛化极限。

NetHack在其轻量级架构中还有另一个优势。一个基于回合的、ascii艺术的世界和一个主要用C编写的游戏引擎抓住了它的复杂性。在渲染符号而不是像素时,它放弃了除最简单的物理之外的所有东西,重要的是,它允许模型快速学习,而不会在模拟动力学或渲染观察结果上浪费计算资源。

实际上,在云计算中训练复杂的机器学习模型的成本仍然高得令人望而却步。根据Synced最近发布的一份报告,华盛顿大学(University of Washington)的Grover网站专门针对假新闻的生成和检测,培训费用为2.5万美元,为期两周。OpenAI花费了每小时256美元来训练它的GPT-2语言模型,谷歌花费了大约6912美元来训练BERT,一个双向转换模型,它重新定义了11个自然语言处理任务的最新状态。

相比之下,使用TorchBeast框架,一张高端显卡就足以让人工智能驱动的NetHack代理每天走上亿步,该框架通过添加更多显卡或机器支持进一步扩展。agent甚至可以在合理的时间框架内在环境中经历数十亿个步骤,同时仍然挑战当前人工智能技术所能达到的极限。

NetHack提出了当前方法的前沿挑战,没有其他具有挑战性的模拟环境的计算成本。目前在NetHack上运行的标准深度(强化学习)代理只探索了整个NetHack游戏的一小部分。“在这个具有挑战性的新环境中取得进展,将需要(强化学习)因子超越白板学习。”

NetHack学习环境由三个组件组成:使用流行的OpenAI Gym API的Python NetHack接口、一套基准测试任务和一个基线代理。除此之外,它还包括七个基准任务,旨在衡量代理的进展,具体如下:

资源,他们希望这些资源可以用来提高代理的性能。例如,存在玩家回放数据仓库,模型可以直接从中学习,还有官方的NetHack指南、NetHack Wiki、在线视频和论坛讨论等资源。

  1. 楼梯:下降到地下城的较低水平
  2. 套装:照顾好你的宠物(让它活着并带着它深入地下城)
  3. 吃:找一些无毒的食物吃,避免挨饿
  4. 金币:在整个地下城收集金币
  5. 侦察:尽可能多地看到地下城
  6. 得分:获得较高的游戏分数(例如,杀死怪物,下降,收集金币)
  7. 神谕:到达一个重要的地标,神谕(出现在地下城4-9层)

合著者注意到NetHack包含了大量的外部研究人员写道:“我们相信,NetHack学习环境将激发对强化学习中稳健探索策略的进一步研究,制定长期规划,以及从模拟之外的资源转移常识。”“[它]为代理商提供了可供学习的大量经验,因此我们作为研究人员可以花更多的时间测试新想法,而不是等待结果。”此外,我们相信,它在不牺牲环境的艰难性和丰富性的前提下,使资源受限的实验室的研究人员更容易获得信息。”

《我的世界:地下城》新DLC将于12月9日正式推出
冒险游戏续作《Haydee2》登陆Steam 国区开启首周优惠
消息:由于索尼PS5游戏机热卖 索尼明年下半年末将推出一款经济型PS5
《古树旋律:重生》12月17日发售 售价2.99美元
SE发布免费动作手游《古墓丽影:重装上阵》由Emerald City Games开发制作
《足球经理2021》现已正式在Steam上发售 自带简体中文
科乐美新作《桃太郎地铁》短短几天销量突破50万 令网友惊叹
大乱斗类新游《动物之鬪:竞技场》上架Steam 将支持中文、远程同乐

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...