Facebook开发了AI算法该算法学会了即时玩扑克

发布时间：2020-07-30 11:45:12 【来源：】

Facebook研究人员已经开发了一个通用的AI框架，称为递归基于信念的学习(ReBeL)，他们说单挑，无限制的德州扑克游戏在单挑，无限制德州扑克中的表现要好于人类，同时使用的领域知识也比以前任何扑克AI都要少。他们断言，ReBeL是朝着开发用于多主体交互的通用技术迈出的一步，换句话说，就是可以在大规模多主体设置中部署的通用算法。从拍卖，谈判和网络安全到自动驾驶汽车和卡车，潜在的应用范围广泛。

将强化学习与AI模型训练和测试时间的搜索相结合，带来了许多进步。强化学习是代理商通过最大化奖励来学习实现目标的过程，而搜索是从开始到目标状态的导航过程。例如，DeepMind的AlphaZero运用强化学习和搜索功能，在棋类，将棋和围棋等棋盘游戏中获得最先进的表现。但是，将组合方法应用于诸如扑克(或剪刀石头布)之类的信息不完善的游戏时，性能会受到影响，因为它会做出许多在这些情况下不成立的假设。任何给定动作的价值取决于其被选择的可能性，并且更普遍地取决于整个游戏策略。

Facebook研究人员建议ReBeL提供修复程序。ReBeL建立在工作的基础上，其中“博弈状态”的概念得到了扩展，以包括代理商根据常识和其他代理商的政策对他们可能处于何种状态的信念。ReBeL通过自我强化学习为州训练了两个AI模型-一个价值网络和一个政策网络。它在自播放期间使用两种模型进行搜索。结果是一种简单，灵活的算法，研究人员声称该算法能够在大规模的两人不完全信息游戏中击败顶尖的人类玩家。

在较高的级别上，ReBeL在公众信仰状态而非世界状态(即游戏状态)上运行。公众信仰国家(PBS)将“国家价值”的概念推广到不完全信息的游戏中，例如扑克。PBS是在有限的可能动作和状态序列(也称为历史记录)上的常见知识概率分布。(概率分布是一种特殊的函数，可提供发生不同可能结果的可能性。)在完美信息游戏中，PBS可以提取到历史记录，而在两人零和游戏中，PBS可以有效地提取到世界状态。扑克中的PBS是玩家可以做出的一系列决定，以及特定手牌，底池和筹码时他们的结果。

ReBeL在每个游戏开始时都会生成一个与原始游戏相同的“子游戏”，只是它起源于最初的PBS。该算法通过运行“均衡查找”算法的迭代并使用训练后的值网络在每次迭代中近似值来赢得胜利。通过强化学习，发现值并将其添加为价值网络的训练示例，并且子游戏中的策略可选地添加为策略网络的示例。然后重复该过程，使PBS成为新的子游戏根，直到准确性达到某个阈值。

在实验中，研究人员对ReBeL进行了单挑德州扑克无限制扑克，骗子的骰子和转弯残局德州扑克游戏的基准测试，这是无限制德州扑克的一种变体，双方玩家都可以检查或跟注在四个下注回合中的前两个。该团队最多使用128台PC，每个PC带有8个图形卡来生成模拟游戏数据，并且他们在训练过程中随机选择了下注和筹码大小(从5,000到25,000筹码)。ReBeL接受了整场比赛的训练，并在残局德州扑克中有20,000美元下注其对手。

研究人员报告说，与被评为世界上最佳单挑扑克玩家之一的Dong Kim相比，ReBeL在7,500手牌中每手牌的下注速度快于两秒，而决策所需的时间从不超过五秒。他们说，与Facebook以前的扑克游戏系统Libratus的最高得分为147千分之多相比，他们平均每场对人类的游戏盲注(强迫下注)得分为165(千分之一)(千分之十六)。

由于担心启用作弊，Facebook团队决定不发布用于扑克的ReBeL代码库。相反，他们开放了Liar's Dice的实现源代码，他们说这也更易于理解和调整。他们在预印本中写道：“我们相信它使游戏更适合作为研究领域。”“虽然已经存在可以在扑克中实现超人性能的AI算法，但这些算法通常假定参与者拥有一定数量的筹码或使用一定的下注大小。重新训练算法以解决任意筹码量或意外的下注大小需要比实时可行更多的计算。但是，ReBeL可以在几秒钟内为任意筹码量和任意下注量计算策略。”

上一篇：Advertima斥资1750万美元用于店内零售的计算机视觉行为分析
下一篇：AMD在2020年第二季度的收入强因为它在英特尔的业务上有所增长