请选择 进入手机版 | 继续访问电脑版

超级大本营军事论坛

 找回密码
 加入超大军事

QQ登录

只需一步,快速开始

查看: 5940|回复: 33
收起左侧

阿里人工智能新研究:在星际争霸中实现多兵种协同作战

[复制链接]
发表于 2017-4-5 15:29 | 显示全部楼层 |阅读模式

更多精彩专业军事内容,期待你的加入!

您需要 登录 才可以下载或查看,没有帐号?加入超大军事

x
http://it.sohu.com/20170402/n486130959.shtml


选自arXiv
作者:Peng Peng等
机器之心编译
参与:李泽南
  
在围棋和德州扑克后,RTS 游戏《星际争霸》已经成为人工智能研究者们征服的下一个目标。近日,来自阿里巴巴和伦敦大学学院(UCL)的研究者们发表了一项新研究,他们宣称人工智能控制的多个游戏单位在无监督学习的情况下已经可以发展出类似于人类玩家的战术。这种协同多个人工智能体新方法或许可以为研究者们带来启示,
过去十年里,人工智能技术有了突飞猛进的发展。在有监督学习的情况下,机器已经可以展现达到甚至超越人类认知水平的图像识别语音识别能力。而在指定奖励目标后,单体人工智能(即智能体,agent)在 Atari 游戏围棋德州扑克等项目上也打败了人类最强选手。
然而,人类智慧很大一部分在于社会和集体智慧,这也是实现通用人工智能的基础。人工智能的下一大挑战在于让不同智能体实现合作与竞争。对于研究者而言,经典即时战略游戏(RTS)《星际争霸》是进行此类实验的绝佳实验环境。在游戏中,每个玩家都需要控制不同的兵种,在不同的地形条件下与对手展开斗争。《星际争霸》系列游戏因为变化的多样性,对人工智能而言比围棋更加复杂,引起了 DeepMind 等公司和研究机构的兴趣。同时,这种大型多智能体系统的协同学习面临着计算性能的限制——参数空间会随着涉及智能体数量的增多而呈指数性增长,这意味着任何联合学习的方式都是无效的。
在本研究中,来自阿里巴巴和 UCL 的研究者们把多智能体星际争霸战斗任务设定为零和随机游戏。不同智能体通过新提出的双向协调网络(BiCNet)来相互交流,而学习是通过评估-决策方式来完成的。此外,研究者们还提出了共享参数与动态分组的概念,以解决扩展性的问题。
论文:Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games
摘要
现实世界的人工智能(AI)应用通常需要多个智能体协同工作。人工智能体之间有效的沟通和协调是迈向通用人工智能不可或缺的一步。在本论文中,我们以 RTS 游戏《星际争霸》为测试场景,设定任务为多个智能体互相协作试图击败敌人。为了保证沟通方式有效且可扩展,我们引入了多智能体双向协调网络(BiCNet),它具有向量化扩展评价器(actor-critic)形式。我们验证了 BiCNet 可以协调不同兵种,在不同的场景和两方智能体数量任意的情况下正常工作。我们的分析证明,在没有手动标记数据进行监督学习的情况下,BiCNet 可以学会多种有经验的人类玩家展示出的协调策略。而且,BiCNet 能够轻松适应异构智能体任务。在实验中,我们在不同的场景下用我们的新方法与不同的基准进行了对比;BiCNet 展现出了最先进的性能,它具有在现实世界大规模应用的潜在价值。
图 1:双向协调网络(BiCNet)示意
图 2:三个机枪兵(人工智能)对阵一个提速狗(小狗的升级,加移动速度和攻击速度)。如图(a)和(b)显示,在训练初期三个单位会发生碰撞,而在充分训练后(图 c、d),各智能体学会了协调一致。
图 3:三个机枪兵(人工智能)对阵一个狂热者(敌人)时学会了 Hit and Run 策略。
图 4:四个龙骑(人工智能)围杀一个雷兽(敌人),被攻击的龙骑学会了躲避。
图 5:三个机枪兵(人工智能)围杀一个小狗(敌人)。
在三个机枪兵对阵一个小狗的任务中(图 5),研究人员调整敌人的数量和小狗的血量与攻击力进行了多次测试。实验发现,BiCNet 只会在小狗血量高于 210,攻击力为 4 的情况下使用围杀策略,而小狗的默认血量为 35,攻击力为 5。
表 1:人工智能在不同血量和攻击力敌人情况下的胜率。训练步数 100k/200k/300k。
图 6:人工智能在十五个机枪兵对战的情况下学会了「集火」策略。
图 7:控制多兵种的人工智能协同完成任务:两架运输机、两个坦克对阵一个雷兽。
  图 8:batch_size 和 skip_frames 在两个机枪兵对一个提速狗的任务中对胜率产生的影响。
  图 9(左):在十个机枪兵对阵十三个小狗任务中,集火小组人数对于胜率的影响。图 10(右):不同人工智能方法的胜率曲线(10 枪兵 vs.13 小狗任务),BiCNet 的表现最好。
表 2:不同兵种对战的表现对比。其中 M=机枪兵,Z=小狗,W=幽灵战机。
BiCNet 是一种利用双向神经网络的多智能体强化学习框架。通过构建矢量化的评估-决策方式,其中每个维度对应一个智能体。智能体之间的协调通过内部双向通信完成。通过端到端学习,BiCNet 可以成功地学会多种有效协同策略。本研究证明了这一系统可以在即时战略游戏《星际争霸》中协调各兵种,产生多种有效战术。在实验中,研究者们发现指定奖励和学习策略存在很强的相关性。他们计划进一步研究这种关系,探索智能体在网络中是如何进行交流的,以及它们是否会生成一种特定的语言。此外,当双方都使用了深度多智能体模型进行游戏时,研究其中的纳什均衡问题将会非常有趣。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-5 16:40 | 显示全部楼层
这种平面化RTS的AI还相对简单,到了COH,COW等立体化作战的游戏里难度立刻倍赠,不过这两年AI的发展速度真是惊人。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-5 16:56 | 显示全部楼层
......
这种游戏就应当用AI操作
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-5 20:08 | 显示全部楼层
如果星际争霸ai选手战胜了人类,那又是ai发展的一大步
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-6 13:09 | 显示全部楼层
不知怎么控制的,限制不限制APM?
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-6 13:30 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

iewgnem 发表于 2017-4-6 13:09
不知怎么控制的,限制不限制APM?

看过介绍,限制的,比人类专业选手低一档次,好像是150
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-6 15:29 | 显示全部楼层
恐怕打不过了
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-7 01:01 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

xyhmf 发表于 2017-4-6 13:30
看过介绍,限制的,比人类专业选手低一档次,好像是150

150APM还不如一般玩家啊,至少解放到2xx吧
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-7 04:29 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

x998877661 发表于 2017-4-7 01:01
150APM还不如一般玩家啊,至少解放到2xx吧

摆脱 电脑的APM全是有效APM  对于人类至少翻倍计算
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-7 10:00 | 显示全部楼层
等AI深度学习学会了如何在博弈中追求自己利益的最大化时

AI战场参谋就该出线了,可以应用于商场或战场
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-7 11:46 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

1939797037 发表于 2017-4-7 04:29
摆脱 电脑的APM全是有效APM  对于人类至少翻倍计算

无效乱点大多出现在非战斗场景,战斗中基本都是有效的
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-7 13:16 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

x998877661 发表于 2017-4-7 11:46
无效乱点大多出现在非战斗场景,战斗中基本都是有效的

那得看人啊,
JBR1700的APM,还不是个笑话
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-9 19:10 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

sheepszhu 发表于 2017-4-7 13:16
那得看人啊,
JBR1700的APM,还不是个笑话

还在玩的正常的普通玩家战斗时刻,有效APM都远超150
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-25 17:18 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

waterskyxsz 发表于 2017-4-5 20:08
如果星际争霸ai选手战胜了人类,那又是ai发展的一大步

用AI在游戏里和人对战,人类必输,别的不说光操作都跟不上AI
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-4-25 19:05 超大游击队员 | 显示全部楼层
518 发表于 2017-4-25 17:18
用AI在游戏里和人对战,人类必输,别的不说光操作都跟不上AI

你想多了,现在即时战略类游戏和moba游戏对ai依然是无法障碍
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 14:14 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

waterskyxsz 发表于 2017-4-25 19:05
你想多了,现在即时战略类游戏和moba游戏对ai依然是无法障碍

这种游戏对AI没有非常大的难度,过不了几年就完虐人类。

150有效APM就非常可怕了。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 14:55 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

starsea 发表于 2017-5-4 14:14
这种游戏对AI没有非常大的难度,过不了几年就完虐人类。

150有效APM就非常可怕了。

你想多了,难点不在手速。我们要的是ai不是一个手速机器人,这类ai现在还无法做到针对游戏态势进行抉择判断
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 15:59 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

1939797037 发表于 2017-4-7 04:29
摆脱 电脑的APM全是有效APM  对于人类至少翻倍计算


这个要看什么时候,前期肯定是插旗子热热身,战斗中三百多的APM应该没多少虚的。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 16:44 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

waterskyxsz 发表于 2017-5-4 14:55
你想多了,难点不在手速。我们要的是ai不是一个手速机器人,这类ai现在还无法做到针对游戏态势进行抉择判 ...


别的不说,小地图一个probe就能虐的其它农民欲仙欲死。

你要知道,AI是可以N多线一起操作,而且永远不会疲倦的。这才是AI最可怕的地方。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 17:29 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

x998877661 发表于 2017-4-7 01:01
150APM还不如一般玩家啊,至少解放到2xx吧

人类APM是有废操作的好不好
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 17:29 | 显示全部楼层
能玩好星际争霸的人,指挥现实中军队绝对没问题
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 17:42 | 显示全部楼层
星际争霸母巢之战,是有bwapi接口的,懂编程的都可以尝试自己去编ai试试,由于暴雪默认AI过于弱智,以前就有人编过一些简单AI以提高电脑难度。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-4 17:59 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

sheepszhu 发表于 2017-4-7 13:16
那得看人啊,
JBR1700的APM,还不是个笑话

在超大居然都能看到JBR了...
那到底飞龙骑脸怎么输?
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-5 09:23 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

waterskyxsz 发表于 2017-4-25 19:05
你想多了,现在即时战略类游戏和moba游戏对ai依然是无法障碍

早些天阿里晒星际争霸的亮度在于那是无监督学习,AI自行发展出职业圈的操作和战术
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-5-5 09:24 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

认真的老百姓 发表于 2017-5-4 17:29
人类APM是有废操作的好不好

连废操作,上300+的职业选手太多了
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-7-23 15:37 | 显示全部楼层
智能化战争正在走来。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-7-26 23:43 | 显示全部楼层
未来十年很有可能是人工智能迅速崛起的十年。
想想十年前的科技产品,再看看今天,发展速速非常快,未来的十年肯定更快,人工智能已经初露端倪。
预言一下,十年后,人工智能的普及程度会像今天的智能手机。十年后再来看。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-7-27 11:07 | 显示全部楼层
战争节奏越来越快,终有一天人类会跟不上的,到时候就得靠AI辅助了
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-7-29 17:33 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

ydc02 发表于 2017-4-7 10:00
等AI深度学习学会了如何在博弈中追求自己利益的最大化时

AI战场参谋就该出线了,可以应用于商场或战场

不行啊,你还得先建立战场模型。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-7-29 22:16 | 显示全部楼层
期待看到星际AI与人类顶尖高手一战
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-7-31 13:53 超大游击队员 | 显示全部楼层
无名~~~ 发表于 2017-7-29 17:33
不行啊,你还得先建立战场模型。

AI不需要游戏模型。你要是看过AI学习玩超级马力欧或其它游戏的视频就懂了,AI只需要像素输入,控制键输出,分数回馈,这三个元素就够了。中间的过程完全是AI自己摸索学习,没人教。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-8-4 16:02 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

kukiyi 发表于 2017-7-31 13:53
AI不需要游戏模型。你要是看过AI学习玩超级马力欧或其它游戏的视频就懂了,AI只需要像素输入,控制键输出 ...

“AI只需要像素输入,控制键输出,分数回馈”
这工作流程感觉本质上跟人一毛一样啊。。。不愧是智能化啊
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-8-6 23:37 | 显示全部楼层
一个单位一个线程,每个单位互相配合,这个配合几乎是瞬间的,要人操作就要一个个来操作,要么划个圈走起打群架。
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
发表于 2017-8-7 09:33 | 显示全部楼层

RE: 阿里人工智能新研究:在星际争霸中实现多兵种协同作战

sheepszhu 发表于 2017-4-7 13:16
那得看人啊,
JBR1700的APM,还不是个笑话

1700,每秒接近30!!!看起来简直就是手抽筋啊
最具影响力军事论坛-超级大本营军事论坛欢迎你!超然物外,有容乃大。
您需要登录后才可以回帖 登录 | 加入超大军事

本版积分规则

关闭

超大推荐上一条 /1 下一条

存档|监狱|手机|联系|超级大本营军事论坛 ( 京ICP备13042948号 | 京公网安备11010602010161 )

声明:论坛言论仅代表网友个人观点,不代表超级大本营军事网站立场

Powered by Discuz © 2002-2017 超级大本营军事网站 CJDBY.net (违法及不良信息举报电话:13128905500)

最具影响力中文军事论坛 - Most Influential Chinese Military Forum

GMT+8, 2017-10-20 00:38 , Processed in 0.062806 second(s), 6 queries , Gzip On, Redis On.

快速回复 返回顶部 返回列表