• 博客访问:6538
  • 博文数量: 862
  • 用 户 组: 普通用户
  • 注册时间:2019-11-19
  • 认证徽章:
个人简介

阿勒泰新闻网

文章存档

11-17(1679)

11-19(6589)

11-16(9508)

11-13(8352)

sehu 2019-11-19

分类: 英超金靴

sehu

深度强化学习中的好奇心

    本文是AI研究所编写的一个技术博客。最初的标题是《深层强化中的好奇心》。

    本文是AI研究所编写的一个技术博客。最初的标题是:

    深度强化学习的好奇心

    作者|迈克尔·克莱尔

    翻译|缩写2018

    校对|酱梨涂饰|菠萝女孩

    链接到原始文本:

    Http://towardsdata..com/holio.-in-.-.ment-.-.-.-network-.llation-747b322e2403

    深度强化学习中的好奇心

    早期密集学习的困难任务之一,Montezuma的复仇,在探索随机网络蒸馏方面取得了重大突破(来源:Parker兄弟博客)。

    Atari游戏是深层强化学习(RL)算法的一个流行的基准任务。Atari很好地平衡了简单性和复杂性:一些游戏(如Pong)是如此简单,以至于它们可以通过基本算法(如一般策略梯度)来解决,而其他游戏则足够复杂以至于可以击败甚至最先进的算法。

    在最简单和最复杂的游戏之间的一系列有用的任务已经成为许多深入加强学习研究论文的核心。

    来自OpenAI博客。

    前者“未解决”的阿塔里游戏,蒙提祖马的复仇,最近已经解决了一个算法(在某种程度上),可以在得分上超过人类表现。研究人员可以鼓励代理人在1级探索不同的房间,这是赢得游戏积分的好方法。

    通过好奇心探索

    人类在玩冒险游戏时有一种内在的探索欲望,比如蒙提祖玛的复仇。游戏设计者构建这样的游戏来鼓励这种行为,通常需要玩家在继续游戏之前进行探索。这就是为什么冒险游戏很有趣。(问任何喜欢玩天空游戏的人。)

    像Montezuma的《复仇》或《天空》这样的冒险游戏充分利用了玩家探索的自然欲望,使得探索成为游戏任务的关键部分。

    深度强化学习算法执行“探索”的典型方法是通过随机策略:从神经网络提供的动作似然分布中随机采样动作。因此,特别是在早期阶段(当策略没有时间收敛时),它是随机行动的明显选择。

    这种方法在某些情况下是有效的。例如,Pong的解决方案是随机旋转桨并观察结果。幸运的是,球偏转可以启动优化。

    在像蒙特祖马的复仇游戏中,这种方法是不可行的。想象一下,从游戏的开始,化身随机地左右移动,随机地跳跃。结果,化身掉进熔岩中或直接进入敌人而没有获得点数。没有积分或奖励,算法无法得到优化的信号。

    那你会随便甩一甩吗?祝你好运。

    好奇

    重点放在寻找更好的探索方法上。基于好奇心的探索可以看作是激发人类玩家好奇心的一种尝试。

    但是,我们如何创建一个好奇的代理呢?

    有很多方法可以实现这个想法。其中之一,甚至使用下一个状态预测,由于其简单性和可伸缩性而很有趣。

    其基本思想是同时培养独立的预测模型和策略模型。预测模型输入所观测到的当前状态和所选择的动作,并对下一次观测进行预测。

    为了探索足够的轨迹,我们假设损失很小(因为我们通过监督学习不断开发预测模型);对于探索不足的轨迹,我们假设损失很大。

    那么,我们能做的就是创建一个新的奖励函数(称为“内在奖励”),它提供与预测模型的损失成比例的奖励。因此,当探索新的轨迹时,代理接收到强烈的奖励信号。

    (a)一级学习探索(b)二级快速探索

    使用马里奥模拟器任务(来源)中的下一个预测,学习探索从第一级的好奇心转移到第二级的快速探索。

    这项技术在超级马里奥模拟器中产生了一些令人鼓舞的结果。

    拖延症代理人:电视问题

    这项技术并不完美。一个已知的问题是代理被环境中的随机或噪声元素所吸引。这种时钟情况有时被称为“白噪声”问题或“电视问题”;也称为“拖延”。

    为了证明这种效果,设想一个代理人通过观察他所看到的像素来学习在迷宫中导航。

    下一状态预测引起代理人学习成功导航迷宫的好奇心。

    代理人很好地完成了任务;他开始寻找迷宫中未被探索的部分,因为他有能力在探险丰富的地区做出好的预测(或者换句话说,他不能在未开发地区做出好的预测)。

    现在在迷宫的墙上放一个“电视”,快速连续地显示随机选择的图像。由于图像的随机来源,代理不能准确预测接下来会出现什么图像。该预测模型将产生高损耗,从而为代理商提供高“内在”回报。最终的结果是,特工们倾向于停止看电视,而不是继续探索迷宫。

    在环境(源)中,当代理人面对电视或随机噪声源时,下一个状态预测引起代理人的好奇心,最终导致“拖延”。

    为了避免延误,采用随机网络蒸馏。

    OpenAI的一些优秀人员最近发表了一篇论文,提出了噪声电视问题的解决方案,探讨了随机网络蒸馏(RND)。

    这里的新思想是将类似的技术应用到下一个状态预测方法,但是消除对先前状态的依赖。

    下一状态预测相对于RND(源)的概述。

    RND并不预测下一个状态,而是观察下一个状态并试图预测下一个状态。这是一个非常微不足道的预测,不是吗?

    RND随机网络的目的是采用这种小的预测任务,并将其转化为硬预测任务。

    使用随机网络

    这是一个聪明但违反直觉的解决方案。

    其思想是我们使用随机初始化神经网络将观测值映射到潜在的观测向量。函数本身的输出并不重要;重要的是,我们有一些未知的确定性函数(随机初始化的神经网络),以某种方式转换观测值。

    因此,我们的预测模型的任务不是预测下一个状态,而是预测给定观测状态的未知随机模型的输出。我们训练该模型使用随机网络输出标签。

    当代理处于熟悉的状态时,预测模型应该能够很好地预测随机网络的期望输出。当智能体对状态不熟悉时,预测模型会对随机网络的输出做出较差的预测。

    通过这种方式,我们可以定义一个内在的奖励函数,它再次与预测模型的损失成比例。

    内部报酬计算的概念概述。只使用下一个观察状态。

    这可以解释为“新奇性检测”方案,其中当进行新的观测或不熟悉的观测时,预测模型具有较高的计算损失。

    作者使用MNIST作为这个概念的证明。在本实验中,他们通过随机初始化神经网络提供MNIST样字符。然后,在给定的输入条件下,它们训练并行网络来预测随机网络的输入。如预期,当目标类的训练样本数量增加时,它们将看到目标类被并行网络丢失。

    数据2:MNIST上的新奇性检测:预测器网络模拟随机初始化的目标网络。训练数据包括不同比例的图像和目标类别与“0”类别。每个曲线都表示MSE测试显示的目标类的训练用例的数量(对数)。

    论文对MNIST概念进行了验证。

    这样,当代理看到随机噪声源时,它不会被卡住。它不需要试图预测屏幕上下一个不可预测的帧,只需要知道这些帧是如何通过随机网络转换的。

    探寻蒙太祖玛的复仇

    由于解决方法不佳,以往的状态预测的好奇机制并不能解决蒙台梭玛的复仇问题,但RND似乎已经克服了这些问题。

    好奇心驱使的代理人探索房间,学习收集钥匙,这样他们就可以打开新房间。

    尽管取得了这样的成功,但是代理仅“偶尔”通过了一级。这是因为通过最后一道门来完成检查点,需要严格管理密钥的使用。需要内部状态模型(如LSTM)来克服这一障碍。

    因此,虽然RND已经允许代理人在得分上超过一般人的表现,但是在掌握游戏之前还有很长的路要走。

    这是关于深度强化学习算法的实验的一系列文章的一部分。查看本系列以前的一些帖子:

    理解演进的战略梯度。

    感谢卢多维奇·本尼斯坦特。

    要继续查看本文的链接和参考资料吗?

    长时间点击链接打开或点击底部[好奇心在深度强化学习]:

    Http://ai.yanxishe.com/page/Text./1363

    AI协会每天更新精彩内容,观看更多精彩内容:雷锋网、雷锋网和雷锋网。

    五大CNN架构

    深度强化学习中的好奇心

    使用Pytorch进行深度学习(第一部分)手柄:使用PyTorch实现图像分类器(第二部分)

    等待您翻译:

    如何为初学者聚类混沌数据以使用Keras进行迁移学习增强学习:对于情绪行为系统,如果你想学习数据科学,这七个资源不能错过

当前文章:http://www.dlfpump.com/pbl55rx/217944-492728-35959.html

发布时间:03:25:19

广州设计公司  246天天好彩玄机资料  二四六天天好彩玄机图  二四六天天好彩玄机图二四六天天好彩每期文字资料大全  二四六图片玄机  二四六图片玄机  二四六天天好彩每期文字资料大全  二四六图片玄机  二四六天天好彩玄机图  二四六天天好彩免费资料大全  二四六图片玄机  

{相关文章}

青少年网上购物模拟枪支获取终身再审:7年零3个月

    今天(25日),福建省漳州市中级人民法院审理了四川青年刘大伟走私武器案。刘大伟因走私武器罪被判处七年零三个月的监禁。2014年7月,18岁以下的刘大伟在网上购买了24支模拟枪,被法庭判走私武器罪,并被判处无期徒刑。2016年,案件被送回福建省高等法院进行再审。刘大伟,1996年出生,四川达州人。根据原判决,2013年8月,刘大伟与台湾卖方“蓝海蓝天”通过QQ协商购买枪支。大约在2014年7月1日,他从台湾卖家提供的网站上购买了24支模拟枪,并将相应的型号发给了台湾卖家。枪支购销总费用30540元。2014年7月15日,为逃避海关监管,卖方将24支模拟枪藏在饮水机箱内,并转运到台湾、厦门、泉州、金门等地的物流和进出口公司办理报关、海关付款和转运。7月22日清晨,这些枪支被石狮海关缉私分局缴获。24个模拟枪中有21个被识别为以压缩气体作为发射弹药的动力的枪。24支模拟枪中有20支由于受伤而被鉴定为枪。一个不能确定它们是否受伤,三个不能被识别为模拟枪,因为它们没有受伤。2015年4月30日,福建省泉州市中级法院一审裁定被告刘大伟走私武器罪,判处无期徒刑、剥夺政治权利终身监禁、没收一切个人财产。在判决中,法院认定刘大伟的罪行“特别严重”,判决的法律依据来自《刑下载地下城勇士_多维新闻网网法》第一百五十一条和最高法院、最高检察院2014年发布的《关于处理走私刑事案件法律适用若干问题的解释》。它规定,走私由压缩气体等非火药发射的枪支特别严重,可判处无期徒刑或死刑。刘大伟对一审决定提出上诉。福建省高级人民法院于2015年8月25日裁定维持原判决。刘大伟向家人投诉。2016年10月,福建省高级人民法院经复审决定重审。就在案件审理前四个月,两所高中发布了相关批文,要求司法机关考虑被告的主观动机和具体情况,并对“枪支”刑事案件的处理进行区分。2018年8月11日,该案在福建省漳州市中级法院审理。在法庭审理期间,控方和辩方就原审决定罪的证据是否可疑,以及该案件是否适用于两所高中3月份签发的“枪支相关案件”审批展开了辩论。为什么刘大伟仍然被判走私武器罪?福建高等法院:刘大伟购买了福建省泉州市公安局物证鉴定所鉴定的模拟枪。用压缩气体作为动力发射的20枚射弹被认为是致命的,并被鉴定为火器。因此,我们认为刘大伟的行为构成了走私武器罪。2018年12月25日,福建省高级人民法院公开审理刘大伟走私武器案件。依法,刘大伟被判处七年零三个月有期徒刑,并处罚金32000元,报请最高人民法院批准。本案审理后,福建省高等法院有关负责人接受了记者关于本案有关情况的采访。问:刘大伟重审后为何仍被判走私武器罪?答:福建省高等法院在原判量刑明显不当的情况下进行了再审。合议庭通过查阅文献、收集相关证据、举行听证会、认真审理研究,认为本案现有证据可以形成一条完整、封闭的证据链,足以证明刘大伟从国外卖方购买仿枪的事实。通过互联网走私他们进入海关。一批仿制枪支被认定为20种枪支,并按照有关法律规定执行。以构成走私武器罪。在判决中,对辩护人提出的相关证据问题进行了详细的论述和回应。According to Liu Dawei's QQ chat record extracted by the investigation organ, Liu Dawei once discussed with netizens about the material, performance, lethality of the simulation gun and how to avoid the public security inspection, and explained that he had a clear understanding of the lethality and illegality of the simulation gun. When Liu Dawei talks with Taiwanese sellers about purchasing simulation guns, he uses "dog" to represent guns and "dog food" to represent bullets; after ordering simulation guns, he fabricates false information about the purchaser and agrees to take delivery of goods to the logistics company by himself in order to avoid the risk of being investiga泰德;当他得知购买仿真枪被查获,他立即丢弃用来联系采购电话卡和撤回案件立案后几次。这是在家里购买仿真枪违法。因此,刘大伟购买仿真枪从台湾走私到中国,知道他购买了仿真枪在中国大陆禁止,还有走私进口的仿真枪。刘大伟购买了24支仿真枪从台湾卖家通过互联网,和仿真枪走私到台湾被海关。根据对最高人民法院、最高人民检察院关于办理走私刑事案件法律适用若干问题的解释5条,它规定,“走私的仿真枪被认定为枪支,构成犯罪的,按照第151条、第1、对被定罪为走私武器罪论处。刘大伟购买了仿真枪的物证鉴定所泉州公安局认定,福建省。二十弹发射以压缩气体为动力被认为是致命的。因此,我们认为,刘大伟的行为构成走私武器罪。问:刘大伟被判无期徒刑,在原有试验。哪些因素应在再审考虑和决定罚款在法定刑?答:刑法的通过的刑法修正案修改后的151条(8)规定:“走私武器、弹药、核材料或者伪造的货币应当判处有期不少于七年的有期徒刑,并处罚金或者没收财产;情节特别严重的s, he shall be sentenced to life imprisonment or death penalty and confiscation of property; if the circumstances are relatively minor, he shall be sentenced to fixed-term imprisonment of not less than three years but not more than seven years, and shall also be Penalty". Article 1 of the Interpretation of Several Questions C滴水之恩下一句_中山大学资讯管理学院网onc等角螺线_工业设计资讯网erning the Application of Law in Handling Smuggling Criminal Cases stipulates that smuggling of more than ten guns fired by non-gunpowder such as compressed gas is a "particularly serious circumstance" of smuggling weapons. 刘大伟走私24模拟枪支流入台湾,其中20个被认定为枪支。他的行为已构成走私武器罪,补牙缝要多少钱_000081网属于“情节严重”。相应的法定量刑范围是“无期徒刑或者死刑,没收财产”。也就是说,应该判处无期徒刑或死刑。因为刘大伟没有法定情节减轻或减轻处罚,原审根据本规定判处刘大伟无期徒刑。63条,2款,刑法的规定,“虽然罪犯没有减轻的情况下,在本法规定的,他们也可能被判处刑罚的法定刑下对与案件的特殊情况按照最高人民法院核准。”在这个再审,充分考虑二案例的具体情况,对案件的社会危害性进行综合评价,坚持主观与客观的统一,确保犯罪的相容性、责任和处罚。具体情况我们考虑如下:刘大伟实际上并没有获得24仿真枪他购买枪支不流入社会,而社会危害性相对较小;对查获的枪口比动能,杀伤力较小,很难提高Wounding force through modification; there was no evidence that Liu Dawei purchased simulation guns online for profit and illegal activities; Just over 18 years old, is also the first offender; the retrial court confession attitude is good, can sincerely repent. In view of the above factors, after repeated consideration and careful consideration, we decided to sentence Liu Dawei below the statutory sentence, that is, within the range of "more than seven years of fixed-term imprisonment, with fine or confiscation of property", and finally decided to sentence him to seven years and three months of fixed-ter我被监禁,罚款32000元,并报请最高人民法院核准依法。问:在2018年3月,“两高”发布了“回复对定罪的刑事案件量刑的枪和气枪铅的压缩气体为动力的子弹”,它已被应用到一些类似的案件在全国各地。Why did Liu Dawei's arms smuggling case fail to apply the "Approval"? Answer: Article 2 of the Provisions on the Time Effectiveness of the Application of Criminal Justice Interpretat现货黄金软件_罗纳尔多退役网ion issued jointly by the "Two High Commissioners" in 2001 stipulates that "for acts occurring before the implementation of judicial interpretation, there is no relevant judicial interpretation at the time of the act, and cases that have not been handled or are being handled after the implementation of judicial interpretation shall be handled in accordance with the provisions of judicial interpretation"; Article 3 stipulates that "the facts The relevant judicial explanations have been given to the acts that occurred before the execution, and they shall be dealt with according to the judicial explanations at the time of the acts. 然而,如果新的司法解释有利于犯罪嫌疑人、被告人,应当适用新的司法解释。4条规定,“案件的新司法解释实施前完成,根据法律和司法解释当时的事实和适用法律都是正确的,不会再改变”。This case is a final verdict made on August 25, 2015, and has taken legal effect. Now, retrial is conducted according to the procedure of trial supervision. 根据法律适用的基本原则,再审案件应当同时适用法律和司法解释。根据上述第4条的规定,虽然刘大伟的再审该案不能直接应用到“批复”,充分考虑了主体精神的“批复”,体现了它在判断。辩护律师:我觉得继续呼吁在2018年12月25日九点很抱歉。案件开始审理。Liu Dawei, standing in the dock of the accused, wore black spectacles and did not say a word. After hearing the verdict, we could see from the audience that his shoulders were shaking constantly. 宣判后,许昕、刘大伟的经纪人说,结果是完全不可接受的。He believed that Liu Dawei should be found innocent, and after consulting with Liu Dawei, decided to continue to represent the case for appeal. 律师许昕说,这是不可理解的是,判决不适用于新枪相关法规高于2018年3月。同时,他认为,刘大伟的情况下,最重要的原因是证据不足和破碎的证据链。In his defense opinion, Xu Xin proposed that the current evidence could not prove that the gun buye团员总结_恐怖轮回网r in the case was Liu Dawei; at the same time, the identity of the material evidence in the seizure link could not be guaranteed. 在固定的联系方面,样品被污染,和鉴定意见不能作为定案的依据的情况下。The parents bought new clothes and shoes for their son in advance, but "they didn't use them." The expectation of coming home with him for the New Year was disappointed. Standing outside the courtroom, Liu Dawei's father wiped away tears... 2014年7月,刘大伟刚满18岁,购买了24个模拟枪从台湾网上的卖家,和货物被附上的石狮市海关缉私分局在交通;2014年8月31日,刘大伟被石狮市海关缉私分局拘留;2014年9月30日,刘大伟被石狮市逮捕海关缉私分局;2015年4月30日,福建泉州市中级人民法院发布的审判和宣判。刘大伟被判犯有走私武器罪被判无期徒刑。Liu Dawei refused to submit an appeal to the Fujian Higher People's Court the next day. On August 25, 2015, the Fujian Higher Court rejected the appeal and maintained the original verdict of the first instance. 2015年11月26日,刘大伟的家人委托律师正式递交请愿书,向福建高等法院,请求的情况下,以往的刑事判决被撤销,再审启动。2016年4月11日,福建高等法院正式立案审查刘大伟的案件;2016年10月18日,福建高院作出再审决定,刘大伟被控走私武器,被判处无期徒刑,量刑不当,并决定该案件应该由一个由合议庭重审福建高等法院;2018年8月10日,刘大伟案被宣判在漳州中部福建省法院。再审听证将有选择性的基础上举行。On December 25, 2018, the Zhangzhou Intermediate Court opened a court to adjudicate Liu Dawei, who was convicted of arms smuggling, and sentenced to seven years and three months'imprisonment. Source: New Beijing News, Cover News, Fujian Higher Court News:"Dangdang Network founder Li Guoqing talks about"Liu Qiangdong case": Although killing scenery, but it is worth it:" Liu Qiangdong detained in the United States exposure, has now returned home --- a sigh! 天津终于醒了之后就定居在天津的96个小时。男性20岁以后的道路堵塞范老师一巴掌:你怎么把我之前,你还记得吗?

阅读859 | 评论586 | 转发747 |
金价暴跌
感康价格

石马11-14

安立格
种植眉毛需要多少钱

乙乙戏海11-13

让我看着你
青岛金王股吧

帝徒石邓11-13

西游记读书卡
核黄素缺乏

徒安顺帝11-13

迎泽区教育局
硒鼓多少钱

帝伯11-19

十七大主题
刨花板厂

乙开公11-15

灵异侦缉档案粤语
评论热议
请登录后评论。

登录 注册

https://4l.cc/article.php?id=298&page=2https://4l.cc/article.php?id=296&page=1https://4l.cc/article.php?id=291&page=1https://4l.cc/article.php?id=254&page=1https://4l.cc/article.php?id=254&page=2https://4l.cc/article.php?id=249&page=6https://4l.cc/article.php?id=249&page=5https://4l.cc/article.php?id=244&page=2https://4l.cc/article.php?id=241&page=1https://4l.cc/article.php?id=234&page=2https://4l.cc/article.php?id=233&page=1https://4l.cc/article.php?id=226&page=1https://4l.cc/article.php?id=228&page=2https://4l.cc/article.php?id=304https://4l.cc/article.php?id=303https://4l.cc/article.php?id=289https://4l.cc/article.php?id=266https://4l.cc/article.php?id=254https://4l.cc/article.php?id=251https://4l.cc/article.php?id=238https://4l.cc/article.php?id=223http://4l.cc/article.php?id=281&page=2http://4l.cc/article.php?id=268&page=1http://4l.cc/article.php?id=267&page=3http://4l.cc/article.php?id=260&page=1http://4l.cc/article.php?id=253&page=2http://4l.cc/article.php?id=249&page=7http://4l.cc/article.php?id=248&page=7http://4l.cc/article.php?id=248&page=4http://4l.cc/article.php?id=243&page=2http://4l.cc/article.php?id=238&page=1http://4l.cc/article.php?id=233&page=1http://4l.cc/article.php?id=232&page=1http://4l.cc/article.php?id=231&page=1http://4l.cc/article.php?id=228&page=4http://4l.cc/article.php?id=227&page=1http://4l.cc/article.php?id=317http://4l.cc/article.php?id=311http://4l.cc/article.php?id=302http://4l.cc/article.php?id=281http://4l.cc/article.php?id=275http://4l.cc/article.php?id=260http://4l.cc/article.php?id=255http://4l.cc/article.php?id=253http://4l.cc/article.php?id=319http://4l.cc/article.php?id=237http://4l.cc/article.php?id=234http://4l.cc/article.php?id=229http://4l.cc/article.php?id=223http://4l.cc/article.php?id=222