学了后面忘前面 治疗AI“健忘症”还难有良策_1

学了后面忘前面 治疗AI“健忘症”还难有良策
许多人在上学的时分都有这样的阅历,在经过了一个寒假返校后,发现前一学期学到的内容有的现已忘了。在才智过人工智能PK人类的屡次胜绩后,有人难免仰慕AI强壮的学习身手,但事实上人工智能的“回忆”并不如你幻想的那样好,假如你像人工智能体系那样学习,很可能在学习新常识的一同,大脑便会逐步忘了之前的内容,其原因就在于人工智能遭受了“灾难性忘掉”。  近来,来自谷歌大脑的最新研讨发现,在街机学习环境的由多个子使命组成的单使命场景中也存在着“灾难性忘掉”。特别像在“蒙特祖玛复仇”这种探究型游戏里,场景改变较大,会呈现学习完当时游戏场景后,忘掉上一个游戏场景常识的状况。  那么人工智能为什么会发生“灾难性忘掉”?现在处理“灾难性忘掉”的计划有哪些?难点在哪?就此,科技日报记者采访了有关专家。  学一个忘一个 深度学习功率低下  自从阿尔法围棋(AlphaGo)相继打败多名围棋冠军后,深度学习现已成为很多完结人工智能的办法中最耀眼的“明星”,也是各大研制组织比赛的主战场。而谷歌大脑团队这次面对的“灾难性忘掉”,正是人工智能深度学习中所面对的一个遍及且严峻的问题。  “‘灾难性忘掉’指的是人工智能体系,如深度学习模型,在学习新使命或习惯新环境时,忘掉或丧失了曾经习得的一些才能。”腾讯人工智能实验室副主任俞栋博士在承受科技日报记者采访时说,“灾难性忘掉”会形成人工智能体系在原有使命或环境中的功能大幅下降。  美亚柏科信息中心总经理魏朝东介绍,在深度神经网络学习不同使命的时分,相关权重的快速改变会危害从前使命的体现,浅显来说,便是在学习中像山公搬苞谷,捡一个丢一个,记住了新常识,也有可能会忘掉了老常识。  正是源于此,“灾难性忘掉”的存在,必定程度上约束了人工智能在一些场景中的使用。  福州大学数学与计算机科学学院、福建省新媒体职业技术开发基地副主任柯逍博士举例说,如一个AI图画辨认体系,当需求添加一个新的类别的物体时,就不得不把原先的一切物体都再学习一次。如在文物判定体系中,当有一天发现原始数据中有一个文物朝代错了,便没办法独自对这一个过错的文物进行修正学习;再如让AI体系学习英语之后,再让它学习德语,它可能会把本来学习的英语语法悉数忘光。  那么在谷歌大脑的最新研讨中,“灾难性忘掉”又形成了哪些影响?其间又有何新发现?  “除了传统的新常识学习会掩盖旧常识之外,这次谷歌大脑还发现,在如‘超级玛丽’等探究型游戏里,‘灾难性忘掉’会阻止模型对新常识的学习。”厦门大学科技处副处长、人工智能系教授纪荣嵘说。  纪荣嵘进一步解说说,面向街机游戏学习的强化学习办法都会选用“经历回放”的练习办法,便是将模型在游戏探究时分的片段进行保存,然后给模型进行“回放”练习。而像“蒙特祖玛复仇”这种游戏,游戏场景改变比较大,模型需求不间断探究游戏场景,因而,在练习时分就必须不断回放前期场景的游戏经历,否则会因为“灾难性忘掉”而忘掉了前期的游戏常识。  “这也导致了新的游戏经历尽管能够被采样到‘经历回放’库里,但因为学习办法的设定,导致学习功率低,一同因为不同阶段的学习会相互搅扰,使得AI无法一次经过该游戏的悉数关卡。”纪荣嵘说。  AI“脑容量”存上限 新旧常识难共存  AI为什么会发生“灾难性忘掉”?  “深度学习的结构一旦确认,在练习进程中很难调整。神经网络的结构直接决议学习模型的容量。”柯逍说,AI“脑容量”存在上限,也就导致了人工智能只能有限地处理特定使命。就像水桶一半高的当地有个洞,以至于不管怎样添加水桶的高度,这个水桶只能装一半高的水。  中科院自动化所脑网络组研讨中心研讨员、模式辨认国家重点实验室副主任余山指出,这还涉及到神经网络学习常识的机制。在单个使命的练习进程中,网络中各个神经元之间的衔接权重进行了专门的调整,以担任当时的使命。而在新使命的练习中,衔接权重要针对新使命进行调整,这将“抹去”习惯旧使命的原有结构,导致在旧使命上的功能大大下降。  人类的回忆才能其实是有限的,但为何呈现“灾难性忘掉”的状况却比较少?“首要是人类在学习进程傍边,大脑能够自动保存有用的常识和技巧,一同不影响新的信息获取。” 纪荣嵘说,但现在的人工智能模型大部分是依据随机梯度下降来更新模型参数,这个进程首要服务于当时使命的优化,并不会去评价哪些参数权重对旧的常识是有用的,所以就很简单呈现常识被掩盖的状况。  纪荣嵘也表明,当时像Siri或小爱这样的人工智能帮手产品,还不能算真实意义上的通用人工智能,一方面,这些人工智能帮手只能在预设的常识范围内和人类互动,完结指令;另一方面,人类没办法像养宠物或养小孩相同,经过互动去教训这些人工智能帮手学习新的常识或新的指令。  有多个处理计划 但都治标不治本  据了解,破解“灾难性忘掉”是完结通用人工智能的一个要害。处理了“灾难性忘掉”问题,就意味着模型具有了继续学习的才能, 能够像人类相同不断获取新的常识、新的技术,一同能够最大化地坚持旧的经历常识和技巧。  那么,现在处理“灾难性忘掉”的计划有哪些?  “最常见的办法是多使命学习, 便是把一切使命的练习数据一同放到一同,模型就能够针对多种使命进行联合优化。”纪荣嵘举例说,如让模型一同学习“坦克大战”和“超级玛丽”两个使命,等两个使命一同学的差不多的时分,模型才中止练习。  但柯逍也指出,这种办法跟着使命增多,新使命样本数量被稀释,练习会拖慢学习新常识的功率,而且不是任何状况都能取得从前使命的数据来温习的。  还有的处理计划是依据新的使命常识来扩大模型结构,确保旧的常识经历不被危害。此次,谷歌大脑所提出的“回忆碎片调查”办法正是对不同使命(场景)构建多个人工智能模型来进行学习。“模型扩大的办法从本质上并没有处理‘灾难性忘掉’的问题,仅仅用多个模型来代替单个模型去学习多种使命,防止旧参数被掩盖。”纪荣嵘说。  当时,处理“灾难性忘掉”还存在着一对对立:在学习新使命的进程中,需求给予网络足够多的自由度进行衔接权重调整,可是又要防止这样的调整“抹去”原有的回忆。  “因而,科学家们开端规划新的学习算法处理上述对立,使得网络在进行权重调整的时分,对已有常识的影响最小化。”余山表明,其团队近期提出的正交权重修正算法,就归于这类,首要经过约束权重修正只能在旧使命的解空间中进行,这一算法较好的克服了“灾难性忘掉”,使得同一个分类器网络能够接连学习多达数千个类别的辨认。  魏朝东以为,尽管科学家们现已探究出多种处理计划,但现在的AI学习仅仅从认知科学中取得了一小部分创意,对大脑的模仿还没到达人们幻想的高度,大部分AI学习计划是“先天不足”的。“灾难性忘掉”是一个归纳性问题,不只需求有理论支撑,未来还需求有可行的技术手段去完结。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

bookmark
required required
web