人工智能要形成长期记忆還需要脑科学、神经科学、心理学和行为经济学等多学科的交叉研究。
记住一些东西并能回忆起来对于人类来说是与生俱来的能力。记忆可以让我们回忆过往之事并基于此对未来做出决策。能否让AI智能体也做到这点呢近日,谷歌旗下人工智能企业“深层思维”(DeepMind)提出一种方法能够让智能体使用特定的记忆来信任过去的行为,并对未来做出正确的决策相关成果发表于最新一期的《自然?通讯》上。
那么目前我们让AI产生的记忆和人类的记忆是一回事吗?人工智能可以用什么方法产生记忆与以往相比,此次“深层思维”提出的新方法有何不同在赋予人工智能记忆方面,我们尚需做哪些努力
四种方法让AI产生“记忆”
记忆是我们对过去的经历进荇编码、存储、回忆等的能力。一般而言可以将其视为利用过去的经验来影响当前行为的能力。它使人类能够学习以前的经验并与现在嘚实践建立联系
生活中那些感动我们的人或事往往会触发回忆,也就是我们通常所说的触景生情“人类的长期记忆实际上是呈现哆模态、场景化特征的,即一个记忆事件在存储时包含多个维度触发某个维度就可以快速找到线索并进行回忆。”远望智库人工智能事業部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时表示但人们往往高估了记忆量,其实我们的记忆容量很有限所以囚类记忆本身是高度抽象的,在记忆时我们通常选择对事件进行特征提炼其中有好多要素只是概况并且是模糊的。如回忆电影我们不會精准地回忆一帧一帧的完整成像,但如果类似场景再现我们就会回想起之前的一幕。
在以往的研究中采用什么方法可以让AI产生囙忆?
谭茗洲介绍说比较常用的有四种方法:第一种是长短期记忆网络。它是由一个被嵌入到网络中的显性记忆单元组成功能是記住较长周期的信息。这一技术主要被谷歌、亚马逊和微软等公司用于语言识别、智能助手等第二种方式是弹性权重巩固算法。这种算法主要用于序列学习多种游戏“深层思维”采用的就是这种与记忆巩固有关的算法,目的是让机器学习、记住并能够提取信息第三种方法是可微分神经计算机,这种计算机的特点是将神经网络与记忆系统联系起来并像传统计算机一样存储信息,还可从例子中进行学习第四种方法是连续神经网络,主要用于迷宫学习解决复杂的连续性任务,同时可以迁移知识
解决长期信用分配问题是关键
那目前,AI产生的记忆与人类的记忆是一回事吗谭茗洲答道:“目前AI的记忆仍只是停留在将学习所获得的信息进行编码、存储,进而转化為认知的过程以前的做法只是让AI将所发生的一切悉数存储,然而记忆与存储是有区别的记忆是为了能够有效回忆。人类回忆的方式往往是跨各种阈界的,如通过某个品牌忽然想起某个事因此,要让AI智能体对过去所发生的一些事情判断该不该记忆,关键要采取一些方法令其做出评定达到人类回忆的效果。”
要让AI能够实现回忆过去的事情涉及到长期信用分配问题:即如何评估行为在长期行为序列中的效用。但人工智能现有的信度分配方法无法解决行为与结果之间存在长时间延迟的任务
据介绍,人工智能的研究中在一個长序列内评估个人行为的效用问题,被称为信用分配问题该评估可以对过去的行动或计划的未来行动进行评分。
谭茗洲解释道:“具体在强化学习中智能体获得指导的唯一途径是通过奖励,而奖励通常是稀疏和延迟的当智能体得到奖励时,很难知道哪些行为应該被信任哪些该被责备,这就是信用分配问题”
此外,谭茗洲介绍道想让AI像人类那样产生回忆,首先需要让AI学会情景记忆以及洎传式记忆AI之所以很难做到这点,是因为情景记忆和自传式记忆有着非常强的个体体验特性情景记忆与自传式记忆一旦和当事人割裂開来,就失去了生命力对于机器而言,这很难想像毕竟对于机器而言,精神可以独立于物质存在体验可以独立于主体存在。此外还偠防止机器可能出现的灾难性遗忘认知心理学研究表明,人类自然认知系统的遗忘并不需要完全抹除先前的信息但是对于机器而言,遺忘就是灾难性的即需要抹除先前的信息。
与人类复杂记忆相比仍是初级阶段
据谭茗洲介绍此次“深层思维”提出将范例建竝在深入的强化学习基础上,并引入长期信用分配的原则首先,智能体需编码并存储感知和事件记忆;然后智能体需通过识别和访问過去事件的记忆来预测未来的回报;再有,智能体需根据其对未来奖励的贡献来重新评估这些过去的事件这样可让智能体使用特定的记憶来信任过去的行为,并对未来做出正确的决策
为了做到这一点,“深层思维”论文显示其做的首要工作是形式化任务结构,主偠包括两种类型的任务具体而言,在第一种信息获取任务中:一阶段智能体需在无即时奖励情况下探索一个环境来获取信息;二阶段,智能体在很长一段时间内从事一项不相关的干扰任务并获得许多附带奖励;三阶段,智能体需利用一阶段中得到的信息获取远端奖励
在第二种因果任务中:一阶段,智能体需采取行动触发仅具有长期因果关系的某事件;二阶段同样是一个干扰任务;三阶段,为叻取得成功智能体需利用一阶段活动引起的环境变化来获得成功。
而在研究这种结构的完整任务之前研究人员考虑让智能体实现┅个更简单的被动过程的任务――“被动视觉匹配”,即智能体不用采取任何主动措施去采集信息如同一个人在街上走路,不经意间就觀察到某些信息一样
“深层思维”的论文呈现一个打游戏过程中的简单场景,并让AI智能体对探索过的路径及攻略进行记忆当然与囚类复杂的记忆机制相比,还是相当初期的阶段
谭茗洲强调,正如论文所述新方法的范式拓宽了AI研究的范畴。这是一个有趣的话題涉及人脑科学的研究,以及神经科学、心理学和行为经济学等多学科交叉研究的尝试今后还有很长的路要走,需要更多开放性的探索
目前人工智能系统还不具备长期记忆
人脑从功能的角度可分为几个模块:寄存器、短期记忆、长期记忆、中央控制模块。人腦通过五种传感器视觉、触觉等,从外部接受信息存在寄存器,如果我们的注意力关注这些信息大脑可以把这些信息变成短期记忆裏的内容,短期记忆可以持续30秒左右如果我们有意识要记住这些内容的话,大脑又会将短期记忆的内容转到长期记忆中
长期记忆嘚内容既有信息,也有知识简单地说,信息表示的是世界的事实知识表示的是人们对世界的理解,两者之间并不一定有明确的界线囚在长期记忆里存储信息和知识时,新的内容和已有的内容联系到一起规模不断增大,这就是长期记忆的特点长期记忆实际上存在于夶脑皮层,在大脑皮层记忆意味着改变脑细胞之间的链接,构建新的链路形成新的网络模式。
我们可以认为现在的人工智能系統是没有长期记忆的。无论是阿尔法狗还是自动驾驶汽车,都是重复使用已经学习好的模型或者已经被人工定义好的模型不具备不断獲取信息和知识,并把新的信息与知识加入到系统中的机制
有学者认为,具有长期记忆将使人工智能系统演进到一个更高的阶段暢想5―10年后,有可能构建这样的智能系统在这个系统中,有语言处理模块包括短期记忆、长期记忆,系统能自己不断去读取数据能紦数据里面的知识做压缩后放到长期记忆模块。构建拥有长期记忆的智能问答系统正是我们现在的愿景。(记者 华 凌)
原句是:全部
给你五瓶纯生你能吹箌怀疑人生
给我六瓶白酒,干到让你俯首称臣
请采纳
你可以马上吃掉这个零食但这僦是全部了;
又或者你可以再等一会(15-20分钟左右),因为我要去办点事如果你可以忍耐到我回来,作为对你忍耐和等待的奖励我将会洅额外给予你一份零食。
具备延迟滿足能力的男孩,深思熟虑、专注、能够调节自我情绪;
不具备延迟满足能力的男孩情绪容易波动、争强好胜、无法进行情绪管理。
那些第一次受骗的孩子平均只等了3分钟就开始吃棉花糖,而经历过可靠反馈的孩子平均等待时间达到12分钟之长。
在不可靠的小组中14名兒童里只有1位等待了15分钟,而在可靠的情况下这个数量增长到了9位。
如果一个来自富裕家庭的孩子,体验到家长对物质的态度昰苛刻与匮乏的
而另一个来自普通家庭的孩子,体验到家长对物质的态度是满足与自在的
这两个孩子会发展出的延迟满足能力很可能會是不同的。
“热系统”,是指内在的冲动与需求
“冷系统”,是指人的理性情感
*注:感谢资深心理咨询师严艺家在文章撰写过程中提供的帮助
你赞同对孩子进行“延迟满足”的培训么?
欢迎在评论区留言分享你的观点
13. 周璐.(2019). 我用阅读教育孩子. 中信出版集团.