神临地

第113章 李晓军和方麟(2/2)

天才一秒记住【迦南小说网】地址:https://m.jnweishang.com

首发:~第113章 李晓军和方麟

方麟:“连续学习面对的主要问题是灾难性遗忘。如果让深度神经网分多次学习,学了后面的知识,就把前面的知识忘掉了,或者说覆盖掉了。”

“所以,这是个如何在深度模型中保留记忆的问题。”

“已有方法大概采用了如下三种技术路线:”

“一是保留以前学过的部分代表性样本作为记忆,这些样本要参与到后面的模型训练,从而把记忆转化为模型参数;”

“二是在模型学习新知识时限制参数在一个限定的范围内变化,而这个范围是由旧知识决定的,所以就达到了不会遗忘它们的效果;”

“三是每次弄出不同的网络分支以对应不同的知识。”

“第三种方法性能最差,较少被关注到,但我反倒觉得最具合理性。”

“仿真人类的情况,我们的记忆难道不应该是神经网络形式的,不同的记忆难道不应该是不同的子网络么?。”

“以前遇到的困难是如何将这些分支融合以达到记忆选择的效果,然而不融合直接选择也是一种办法。”

“假设面对一种任务,其所要学习的知识有一万种子模式,每种模式我们都可以保留三个模型:一个用于生成已习得数据的模型,大模型形式的生成模型现在就很好用;另一个用于对新到达样本做数据增强,达到将一个样本变成上千个内容相同但表示不同的样本的目的;最后一个才是这个子模式对应的处理模型。”

“用这三个模型来代表对某种模式知识的记忆。”

“训练时,先将新到达样本在每个记忆模式里分别做数据增强,然后用对应的生成模型生产大量记忆样本。把记忆样本与增强样本一起去重新训练处理模型”

“如果该处理模型对各种生成样本仍旧有较高的准确率,该子模式就被选中,把处理模型更新为重训模型,当然,生成模型和增强模型也需要一起被重新训练。”

“推理时,过程也是一样的,将待处理样本在每个知识子模式中都进行增强,然后与生成样本一起重训处理模型,根据重训模型对各种生成样本的准确率,决定是否接受其识别结果。”

李晓军已经听得眉头紧皱:“有点道理,这是用模型训练来解决模型选择问题,或者说记忆选择问题。”

“假如真有上万个知识子模式,每一个样本都要进行上万次模型训练才能完成对它的学习和推理。学习时还行,慢就慢了。但推理时必须经过上万次模型训练,这能忍受么?”

方麟:“我看王栋已经提供的那些计算平台,算力也都高得离谱。我们可以大致估算出来,我们这个方案如果要达到实时的推理速度,大概需要什么样的算力,比现在最高算力还要高几千万倍。”

“不过这不是我们的问题,是王栋的问题,如果他能提供这样的算力,我们就可以按照这一思路进行研究。”

“现在这个世界已经很魔幻了,不妨更魔幻一些。说不定王栋就喜欢这样魔幻的东西呢!”

李晓军被说服了,他充满希冀地望着方麟:“方麟,你来主笔写个草稿,我们再讨论,行不行?”

方麟爽快地答应了。

李晓军突然觉得不甚把握,看了看大家,开始画饼:“如果申请成功,你们都是团队成员。”

想了想,又许愿道:“每个人都可以带一名家属。”

除了方麟,四名博士生都欢呼了起来。

李晓军看了看沉默不语的方麟,把他单独留了下来,准备再进一步做做他的思想工作。

其他人离开后,方麟却抢先一步开口说话:“李老师,您放心,我不会自己去提出申请的,但我也不会跟您去神国。”

李晓军听到前面的话还略显尴尬,听到后面却只剩下了迷惑不解,问道:“为什么?”

方麟:“我是反神联盟组织的成员。”

李晓军被惊得直接从椅子上蹦了起来,连办公椅都被他带倒了。

他被吓得有些六神无主了,急急忙忙地问道:“为什么?”

方麟:“我们不能把人类的命运交到个别人手中,王栋居心叵测,这个世界上总得有制衡的力量吧。”

李晓军神色复杂,脸上的表情变幻莫测。

他不觉得方麟这句话有逻辑上的错误,但也没有那么高的觉悟去螳臂挡车。

“你告诉我这个消息,不怕暴露自己的身份么?”

“李老师,你放心,王栋傲慢得很,根本不在乎反神联盟,我们许多成员都去了神国,他也没有阻拦,其中还有一个是自由行走者。”

“我们这个组织其实是高铁候车室事件后才成立的,虽然沿用了之前的名字,但其实并没有实质的联系。”

“王栋肯定早就知道了,但只要我们不做出危害他的行为,他就懒得管我们。”

“他肯定不会因为我是反神联盟组织的成员就阻拦你的申请。”

李晓军神情舒缓了一些,他把椅子扶了起来,慢慢坐下,最后说:“既然如此,你也可以跟我去神国啊。”

方麟:“我在地球上有更重要的任务要完成。李老师,我今天不是要劝您加入反神联盟,只是希望将来需要您站队的时候,您能站在人类这边。”

李晓军盯着满脸悲壮之色的方麟看了许久,终于缓缓地点了点头。

数字锈斑提示您:看后求收藏(迦南小说网https://m.jnweishang.com),接着再看更方便。

人气小说推荐More+

全职剑修
全职剑修
【清酒新书】【故事剧情流】 林霁尘,《八荒》中悟道境高手,天下第一法修,本该拥趸无数,呼风唤雨,仙途无量。 却因爱人和兄弟双双背叛,更被骗入登仙境BOSS烛九阴的洞穴,最终葬身兽口,身死道消。 没曾想天不亡人,林霁尘重生回到《八荒》开服前一天。 重活一世,他毅然弃法从剑,用剑斩出自己的未来,改写自己的命运! 也让他在游戏融入现实前,积攒足够的优势,一骑绝尘!
清酒半壶
富婿奶爸赵旭李晴晴
富婿奶爸赵旭李晴晴
我要分亿万家产,给女儿和老婆更好的生活!
韦小鸨
宋病吴亚雪司雅
宋病吴亚雪司雅
天生的宋病,获得了一个。(疑难杂症?妇科不孕?…来摸摸,哪里生病摸哪里…都能轻松吸收治愈,更能将吸收的疾病送给别人。)宋病当即走上了一条摸病救人、积德行善的道路。结果,好心治好女友的眼睛,挽救十八名身患绝症的陌生人。却反手被女友和这些人告上了法庭。告他无证行医。最终被判罚五百万。于是,宋病只能无奈将病还给了这些驴。果断转行当上了一名有爱的兽医。半月后,女友和十八驴却急了。十八马户“宋神医,我们错
雪风心凌
官道之绝对权力
官道之绝对权力
安江以选调生第一名上岸,怀揣为民之念,投身官场,却被无形大手拨至乡镇,赘婿身份受尽白眼,两年之期已满,组织部一纸调令,峰回路转,安江华丽蜕变全县最年轻正科级干部……且看安江如何一路横空直撞,闯出一条桃运青云路,手掌绝对权力!
天选之主
厨神,把师姐们喂成女帝
厨神,把师姐们喂成女帝
关于厨神,把师姐们喂成女帝:日常(两位美女师尊,仙子师姐和古灵精怪小师妹,隔壁山头的师姐们…)+吃伐果断+花园宝宝五星级小饭馆行政主厨穿越到了北斗仙域!成为名震瑶池圣地的超级大厨!“厨仙路上谁为峰,煎炒烹炸上锅蒸!”“乱花渐欲迷人眼,老林路上把妹捡”
菠萝披萨