IT学习站-137zw.com

作者: 执着等待等wc
查看: 133|回复: 0

more +资源更新Forums

more +随机图赏Gallery

微专业 - Java高级开发工程师(完整版)微专业 - Java高级开发工程师(完整版)
价值348元 RabbitMQ消息中间件技术精讲2018视频教程 百度云价值348元 RabbitMQ消息中间件技术精讲2018视频教程 百度云
画画教程 SAI零基础合集(11套)202G  完整版课程分享画画教程 SAI零基础合集(11套)202G 完整版课程分享
喜马拉雅付费专辑 华语辩论冠军的思辩表达课 分享下载喜马拉雅付费专辑 华语辩论冠军的思辩表达课 分享下载
价值1169元 建设项目目标成本编制与投资收益测算 课程价值1169元 建设项目目标成本编制与投资收益测算 课程
医学生必备图谱及教材 蓝色生死恋全集奈特图谱十二本+黄...医学生必备图谱及教材 蓝色生死恋全集奈特图谱十二本+黄...

注意力机制及Keras实现

注意力机制及Keras实现

[复制链接]
执着等待等wc | 显示全部楼层 发表于: 2019-11-14 14:05:00
执着等待等wc 发表于: 2019-11-14 14:05:00 | 显示全部楼层 |阅读模式
查看: 133|回复: 0

你还没有注册,无法下载本站所有资源,请立即注册!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
注意力往往与encoder-decoder(seq2seq)框架搭在一起,假设我们编码前与解码后的序列如下:
注意力机制及Keras实现  技术博客 1254945-20191112223251470-65450649


编码时,我们将source通过非线性变换到中间语义:
注意力机制及Keras实现  技术博客 1254945-20191112223418792-1323727309


则我们解码时,第i个输出为:
注意力机制及Keras实现  技术博客 1254945-20191112223557558-1227395833


可以看到,不管i为多少,都是基于相同的中间语义C进行解码的,也就是说,我们的注意力对所有输出都是相同的。所以,注意力机制的任务就是突出重点,也就是说,我们的中间语义C对不同i应该有不同的侧重点,即上式变为:
注意力机制及Keras实现  技术博客 1254945-20191112224037468-200445781

注意力机制及Keras实现  技术博客 1254945-20191112233444406-1847194744

注意力机制及Keras实现  技术博客 1254945-20191112233506955-1941156381

常见的有Bahdanau Attention
注意力机制及Keras实现  技术博客 1254945-20191112233540209-1036309625


e(h,s)代表一层全连接层。
及Luong Attention
注意力机制及Keras实现  技术博客 1254945-20191112233617368-1975859407


学习的一个github上的代码,分析了一下实现过程。代码下载链接:https://github.com/Choco31415/Attention_Network_With_Keras
代码的主要目标是通过一个描述时间的字符串,预测为数字形式的字符串。如“ten before ten o'clock a.m”预测为09:50
在jupyter上运行,代码如下:
1,导入模块,好像并没有全部使用到,如Permute,Multiply,Reshape,LearningRateScheduler等
2,加载数据集,以及翻译前和翻译后的词典这里human_vocab词典是将每个字符映射到索引,machine_vocab是将翻译后的字符映射到索引,因为翻译后的时间只包含0-9以及冒号:
3,定义数据处理方法4,输入中最长的字符串为41,输出长度都是5,训练测试数据使用one-hot编码后的,训练集占比80%5,定义每次新预测时注意力的更新
在预测输出yi-1后,预测yi时,我们需要不同的注意力分布,即重新生成这个分布
以上,注意力的计算公式如下所示:
注意力机制及Keras实现  技术博客 1254945-20190910102627585-1932185625


6,定义注意力层7,定义模型
8,训练模型
如下为模型的结构图
注意力机制及Keras实现  技术博客 1254945-20190910110420265-1731919968



9,评估10,预测
这里就随机对数据集中的一个样本进行预测11,还可以查看一下注意力的图像如图所示,在预测1和5时注意力在four单词上,预测4,8时注意力在before单词上,这比较符合逻辑。
注意力机制及Keras实现  技术博客 1254945-20190910105812127-1544655057



来源:http://www.137zw.com
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
137zw.com IT学习站致力于免费提供精品的java技术教程和python技术教程,CCNA书籍/资料/CCNP书籍/资料教程/CCIE书籍/资料/H3C学习/认证/一级建造师考试/微软学习/认证/包括基础教程和高级实战教程,同时也提供分享网站源码下载和互联网相关一系列的技术教程,我们想做的就是让知识分享更有价值!(IT学习站官方唯一域名地址:www.137zw.com 请谨防假冒网站!)本站所有资源全部收集于互联网或网友自行分享,分享目的仅供大家学习与参考,如无意中侵犯您的合法权益,请联系本站管理员进行删除处理!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

浙ICP备19022368号-1|Archiver|手机版|IT学习站-137zw.com

GMT+8, 2020-7-4 10:50 , Processed in 0.235301 second(s), 33 queries .

快速回复 返回顶部 返回列表