这个模型也就是前面提到的动态记忆，这篇论文来自ICLR2017，论文比笔记还是参考了北邮的两位大佬的博客，后面给出了原博客地址。论文提出了一种新的动态记忆网络，使用固定长度的记忆单元来存储世界上的实体，每个记忆单元对应一个实体，主要存储该实

上个月看了Facebook的记忆网络系列，前面的两篇论文的笔记看完就整理了，后面这几篇就耽误了，最近又看了一遍，于是及时整理，不然又忘了。这篇文章主要参考北邮的两位大佬（北邮张博、知乎-呜呜哈）的文章，这两个大佬是真的厉害Orz，他们的文章

本文主要做出了两个大的贡献： 给出了阅读理解数据集的构造方法，并开源了两个阅读理解数据集； 提出了三种神经网络模型作为baseline，以方便后面的研究者进行相关的研究。 1 数据构造主要是从新闻网站中抓取新闻作为文章，新闻的摘要去掉一

1 背景（1）在记忆网络中，主要由4个模块组成：I、G、O、R，前面也提到I和G模块其实并没有进行多复杂的操作，只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块，O用来选择与问题相关的记忆，R用来回答，而这两部分都

本文模型之前的模型都是用一个静态的向量来表示一个entity，与上下文没有关系。而本文最大的贡献在于提出了一种动态表示entity的模型，根据不同的上下文对同样的entity有不同的表示。模型还是采用双向LSTM来构建，这时实体表示由四部分

1 问题和解决办法（1）问题 当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决； 对于句子间的这种长期依赖，于是需要从记忆中提取信息； （2）解决办法 本文提出了实现长期记忆的框架，实现了如何从长期记忆中

1 问题和数据集1.1 问题 这是一篇以阅读理解为任务的文章，但在具体处理这个任务时，主要解决数据特征等的表示问题。在提取文本特征时，通常只对单词做词嵌入，而忽略了字符级的特征。 1.2 数据集 CBT WDW SQuAD 2 目

1 论文主要内容 本文是一篇资源论文，主要发布了用于检索式问答或阅读理解的数据集Trivia QA； 对该数据集的质量和数量进行了分析，并创建了baseline，用于具体评估数据集的质量。 2 Trivia QA数据集的特点 问题比较

注：由于tensorflow版本的不同，这个函数所在的模块可能不同，如：tf.nn.seq2seq.sequence_loss_by_example和tf.contrib.legacy_seq2seq.sequence_loss_by_e

1 问题及数据集1.1 问题本论文主要解决一种面向Cloze-style（填空式）的阅读理解（问答）问题 1.2 数据集（1）CNN&Daily Mail（2）SQuAD（3）Graph Reachability datase

这篇论文来源于EMNLP2018，论文地址，这次采用了思维导图的方式记录笔记，思维导图的缩略图如下： 该思维导图较大，于是上传时进行了压缩，可以直接点击思维导图地址进行交互式的访问或下载，思维导图地址，备用思维导图地址 效果图：

1 问题及数据集1.1 问题给定较长一段话的context和一个较短的问题，以及一些candidate answers，训练出可以准确预测正确答案的模型，本模型主要针对命名实体和常用名词这两种词性的单词进行填空。 1.2数据集（1）CNN&