ADL100(3)-HuangMinlie-生成式闲聊

刚开始的背景引入和seq2seq/CVAE这俩模型不介绍了

总览

　　语义：多样性，知识

　　交互：情感，行为

　　一致性：个性化

1. Diversity

　　输入时 Encoder中

　　　　a) 加入不同 topic word;

　　　　b) 采用不同的prototype(原型);

　　　　c) 先检索后生成

　　输出时 Decoder中

　　　　a) 改变概率分布，如copy

　　解码时:

　　　　a) Maximum Mutual Information

　　　　b) Diverse Beam Search

2. Knowledge

　　1）先检索知识，后生成（Unstructured）

　　2）改变decoder概率分布，从KB还是Context

　　3）利用KB中的三元组，作用于word sentence Encoder(多轮对话)和Decoder

　　4）在常识匹配中，某篇工作利用图attention，先检索图，再整到三元组

3. Persional

　　1）用户Embedding

　　2）解码时输入属性标签的Embedding

　　3）黄在IJCAI-18的工作中，先检测问的profile，在确定好回复的位置，同时用双向decoder进行生成

3. Emotion

　　1）Affect-LM: emotion type + emotion strength

　　2）ECM： emotion embedding + express control + expression word

　　3）Affective Neural Response Generation， 加入了VAD表示

　　4) MojiTalk: Pure CVAE + Policy Gradient

　　5) Ground image

4. Behaviour

　　体现

　　　　1）Proactive  and reactive

　　　　2）Topic maintenance or transition

　　1）僵持检测，没有则正常回复，有则利用检索引起新话题（我猜的）

　　2）主动提建议：根据Q和context给建议，利用建议进行回复

　　3）提前检测对话失败

　　4）主动问问题， 四个W一个How 得到要问问题的类型，给出回复

　　本质是改变概率分布：soft and hard， hard时不可导用gumbel softmax

　　5）控制sentence function：就是祈使句，陈述句等

　　6）话题转移术：deepen and widen 问题的横向扩展和纵向扩展进行回复

转载于:https://www.cnblogs.com/zh-liu/p/ADL100-3-Generative-Chat.html

相关资源：数据结构—成绩单生成器