DISCODVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer翻译

尽管近期应用预训练语言模型来生成高质量文本带来了显著的进步，但是生成具有高连贯性的长段落仍然具有挑战性。在本文中，我们提出了DISCODVT，这是一个基于语句的离散变分Transformer，用于解决不连贯问题。DISCODVT能学习一个离散的变量序列，用以总结了文本的全局结构，然后将其应用于在每个解码步骤中以指导生成过程。为了进一步将基于语句的信息纳入离散潜在表示，我们引入辅助目标来建模文本内的语句关系。我们在两个开放的故事生成数据集上进行了广泛的实验，并证明了潜在codes能够学习有意义的语句结构，并用于指导模型生成具有更长范围连贯性的长文本。

1.介绍

　　生成具有长范围连贯性的段落是自然语言生成（NLG）的一个长期问题。尽管最近在各种NLG任务中使用了大型预训练的语言生成模型，例如摘要和对话生成，但是这些都是针对相对较短的局部相关文本的生成，生成跨越数十个句子的全局连贯段落对于预训练模型仍然具有挑战性。
　　人类编写文本的全局连贯性由主题一致和观点之间的自然转换来表示。如图1所示，诸如因果，时间之类的连续文本段之间的语句关系通常通过突出显示语句标记来表示，该表示将文本段绑定到全局结构中。虽然预训练的语言模型能在关联主题相关的概念方面合理地执行，但它们几乎不能用结构良好的语句来安排内容。
　　在这项工作中，我们利用变分自编码器（VAE）的全局表示能力，以解决使用预训练语言模型生成长文本时不连贯的问题。为了表示具有高级结构的文本，我们提出去学习一个潜在变量序列，然后用每个潜在code去抽象一个局部文本跨度。与使用连续潜在变量不同，我们学习对应于自然语言中可解释类别的离散潜在code。为了利用潜在code捕获文本的隐式语句结构，如图1所示，我们进一步设计了针对潜在表示的辅助目标，以建模语句关系。
　　我们将提出的模型称为DISCODVT，即Discourse-aware Discrete Variational Transformer。其主要思想是学习一个离散潜在变量序列，通过抽象长文本来引导解码过程去重建原始文本。学习框架如图2（a）所示。在编码阶段，为了捕获文本的高级结构，我们首先使用双向编码器来获取字符的上下文表示，然后应用1-D卷积神经网络（1D CNNS）应用于时间尺度去抽象文本段（§ 3.2.1）。为了将连续表示转换成分类特征，我们将它们映射到具有固定潜在词汇大小上的one-hot分类分布上，来获得离散变量序列（第3.2.2节）。在解码阶段，为了应用全局离散潜在code来指导局部文本的生成，首先使用1-D反卷积将潜在嵌入重新缩放到文本长度，然后添加到解码器的嵌入层以进行逐步控制（ §3.2.3）。为了抽象文本的语句结构，我们使用Penn Discourse TreeBank 2.0（PDTB）从文本中提取相邻的元素语句单元（E​​DU），如图1所示，并引入辅助目标，以将关系融入潜在表示。一旦学习了离散潜在code，我们采用自回归Transformer以将先验分布建模为序列转换任务（§3.4）。
　　我们总结了三个主要的贡献：
　　（1）我们提出了一种新的潜在变量模型，可以从长文本中学习离散潜在变量序列，并将其应用于生成过程以保证长期相干性。
　　（2）为了进一步获取语句关系信息，我们为离散潜在code引入一个辅助目标，以抽象文本的语句结构。
　　（3）我们在具有自动和人类评估的两个公开故事生成数据集中进行广泛的实验。结果表明，我们的模型显著优于基线。

2.相关工作

2.1 Long Text Generation

先前的工作试图去解决长文本生成中的不连贯问题，主要可分为模型结构的修改，生成机制的修改和先验知识的引入。
　　为了建模人类文本的分层性质，Li et al. (2015) 提出了一个分层RNN解码器，用于学习段落内的句子级表示。Shen et al. (2019) 使用多级潜在变量增强分层模型，而且Shao et al. (2019) 还融入了规划机制来预先安排输入关键词的顺序和组。
　　另一个工作路线提出将长文本生成解耦为多个阶段。模型首先生成粗略的草图，例如关键短语或摘要，然后用精细的细节将其扩展到完整的长文本中。然而，已知多步生成方法具有阶段级别的曝光偏差，即训练期间中间输出和推理的差异，这会导致阶段误差累积并损害最终的质量。
　　最后一个方向是将先验外部知识引入预训练的语言模型，例如常识故事生成。然而，这些方法可能无法涉及到所有的数据类型，例如虚构的故事，并且在文本生成期间不提供长距离引导。

2.2 Discrete Latent Variable Models

在文本生成中，连续高斯VAE已被探索用来建模响应的多样性和高级结构，例如模板和顺序。除了连续空间中的高斯潜在变量之外，最近的共还探讨了离散空间中的VAE，其具有可解释性的优点，同时能表示潜在code和分类特征之间的对应关系，例如对话行为和POS标签。最近，van den Oord et al. (2017) 提出了一种矢量量化的变分自编码器（VQ-VAE），其通过学习量化的one-hot后验来避免后验崩塌问题，这可以适用于强大的自回归解码器。在图像和语音生成中，Razavi et al. (2019); Dieleman et al. (2018) 将VQ-VAE扩展为具有分层的潜在变量，以捕获输入数据的不同分辨率，并生成高保真视频和具有高级结构音频数据。句我们所知，在文本生成的领域中，我们的工作是第一次探讨将离散潜在变量模型缩放到大型预训练语言模型的尺寸，以解决长文本生成中的不连贯问题。

3.方法

3.1 Task Definition and Model Overview

　　我们将长文本生成任务定义为条件生成问题，即，给定输入提示$\text{x}=(x_1,\cdot \cdot \cdot ,x_N)$来生成包含多个句子的文本$y=(y_1,\cdot \cdot \cdot \cdot ,y_M)$。然后使用预训练的生成模型，例如，BART，来双向编码$\text{x}$并最大化在解码器端预测$\text{y}$的对似然${\mathcal{L}}_{LM}$。
　　然而，当生成横跨数百个单词的长文本时，现有模型几乎不会保持远距离的连贯性。我们提出学习一个离散潜在变量序列$\text{z}=(z_1,\cdot \cdot \cdot \cdot ,z_L)$，以抽象出文本在时间尺度（$L$比$M$短）和类别（每个$z_l$需要从大小为$K$的潜在词表中获取值，并且值数目要比文本词表小得多）的高级结构。
　　我们的模型最大化生成模型对数似然的置信下界（ELBO）：$p(\text{y},\text{z}|\text{x})=p_{\theta }(\text{y}|\text{z},\text{x})p_{\psi }(\text{z}|\text{x})$，其中生成器和先验网络分别参数化为$\theta$和$\psi$。由于我们希望$\text{z}$捕获文本的内部结构而不是特定主题信息，因此我们将其与输入提示$x$分开，并单独定义一个后验网络$q_{\varphi }(\text{z}|\text{y})$。Zhao et al. (2018) 也采用了相同的形式以学习可解释的潜在变量。我们在下面给出ELBO：
$${\mathcal{L}}_{ELBO}={\mathbb{E}}_{\text{z}\sim q_{\varphi }}log{p}_{\theta }(\text{y}|\text{z},\text{x})-D_{KL}(q_{\varphi }(\text{z}|\text{y})||p_{\psi }(\text{z}|\text{x})).\text{\hspace{1em}(1)}$$
　　由于$\text{z}$的离散性，$q_{\varphi }(\text{z}|\text{y})$在每个位置定义一系列离散词表$K$上的one-hot分布。因此，ELBO的第二项可以被解释为序列转换目标，给定后验目标序列$\text{z}$，先验模型进行自回归拟合：$p_{\psi }(\text{z}|\text{x})={\prod }_l{p}_{\psi }(z_l|{\text{z}}_{<l},\text{x})$。
　　与van den Oord et al. (2017) 类似，我们将学习过程分为两个阶段。在第一个训练阶段，我们训练后验网络和生成器，以优化ELBO的第一项，以学习文本的离散潜在code（§3.2）。我们进一步提出了对潜在表示的语句目标，以建模文本的高级语句关系（§3.3）。在第二训练阶段，我们采用另一个先验 Transformer模型来预测给定输入提示的离散code（§3.4）。在推理阶段，我们首先从先验的网络上获取给定输入提示的一系列潜在变量，然后将其带入生成器，并通过随机采样文本字符来指导文本生成。

3.2 Learning Discrete Latent Codes

在本节中，我们介绍了从长文本学习离散潜在code的过程。给定文本$\text{y}$，然后将其编码为潜在的变量序列$\text{z}$，该$\text{z}$能保留高级结构，以使用输入$\text{x}$和$\text{z}$引导文本重建。$\text{y}$首先使用双向Transformer编码器编码到上下文化表示中，然后用1D CNN和离散变分bottleneck来抽象$\text{z}$。为了引导文本生成，我们首先将Z嵌入到嵌入矩阵中，然后通过反1D CNN将其重新缩放到序列$\text{y}$的原始长度，最后将其注入解码器的嵌入层以进行逐步控制。

3.2.1 Temporal Abstraction with CNNs

为了抽象与文本的全局结构相对应的高级特征，我们采用$c$层的1D CNNS将文本长度减小$2^c$倍，其中每一层将输入长度减半。在非自回归机器翻译中也探讨了类似的架构，但那是为了并行解码提出的。
　　形式上，给定输入文本表示${\text{H}}^{\hat{e}}=[{\text{h}}_1^e,\cdot \cdot \cdot \cdot ,{\text{h}}_M^e]$，CNN的输出表示为${\text{O}}^{\hat{e}}=[{\text{o}}_1^e,\cdot \cdot \cdot ,{\text{o}}_L^e]$。直观上，堆叠的CNNS从文本序列提取连续的n-gram特征，每个code都抽象了具有灵活边界的连续文本跨度。
　　在解码阶段，为了使高级表示在时间级连续平滑地指导局部文本生成，我们采用反CNN这一对称结构重新缩放code嵌入矩阵${\text{O}}^{\hat{z}}=[{\text{o}}_1^z,\cdot \cdot \cdot \cdot ,{\text{o}}_L^z]$到低级特征 ${\text{H}}^{\hat{z}}=[{\text{h}}_1^z,\cdot \cdot \cdot ,{\text{h}}_M^z]$。

3.2.2 Discrete Variational Bottleneck

为了强制$\text{z}$通过可解释的类别保留文本重建的显着信息，我们引入了离散的变分bottleneck，使CNN的输出${\text{O}}^e$离散化为类别特征。直观地，bottleneck通过将连续表示映射到离散空间来控制$z$的信息容量。
　　我们给出了离散化的正式描述。 图2(b)显示了第$l$个位置的一个例子（后面将忽略下标$l$）。首先通过线性变换将$o^e$映射到logits $\text{t}={\text{W}}^z{o}^e\in {\mathbb{R}}^K$。此位置处的离散code $z$被定义为：
$$z=\underset{k\in K}{\mathrm{argmax}}{t}_k.\text{\hspace{1em}(2)}$$
　　在训练期间，为了能使用反向传播进行梯度更新，我们应用Gumbel-Softmax技巧，以提供argmax操作的可微分松弛。
$$w_k=\frac{exp((t_k+g_k)/\tau )}{{\sum }_{k=1}^{K}exp((t_k+g_k)/\tau )},\text{\hspace{1em}(3)}$$
其中$g_1,\cdot \cdot \cdot \cdot ,g_k$是来自Gumbel分布的独立同分步样本，并且$\tau$是控制松弛的温度。训练期间，随着$\tau$从${\tau }_{max}$退火到接近$0$，软的类别分布$w_k$变成one-hot分布。
　　然后将该类别分布映射到可学习的code嵌入${\text{E}}^z$以获得code嵌入矩阵${\text{o}}^z={\text{E}}^z\text{w}$。

3.2.3 Generation with Step-Wise Control

为了得到能够显式指导局部文本生成的高级code，首先将code嵌入矩阵${\text{O}}^z$重新缩放到${\text{H}}^z$中。然后，在每个解码位置将添加到具有字符嵌入 { e m } m = 1 M \{\textbf e_m\}^M_{m=1} {em​}m=1M​和位置编码 { p m } m = 1 M \{\textbf p_m\}^M_{m=1} {pm​}m=1M​的嵌入层。新的输入嵌入则变成 { h m z + e m + p m } m = 1 M \{\textbf h^z_m+\textbf e_m+\textbf p_m\}^M_{m=1} {hmz​+em​+pm​}m=1M​。由于Transformer中的残差结构，${\text{h}}_m^z$的信息可以有效地传递给较高层。
　　直观地，每个潜在code控制局部文本跨度的详细生成，而不同的code抽象了文本中不同部分的高级模式。
　　因此，重构目标是最大限度地提高对数似然的期望：
$${\mathcal{L}}_{recon}={\mathbb{E}}_{z\sim q_{\varphi }(\text{z}|\text{y})}log{p}_{\theta }(\text{y}|\text{z},\text{x}).\text{\hspace{1em}(4)}$$

3.3 Discourse Relation Modeling

为了将文本的语句结构抽象到潜在表示，我们设计了一个辅助的语句目标，以将语句关系信息嵌入离散潜在code。我们专注于显示的语句关系而不是隐式的语句信号，例如句子的顺序，因为它们不能表达相邻句子的连接方式。我们从PDTB中选择一组明确的语句标记集合$\mathcal{D}$，该集合能表明高级话语连贯性。正如Prasad et al. (2008) 所建议的那样，大约90％的明确语句关系出现在同一个句子或相邻句子之间。因此，对于句子内关系，我们采用与 Nie et al. (2019) 相同的基于appropriate dependency patterns 的连接句子标记器，来解析句子并抽取相连EDU。处理细节和标注示例在附录A.3.2中提供。
　　单个段落的语句标注结果形式化如下所示：
A = { ( s i , e i ) , d i , i + 1 } i = 1 S \mathcal A=\{(s_i,e_i),d_{i,i+1}\}^S_{i=1} A={(si​,ei​),di,i+1​}i=1S​
其中$S$是$\text{y}$中的EDU的总数，$s_i,e_i$是第$i$个EDU的开始/结束位置，$d_{i,i+1}$是第$i$个和$i+1$之间的语句标签。
　　接下来，我们正式建模语句关系目标。我们首先通过mean-pooling来获取第$i$个EDU $\overline{{\text{h}}_i}$对应潜在嵌入$[{\text{h}}_{s_i}^z,...,{\text{h}}_{e_i}^z]$的平均潜在表示。然后我们使用双仿射转换来建模两个相邻表示之间的关系，并最大化标签$d_{i,i+1}$的对数概率，如下所示：
$$p(d_{i,i+1}|\text{z})=softmax({\bar{\text{h}}}_i^T{\text{W}}_d{\bar{\text{h}}}_{i+1}+{\text{b}}_d),\text{\hspace{1em}(6)}$$
$${\mathcal{L}}_{disc}={\mathbb{E}}_{z\sim q_{\varphi }(\text{z}|\text{y})}\sum _{i=1}^{|\mathcal{A}|-1}logp(d_{i,i+1}|\text{z}).\text{\hspace{1em}(7)}$$

3.4 Autoregressive Prior Modeling

在第二阶段，我们提出使用Transformer编码器 - 解码器$\psi$，通过等式(1)中的第二项来学习离散潜在code的先验分布。为了促进训练，我们利用预训练的文本编码器的参数来初始化先验模型的编码器并从头开始训练解码器。优化目标相当于最大化下式的对数似然。
$${\mathcal{L}}_{prior}={\mathbb{E}}_{z\sim q_{\varphi }(\text{z}|\text{y})}\sum _{l=1}^{L}logp(z_l|{\text{z}}_{<l},\text{x}).\text{\hspace{1em}(8)}$$
在实践中，我们通过从$q_{\varphi }$获取argmax来估计期望。与抽样相比，这种方法降低了学习方差。

3.5 Additional Learning Techniques

在初步实验中，我们发现了两种额外的技术，能够辅助模型学习文本的有意义的潜在抽象，如下所述。
　　Entropy Regularization。我们发现预训练的解码器倾向于利用整个code词表中少量的离散code，这破坏了discrete bottleneck的表现力。为了确保模型使用离散词表中的所有code，我们添加了基于熵的正则化项，能够鼓励跨时间步骤的多样化的离散潜在code的选择。具体地，我们计算跨时间步骤的平均类别分布$\bar{\text{p}}=\frac{1}{L}{\sum }_{l=1}^{L}softmax({\text{t}}_l)$，其中${\text{t}}_l$是位置$l$处的code分布。然后，我们最大化平均分布的熵：
$${\mathcal{L}}_{entr}=-\sum _{k=1}^K{\bar{p}}_{l}log{\bar{p}}_k.\text{\hspace{1em}(9)}$$
在第一阶段中的整体目标是上述目标的加权和：${\mathcal{L}}_{recon}+{\lambda }_1{\mathcal{L}}_{entr}+{\lambda }_2{\mathcal{L}}_{disc}$。
　　Warm-Start Training。在训练开始时，如果discrete bottleneck不会产生有意义的潜在嵌入，则预训练的生成器会将它们视为噪声，这降低了下游任务上的生成性能。为了缓解这个问题，我们将Gumbel $\tau$固定到${\tau }_{max}$并使用从BookCorpus 收集的连续文本采用目标${\mathcal{L}}_{recon}+{\lambda }_1{\mathcal{L}}_{entr}$进行训练，以作为热启动模型。