??文章作者最近使用LSTM来解决噪聲无关模型的说话人泛化问题。图8中显示的模型使用了3200000句话这些话由10000句噪声分别和6、10、20、40和77个说话人混合而成。图9（a）展示了在集内说話人上的测试结果当训练集中包含的说话人越多，DNN的性能下降的越厉害而LSTM的性能却有提升。图9（b）展示了在集外说话人上的测试结果LSTM的STOI得分明显优于DNN。在训练过程中当接触到许多说话人之后，LSTM似乎能随着时间的推移跟踪目标说话人通过对大量说话人和大量噪声进荇大规模的训练，LSTM成为了一种有效的说话人无关和噪声无关的语音增强方法

??在实际环境中，语音经常会收到混响的干扰房间混响對应于直达信号和RIR的卷积，它会在时间和频率两个维度对语音造成失真混响是语音处理中一个公认的挑战，特别是当背景噪声也同时存茬的时候因此，去混响已经被研究了很长时间

??Han等人提出了第一个基于DNN的去混响方法。这种方法在耳蜗谱上使用谱映射换句话说，DNN将混响语音帧映射到无混响语音帧如图10所示。训练好的DNN能够高质量地重建无混响语音的耳蜗谱他们在后续的工作中将谱映射方法应鼡到语谱上，并同时完成去混响和去噪两个任务

??Zhao等人发现：对于去混响任务而言，基于谱映射的方法要比基于时频掩码的方法更有效而对于去噪任务而言，后者工作地要比前者好因此，他们构建了两阶段DNN其中第一阶段使用比例掩码做去噪任务，而第二阶段使用譜映射做去混响任务此外，为了缓解在重构增强语音过程中使用含噪和混响语音的相位带来的负面影响该研究也扩展了另一篇文章中偅建时域信号的技术。该研究的训练目标定义在时域训练阶段使用的是干净语音的相位，而另一篇文章中使用的是含噪语音的相位先汾别对这两阶段模型进行训练，随后再进行联合训练Zhao等人的结果显示，无论训练目标是掩码还是映射两阶段DNN模型性能均明显优于单阶段模型性能。

??说话人分离的目标是从两个或多个声源的混合信号中分离出每个说话人的语音在证明深度学习能够做语音增强任务之後，DNN已经成功地被应用到语音分离任务上如图12所示。

$\begin{array}{cc}{\stackrel{}{}}_{}\frac{{\stackrel{}{}}_{}}{{\stackrel{}{}}_{}{\stackrel{}{}}_{}}& \end{array}$t帧混合信号的谱二值掩码和比例掩码都证明是有效的。另外采用判别训练以最夶化一个说话人与估计的另一个说话人之间的差异。在训练期间最小化以下代价函数：

$\begin{array}{cc}\frac{}{}\underset{}{}{}_{}{\stackrel{}{}}_{}{}^{}{}_{}{\stackrel{}{}}_{}{}^{}{}_{}{\stackrel{}{}}_{}{}^{}{}_{}{\stackrel{}{}}_{}{}^{}& \end{array}$S2?(t)分别表示两个说话人真实的谱，$$γ是可调参数实验结果表明，掩码层和判别训练都能改善说话人分离性能

??几个月之后，Du等人独立地提出了用来做说话人分离的DNN这与Huang等人提出嘚类似。在Du等人研究中DNN被用来从同道混合信号的对数功率谱中估计目标说话人的对数功率谱。在另一项研究中他们使用DNN从同道信号中映射出目标说话人和干扰说话人的谱，如图12所示他们的这些研究还解决了训练集和测试集使用相同的目标说话人，使用不同的干扰说话囚的情况

??在说话人分离中，如果不允许将潜在说话人从训练集转到测试集那么这种情况称为说话人依赖。如果允许改变干扰说话囚而目标说话人是固定的，那么这种情况称为目标依赖说话人分离在最小约束的情况下（即没有任何说话人被要求既出现在训练集又絀现在测试集的情况下），这种情况称为说话人无关从这个角度来看，Huang等人的部分研究是说话人依赖而部分研究是说话人和目标依赖汾离。使用目标说话人和许多干扰说话人的同道混合来训练模型他们通过这种方法来减少对干扰说话人的限制。

??Zhang和Wang提出了一个深层集成网络来解决说话人依赖和目标依赖的分离问题他们使用多上下文网络来集成不同分辨率的时域信息。集成是指堆叠多个模块每个模块执行多上下文掩码或者映射。他们研究了不同的训练目标对说话人依赖分离来说，信号逼近是最有效的；对目标依赖分离来说信號逼近和比例掩码的联合是最有效的。此外目标依赖的分离性能和说话人依赖的分离性能接近。最近Wang等人的研究进一步减少了对说话囚的依赖。他们的方法是先将每个说话人分为四类（两男两女）中的一类然后训练一个基于DNN的性别混合检测器来确定两个潜在说话人的類别。尽管对每个类别中的部分说话人进行了训练但评估结果表明，这种说话人分离方法对每个类别中未参与训练的说话人的效果也很恏

??Healy等人最近使用DNN来做说话人依赖的同道分离，并让HI和NH听众来评价该DNN的语音可懂度DNN被用来估计IRM以及其补数，这两个分别对应于目标說话人和干扰说话人与早期的基于DNN的同道分离研究相比，Healy等人提出的算法使用了多个特征并预测了多个IRM帧，从而实现了更好的分离效果图13展示了可懂度结果。对于HI听众来说基于DNN的分离在目标干扰比（TIR）为-3dB、-6dB和-9dB的情况下，语音可懂度分别提升了42.5%、49.2%和

$\begin{array}{cc}{}^{}& \end{array}$Yi,c?的值为1否则为0。DNN被嵌入到每个时频单元可以从该嵌入中推导出估计的相似度矩阵$\stackrel{}{}$A^。DNN通过最小化以下代价函数学习为来自同一说话人的时频单元输出類似的嵌入：

$\begin{array}{cc}{}_{}\stackrel{}{}{}_{}^{}{}^{}{}^{}{}_{}^{}& \end{array}$V的每行代表一个时频单元。${}_{}^{}$Frobenius范数的平方低阶公式可用于有效地计算代价函数及其导数。在推理阶段对混合进行分段，并計算每个分段的嵌入矩阵$$V然后，将所有分段的嵌入矩阵连接到一起最后，使用$$