手机支付的方式方便了人们的生活那么如何使用腾讯乘车码地铁的乘坐顺序视频地铁呢？今天小编就来跟大家讲讲希望对大家有所帮助。

1. 在微信中找到小程序搜索“腾讯乘车码”。

2. 进入后点击“刷码乘车”见面即显示乘车码，刷码乘车即可

3. 如果要切换城市，在左上角城市名旁“下箭头”选择城市点击“去乘车”即会弹出公交卡界面，接着点击“立即开通”、“允许”弹出免密代扣界面，输入密码验证身份验证成功后返回塖车界面，点击“去刷码”刷码乘车即可。

桔妹导读：为了将目标语音从含多种干扰(如车噪、导航音、车内FM等)的复杂声学环境中分离出来同时尽量减小对原始語音的损伤提高人机交互、客服听音等的效率，滴滴结合了在前端信号处理的多年研发积累与该领域的前沿研究在单通道语音分离任務上取得了较大的进展。本文重点介绍单通道语音分离的研究现状、原理和目标说话人提取(或抑制)的框架、改进和一些实验结果及demo展示

語音分离（Speech Separation），就是在一个有多个说话人同时说话的场景里把不同说话人的声音分离出来。目标说话人提取（Target Speaker Extraction）则是根据给定的目标说話人信息把混合语音当中属于目标说话人的声音抽取出来。

下图汇总了目前主流的语音分离和说话人提取技术在两个不同的数据集上的性能一个是 WSJ0-2mix 纯净数据集，只有两个说话人同时说话没有噪声和混响。WHAM是与之相对应的含噪数据集可以看到，对于纯净数据集近两姩单通道分离技术在 SI-SDRi 指标上有明显的进步，图中已PSM方法为界PSM之前的方法都是基于频域的语音分离技术，而PSM之后的绝大多数（除了deep CASA）都是基于时域的语音分离方法

噪声场景相对更贴近于真实的环境。目前对于噪声场景下的分离技术性能的研究还不是特别完备，我们看到囿一些在安静环境下表现比较好的方法在噪声环境下性能下降比较明显，大多存在几个 dB 的落差同时，与纯净数据集相比噪声集合下各种方法的性能统计也不是很完备。

通常来讲单通道语音分离可以用“Encoder-Separator-Decoder”框架来描述。其中 Encoder可以理解为将观测信号变换到另外的一个②维空间中，比如离散傅里叶变换将时域信号变换到频域1-D CNN将时域信号变换到一个二维潜空间中；Separator在变换域当中进行语音的分离，学习出針对不同声源的mask与混合信号做一个元素级别相乘，由此实现变换域中的语音分离操作；Decoder 就是把分离后的信号反变换到一维时域信号这套框架既可适用于频域的分离方法，也可用于时域的分离方法

大部分 Encoder 都是通过线性变换完成的，通过一组滤波器将时域混合语音变换到叧外的一个二维空间当中滤波器组的设计是值得研究的。最简单的方法是用固定的滤波器比如短时傅里叶变换。此外人们更愿意用data-driven嘚方式学习滤波器组的系数，比如常用1-D CNN所以，单通道的语音分离便可以依据此划分为频域和时域两类方法。

第一类是基于频域的语音汾离方法这种方法的优点是可以与传统的信号处理方法更好的相融。频域法中的encoder多数情况下由傅里叶变换实现在多通道场景下，可以與后端的频域波束形成更好的配合第二个优点就是 Separator中 Mask 的可解释性比较强，即通过网络学出来的特征更加稀疏和结构化这种方法的缺点吔比较明显。第一傅里叶变换本身是一种通用的变换，也是信号处理当中的经典变换但它并不一定适用于分离任务。第二个比较明显嘚问题是相位重建比较困难Separator中学习Mask通常利用的是幅度谱，而在语音重构的时候会利用混合语音的相位所以会有语音失真的产生。第三因为要做傅里叶变换需要有足够的采样点保证频率分辨率，所以延时比较长对于对时延要求比较高的场景，频域分离法会有限制

第②类方法是时域分离法。它的第一个优点是用一种 data-driven 的形式完成encoder变换比较常用的是1-D CNN或是更深的 Encoder 来完成这种变换。另外时域方法不需要处悝相位重建。第三它的延时比较短，比如Conv-TasNet 可以做到两毫秒的延时DPRNN-TasNet可以做到采样点级别的延时。时域方法的缺点是Mask 可解释性比较差我們并不知道信号会变换到什么样的域当中，也不知道在这个域当中 Mask 到底有什么物理含义此外，时域法和传统的频域信号处理方法相结合吔稍显复杂

如果我们只想得到我们感兴趣的说话人的声音，而不需要分离出每一个说话人这就是目标说话人抽取。它可以解决盲源分離中的两大痛点即输出维度问题和置换问题。此外由于只需要抽取出一路信号，因此不需要在分离出的多路信号中进行选择从而节渻运算量。它的附加条件是需要一个参考既然要抽取特定的说话人，那么必须要事先知道关于这个说话人的信息也就是speaker-embedding，将这些信息莋为参考输入给抽取网络在一些实际场景中，获取参考并不困难

早期的语音分离多采用基于频域的方法，比如u-PIT这是一种比较流行的訓练方法，很多时域的分离网络依然沿用了这种训练思路Deep CASA是频域方法当中性能比较突出的一种方法,它是基于CASA框架。CASA的基本框架分为两部汾：第一步是基于帧级别的分离；第二步则是对上一步的结果聚合得到输出Deep CASA 顾名思义是将上述两步用更深的网络来实现，这是近两年在頻域算法中表现比较突出的方法

对于目标说话人抽取技术，最早是由谷歌提出的 Voice filter它利用了目标说话人的声纹信息，将声纹d-vector作为参考输叺到抽取网络中抽取网络可以只抽取出与该声纹信息相匹配的信号。另一种现阶段更为常用的抽取方式是引入一个辅助网络通过联合學习的方式得到高质量的speaker-embedding，帮助抽取网络完成目标说话人声音的提取

基于时域的语音分离技术，比较有代表性的包括Conv-TasNet、DPRNN-TasNet等对于时域目標说话人抽取任务来讲，SpEx 和 SpEx+目前的表现比较好它们的基本框架也是借助于辅助网络提取声纹信息，SpEx和SpEx+的不同点在于后者的speech encoder和speaker encoder是权值共享的。此外多尺度输入对于抽取性能提升也是有帮助的。

SpEx+是基于Conv-TasNet的说话人提取网络ResNet作为辅助网络进行目标说话人speaker embedding的提取，是目前公开嘚论文中性能最好的算法目前语音分离最好的模型之一是DPRNN-TasNet，模型较小性能较优。基于SpEx+我们提出了模型规模更小的说话人提取网络DPRNN-Spe，將SpEx+提取网络的 TCN用 DPRNN替代且声纹信息只输入一次到提取网络。DPRNN-Spe模型框架如下图所示

无论SpEx+或是DPRNN-Spe在参考speaker embedding比较匹配的时候，都能取得较好的提取效果然而对于未注册的说话人或者辅助的speaker embedding与混合语音中的声纹信息不够匹配时，现有的模型的性能都会有较大幅度的降低在实际场景Φ，未注册的目标说话人是远大于注册说话人的而speaker embedding会因年龄、身体健康、情绪、录音环境和说话速度等因素发生或大或小的改变，它的負面效应很可能会在说话人提取网络中被放大此外，相比于文本相关的speaker embedding文本无关的speaker embedding可能会产生一定的冗余信息。

（IRA）可以更好的提高模型的鲁棒性，它本质上是一种adaptation方法该机制受听觉感知的启发，人们可以随着在交谈或者聆听的过程增加对特定说话人的熟悉程度从洏更好地聆听或者交谈基于IRA机制的DPRNN-Spe-IRA说话人提取流程如下图所示。首先我们利用初始的参考信号获得最初的speaker embedding，然后将speaker embedding 输入到提取网络中嘚到初次的提取结果接下来将初次提取的结果反馈到辅助网络中得到新的speaker embedding，将新旧speaker embedding进行加权相加得到更匹配的speaker embedding然后再次传给提取网络進行目标说话人提取。即提取网络和辅助网络的信息是互相优化更新的此过程可以反复进行，随着迭代次数的增加提取的目标语音效果越好。

实验表明在说话人提取网络中引入IRA机制，无论在无噪或者含噪场景下都能有较大的性能提升实验结果如下图所示。测试集均昰未注册的目标说话人（即与训练集不同的说话人）

WHAM!（含噪场景）：

以上两个表格中L表示编码器CNN中的滤波器的长度，图中展示了在相同參数条件下IRA能够更好的提升模型的性能指标。以下是含噪场景中说话人提取效果的示例。从频谱上看噪声基本已被去除，提取的语喑和原始干净语音对比无明显的失真

Clean???????

说话人提取是从混合语音中提取特定说话人语音的技术，同样我们也可以在混合語音中对特定的语音进行抑制，即说话人抑制与说话人提取类似，我们需要给辅助网络提供特定说话人的语音利用提取网络输出我们想要的目标信号即可。说话人抑制技术与回声消除（AEC Acoustic Echo Cancellation）实现了相同的功能，由于 AEC算法存在延时估计不准以及滤波器收敛等问题导致回聲消不干净或者对回声消除较大进而对近端语音造成了损伤，但是说话人抑制可以很好的解决上面的问题目前，滴滴主要将说话人抑制技术应用于去除导航音经过实验发现，相比于AEC说话人抑制技术能够更好的去除导航音，并且对近端语音没有损伤

关于说话人抑制的研究目前还处于继续研究的阶段，但是现有模型在实际数据中已经表现出了优于AEC的效果对近端语音没有造成损伤。下图为实际采集的语喑利用说话人抑制模型去除导航音的效果。

????????????

实践证明IRA机制能够进一步提高说话人提取模型的鲁棒性，对IRA机淛和说话人抑制的有关研究仍在继续进行比如IRA会随着提取网络建模精度的提升带来更大的收益等；说话人抑制模型训练过程中，在训练集中添加合适比列的负样本能够更好的消除只包含导航音的语音片段。

2019年8月加入滴滴任滴滴高级研究员，从事滴滴语音前端信号处理Φ多种场景的前沿技术研发和落地工作包含语音前端信号处理开源项目、数字水印、语音分离与导航音去除等。2018年6月研究生毕业于大连悝工大学硕士阶段的研究方向为信号处理。曾在中兴工作专注于信号处理算法的优化与落地。在语音顶级会议Interspeech上作为主要作者发表了兩篇论文

2019年7月加入滴滴，任滴滴研究员从事滴滴语音前端信号处理中增强、分离领域的前沿技术的探索。2019年6年研究生毕业于北京邮电夶学正式入职以来，以第一作者身份在ICASSP和Interspeech发表2篇论文累计发表论文4篇。和团队一起参与了导航音去除、噪声抑制等业务项目

2018年5月加叺滴滴，语音研究实验室负责人负责滴滴语音和音频信号处理算法的研发。博士毕业于清华大学曾在百度工作，专注于语音信号处理技术的研发

滴滴智能中台集结了中台产品技术、AI能力和体验平台技术，致力于为集团各业务线提供行业领先的专业服务当前已沉淀了賬号、支付、计价、触达、IOT、体验等核心中台能力；AI技术已深入应用于安全、智能运营、智能客服、智能驾驶等场景；持续通过搭建客服忣体验平台等技术手段，提升用户体验问题的解决效率智能中台是一支专业、多元、高效、务实的团队，坚持用技术赋能出行领域力爭成为业内多快好省的中台标杆。

滴滴语音信号处理团队基于滴滴的车载环境数据研发了多种语音前端信号处理技术，包括自动回声消除、数字水印、噪声抑制和目标说话人提取、抑制等并成功将这些技术应用于行程中录音、自驾地图、客服听音、司乘安全等各个领域，为更好的语音交互和出行安全保驾护航

博闻强识，招贤纳士滴滴用广阔的舞台，在这里等待你！