怎么学习唇语？

来源：蜘蛛抓取(WebSpider) 时间：2017-10-06 18:22 标签：

【摘要】：唇语识别是计算机视覺领域中一个富有挑战性的研究课题,其主要目的是从视频中观察人嘴唇运动识别出对应文本内容然而,由于嘴唇变化局限性和语言内容丰富性,增加唇语识别难度,使得唇语研究课题发展缓慢。如今,深度学习在各个领域的发展,给我们足够的信心来完成唇语识别这个任务不同于傳统的唇语识别中的嘴唇特征识别,在基于深度学习的唇语识别,通常包含使用深度网络模型对图像的特征提取和理解。在本课题中,我们重点研究了唇语识别的数据获取、处理和识别网络框架的设计等内容在唇语识别研究中,本文作为第一个基于深度学习的中文句子级别的唇语識别的研究课题,采用半自动生成方法生成一个中文唇语数据库CCTVDS,样本数量为14975,共7.25GB。并且,在研究过程中,还新增加了269558条拼音汉字样本数据集,促进网絡模型的训练在唇语识别的实现过程中,我们分别从图像和语言模型两个方面入手,一是采用基于VGG-M的卷积神经网络和循环神经网络RNN的深度网絡模型,二是采用基于语言模型的Encoder-Decoder框架的深度网络模型。本文根据研究内容将中文唇语识别划分为两个不同的处理过程,分别得到不同的子网絡结构先利用改进的VGG-M的卷积神经网络ConvNet对嘴唇图片序列进行特征提取,再利用长短时记忆网络(Long Short-Term Memory,LSTM)理解图像特征并转换为对应的拼音字符序列,这個过程设计了一个P2P(Pictures to Pin Ying)网络模型;然后,使用基于语言模型的Encoder-Decoder网络将拼音序列语句转换为中文汉字序列语句,Encoder网络先对拼音字符序列进行特征编码,Decoder网絡对特征再进行解码得到汉字序列,这个过程构建了P2CC(Pin Characters)网络模型;最后,根据研究内容提出了一个基于CNN和RNN的混合神经网络结构ChLipNet。在CCTVDS数据集上的实验結果表明基于深度学习的唇语识别比传统的唇语识别(采用PCA、HMM等)有明显的优势另外,我们提出的ChLipNet网络模型降低了中文唇语的识别难度,在句子級别的中文唇语识别中达到句子准确率46.7%和准确率拼音58.5%,略微优于目前英语唇语识别的最好网络模型的实验结果。

【学位授予单位】：电子科技大学
【学位授予年份】：2018


A 语是聋人的交际工具但是并不昰说必须用手语！对于学好唇读，重要在于自己能够很好的把握别人的口型把相似的归为一类！时间长了，你就可以总结出规律的！另外看口型。我相信大家有同感熟人的容易，生人的难为什么呢？也就是心有灵犀一点通！重要的是双方的了解程度！一点点的研究健全人的口型！

B 汉语的同音字太多而且有些不同音的字口型也很相似，难以区别头疼啊。这个时候就要根据上下文和表情来猜测判断叻如果可以的话，加上一些简单的手势就更容易澄清。尼奇出版的第一本教科书是《唇读的自我教学》（Self-Instruction in Lip Reading）该书导致了他与瓦仁关系的破裂，他的确剽窃了瓦仁的教学方法但是事实上，尽管瓦仁对这些方法拥有专利但是并没有表现出与第一批唇读教师的教学方法囿何不同。同样的唇读教学方法作为遗产被世代传递下来以教育聋 童无论如何，从瓦仁唇读教学体系以来导致的方法变化是非常微小的运用字母系统而不是数字来表征大量语音信息的系统被构建起来。字母表征着语音的发 音运动或嘴形呈现的简短描述他的第二本教科書——《唇读的教学》》（Lessons in Lip Reading in Lip Reading）在1905年发行，几乎与第一本教科书没有什么不同但是在1909年的再版中，出现了大量的变化尽管推荐镜前练习，但不再要求学生去“明确单词的发音位置”大量元音的口形位置图像被保持，但是辅音的图像被删减了

你对这个回答的评价是？

下載百度知道APP抢鲜体验

使用百度知道APP，立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

我要回帖

 

随机推荐