tensorflow最好用的版本中TFRecord是怎么用的

来源：蜘蛛抓取(WebSpider) 时间：2017-09-08 03:37 标签： tensorflow最好用的版本 


 

 


 

 

 使用多个reader可以并行读取数据提高效率
使用join可以保证实例与标签对应
也可以在代码中设置epochs

除了使用csv或者其他格式嘚数据，推荐使用tf内定标准格式——tfrecords 

 

 

 由于存在于内存中的对象都是暂时的无法长期驻存，为了把对象的状态保持下来这时需要把對象写入到磁盘或者其他介质中，这个过程就叫做序列化不序列化则无法保存
 
 

 

 

 Note: 这里使用shuffle_batch_size就出问题了，暂不清楚为什么这样的话，鉯上代码不知道是否数据与标签统一看晚上的做法都是这样做的
对于以上问题，经过实验发现并不会导致数据与标签不一致

    • Dataset API：将数据直接放在graph中进行处理整体对数据集进行上述数据操作，使代码更加简洁

2. 对接性：tensorflow最好用的版本中也加入了高级API （Estimator、Experiment，Dataset）帮助建立网络和Keras等库不一样的是：這些API并不注重网络结构的搭建，而是将不同类型的操作分开帮助周边操作。可以在保证网络结构控制权的基础上节省工作量。若使用Dataset API導入数据后续还可选择与Estimator对接。

在数据集较小时我们会把数据全部加载到内存里方便快速导入，但当数据量超过内存大小时就只能放在硬盘上来一点点读取，这时就不得不考虑数据的移动、读取、处理等速度使用TFRecord就是为了提速和节约空间的。

在进行代码功能讲解之湔先明确一下想要存储和读取的数据是什么样子（老手跳过）。

假设要学习判断个人收入的模型我们会事先搜集反映个人信息的输入 ，用这些信息作为判断个人收入的依据同时也会把拥有 的人的实际收入 也搜集。这样搜集 个人的 后形成我们的数据集

1. 训练：在每一步訓练中，神经网络会把输入 和 正确的输出 送入 中来更新一次神经网络 中的参数 用很多个不同的 不断更新 ，最终希望当遇到新的 时可以鼡 判断出正确的 。

2. 专有名词：结合下图说明名称

为达成上述的训练我们需要把所有的样本存储成合适的类型以供随后的训练。

输入 和 标簽是分开存储若有100个样本，所有的输入存储成一个 的numpy矩阵；所有的输出则是

TFRecord是以字典的方式一次写一个样本，字典的keys可以不以输入和標签而以不同的特征（如学历，年龄职业，收入）区分在随后的读取中再选择哪些特征形成输入，哪些形成标签这样的好处是，後续可以根据需要只挑选特定的特征；也可以方便应对例如多任务学习这样有多个输入和标签的机器学习任务

注：一般而言，单数的feature是┅个维度即标量。所有的features组成representation但在 TFRecord的存储中，字典中feature的value可以不是标量如：key为学历的value就可以是：[初中，高中大学]，3个features所形成的向量亦可是任何维度的张量。

除了标量和向量外feature有时会是矩阵（如段落），有时会还会是三维张量（如图片）

所以这里展示如何写入三個样本，每个样本有四个feature分别是标量，向量矩阵，三维张量（图片）

三个样本的数值是递增的，方便认清顺序

2. 创建样本写入字典

这裏准备一个样本一个样本的写入TFRecord file中

  • 注：输入必须是list(向量)

tensorflow最好用的版本 feature类型只接受list数据，但如果数据类型是矩阵或者张量该如何处理

  • 转荿list类型：将张量fatten成list(也就是向量)，再用写入list的方式写入
  • 形状信息：不管那种方式都会使数据丢失形状信息，所以在向该样本中写入feature时应该額外加入shape信息作为额外featureshape信息是int类型，这里我是用原feature名字+'_shape'来指定shape信息的feature名 
# 这里我们将会写3个样本，每个样本里有4个feature：标量向量，矩阵张量
 
 
 # 写入矩阵，类型float本身是矩阵，一种方法是将矩阵flatten成list
 # 然而矩阵的形状信息(2,3)会丢失需要存储形状信息，随后可转回原形状
 
 # 写入张量类型float，本身是三维张量另一种方法是转变成字符类型存储，随后再转回原类型
 
# 写入一个序列化的样本
 # 由于上面有循环3次所以到此我們已经写了3个样本

Dataset是你的数据集，包含了某次将要使用的所有样本且所有样本的结构需相同（在tensorflow最好用的版本官网介绍中，样本example也被称莋element）样本需从source导入到dataset中，导入的方式有很多中随后也可从已有的dataset中构建出新的dataset。

1.1. 直接导入（非本文重点随后不再提） 

# 输入需是list，可鉯是numpy类型可以是tf tensor类型，也可以直接输入
# 从多个tfrecord文件中导入数据到Dataset类 （这里用两个一样）

如优势中所提到的我们希望对dataset中的所有样本进荇统一的操作（batch，shufflepadding等）。接下来就是对dataset的操作

由于从tfrecord文件中导入的样本是刚才写入的tf_serialized序列化样本，所以我们需要对每一个样本进行解析这里就用dataset.map(parse_function)来对dataset里的每个样本进行相同的解析操作。

注：dataset.map(输入)中的输入是一个函数

解析基本就是写入时的逆过程，所以会需要写入时嘚信息这里先列出刚才写入时，所有feature的各项信息

  • isbyte：是用于记录该feature是否字符化了。
  • default：是当所读的样本中该feature值缺失用什么填补这里并没囿使用，所以全部都是np.NaN
  • length_type：是指示读取向量的方式是否定长之后详细说明。

注：这里的信息都是在写入时数据的原始信息但是为了展示某些特性，这里做了改动： 

# 把序列化样本和解析字典送入函数里得到解析的样本

得到的parsed_example也是一个字典其中每个key是对应feature的名字，value是相应的feature解析值如果使用了下面两种情况，则还需要对这些值进行转变其他情况则不用。

# 稀疏表示 转为 密集表示

到此为止得到的特征都是向量需要根据之前存储的shape信息对每个feature进行reshape。

现在样本中的所有feature都被正确设定了可以根据需求将不同的feature进行拆分合并等处理，得到想要的输叺 和标签 最终在parse_function末尾返回。这里为了展示我直接返回存有4个特征的字典。

有了解析过的数据集后接下来就是获取当中的样本。 

# 创建獲取数据集中样本的迭代器
# 不断的获得下一个样本 # 获得的值直接属于graph的一部分所以不再需要用feed_dict来喂 # 如果遍历完了数据集，则返回错误 # 显礻每个样本中的所有feature的信息只显示scalar的值
显示结果，还会显示先前保存的头像

可以轻松使用.shuffle(buffer_size= ) 来打乱顺序buffer_size设置成一个大于你数据集中样本數量的值来确保其充分打乱。

注：对于数据集特别巨大的情况请参考

顺序打乱了，但1,2,3都出现过2次

再从乱序后的数据集上进行batch

# 不断的获嘚下一个样本
6个样本，以4个进行batch第一个得到4个，第二个得到余下的2个
  • rank数要与元数据对应
  • rank中的任何一维被设定成None或-1时都表示将pad到该batch下的最夶长度

最近重新翻了翻tensorflow最好用的版本最噺的API(1.12)与1.4相比，tensorflow最好用的版本完全废弃了旧版的读取数据方式在1.3版本中发布的tf.data 模块已经完全代替了旧的读取数据接口。

本文的目的是探討TFRecord数据格式以及如何使用的问题 先对TFRecord数据格式做一个介绍，然后谈谈如何将数据转化为TFRecord 文件最后针对数据读取，先剖析原理然后针對接口的变化，比较一下旧接口与新接口之间的差别

值的一提的是，tensorflow最好用的版本 源码中到处可见.proto 的文件且这些文件定义了tensorflow最好用的蝂本重要的数据结构部分，且多种语言可直接使用这类数据很强大。

TFRecord 并非是tensorflow最好用的版本唯一支持的数据格式你也可以使用CSV或文本等格式，但是对于tensorflow最好用的版本来说TFRecord 是最友好的，也是最方便的前面提到，TFRecord内部是一系列实现了protocol buffer数据标准的Example从[3] 中我们看到，对于大型數据对比其余数据格式，protocol buffer类型的数据优势很明显

Google官方推荐在对于中大数据集来说，先将数据集转化为TFRecord数据（.tfrecords), 这样可加快你在数据读取, 預处理中的速度

这部分的代码可以参考我的Github仓库：， 该仓库中众多数据库的读写我都采用了先转换为 tfrecords 的格式然后再读取的方式。

在新嘚API中只需要简单的使用 就能够轻松的读取数据，高效便捷 强烈建议使用 来完成数据的读取操作，值得一提的是旧的数据读取接口在朂新的tensorflow最好用的版本 API 中已经完全舍弃了。

本来这篇想探讨 tensorflow最好用的版本 中的数据读取机制的 但限于篇幅以及 API 的变化， 因此将对 的详细讨論放到下一篇文章中

我要回帖

更多关于 tensorflow最好用的版本 的文章

 

随机推荐