2016年三D开奖注数126期推一注直迭

来源：蜘蛛抓取(WebSpider) 时间：2016-05-11 14:30 标签： 三D开奖注数
//从小到大的进行排序,从前向后依佽计算这样做的原因是不同的rdd存在依赖关系 * 如果最后一个rdd的所有依赖都是窄依赖，就不会创建新的shuffle stage * 但是如果stage的rdd是宽依赖，就使用rdd的宽依赖创建新的stage,立即新的stage返回 //存储已经被访问的RDD构建的时候是从后往前回溯的一个过程，回溯过之后就会被保存起来 //这里只是缓存RDD的信息，并未真正计算因为此时我们并没有partition的信息。 //那么使用宽依赖的那个rdd创建一个stage //如果是窄依赖，那么将依然的RDD放入栈中 //返回这个stage的所囿的父亲节点便于在后面递归的去查找

下面我们以下面的图为例，来详细叙述Stage的划分

2.此时的栈不空将栈里面的RDD G弹出，作为参数传入visit函數内

3.RDD G没有被访问过，所以执行if中的代码

  1. RDD B的依赖关系是窄依赖因此，并不会产生新的RDD只是将RDD B 压入Stack栈中

stage划分算法总结：

  1. 通过宽依赖，来進行新的stage的划分
  2. 使用递归优先提交父stage

Task任务本地性算法

1.在submitMissingTasks中会通过调用以下代码来获取任务的本地性。

//获取你要创建的task的数量 //获得Task的本地性,task的最佳位置计算算法 //根据不同的Stage类型创建不同的tasks队列 // 如果Tasks执行完了表示该Stage执行完成 * 因为这样的话，task就在哪个节点上执行不需要计算の前的rdd了

无论是通过哪种方式获取RDD分区的优先位置，第一次计算的数据来源肯定都是通过RDD的preferredLocations方法获取的不同的RDD有不同的preferredLocations实现，但是数据無非就是在三个地方存在被cache到内存、HDFS、磁盘，而这三种方式的TaskLocation都有具体的实现

//数据在磁盘上（非HDFS上）

版权声明：本文为博主ouening原创文章未经博主允许不得恶意复制转载，需要注明出处尊重知识成果！技术交流请联系@/ouening/article/details/

0 根据高斯勒让德积分，先将积分区间变换为 [?1,1]使用線性变换：

我要回帖

更多关于 三D开奖注数 的文章

 

随机推荐