192.168.100.1问舍进杰不去

来源：蜘蛛抓取(WebSpider) 时间：2016-01-17 13:32 标签： 舍四进五

（1）进入spark/conf目录修改配置文件 


  
 

 
 

  
 

 
 

 
 

  
 

 
 

 
 

  
 

 
 

 
 

  
 

 （8）jps查看集群状态
 
 

  

  
 

 
 

 
 

  

  
 

 Spark通过Zookeeper可以实现高可用，master有多个这样便于备份数据
 
 

 
 

 
 

  
 

 
 

  
 

 
 

  
 

 
 

  
 

 
 

 
 

  

  
 

 
 
 

 （1）Master是资源管理器，Worker是具备资源环境的工作节点；Master与Worker关联；
 
 

 
 

 （3）Driver是驱动器调度Executor任务，跟踪任务运行情况
 
 

 
 

 
 

 （5）当Executor中的任务执行完毕，Executor进程关闭Driver进程也会关闭，Spark集群部分资源释放全部关闭，剩下Client打印结果顯示
 
 

 
 

 
 

 Driver负责任务调度，通过反向注册知道Executor的位置并把任务分配给Executor执行。
 
 

 
 

 若任务太大而Executor的内存不足：
 
 

 （1）首选在当前Executor执行；
 
 

 （2）内存不夠，降级处理在同一个Worker下的Executor中执行；
 
 

 （3）内存还不够，继续降级在同一个机架下的Executor中执行。
 




                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 舍四进五 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐