nayokikettle什么意思思

来源：蜘蛛抓取(WebSpider) 时间：2020-05-17 14:17 标签： ile是啥意思

数据量数以千万计时初次一次性抽取历史数据容易出现卡死，针对这种情况可以使用循环年份抽取并且加入增量程序使得后续抽取增量化！


1、获取年份极值（获取历史有数据的年份最大最小值） 


 

 2、获取时间范围（通过切分获得历史年份最大最小值）
 
 
 

 3、检测字段值（从最小年份开始循环抽取数据）
 
 

 

 

 4、获取目标表上次同步最大时间（设置目标库上次同步完的最大时间）
 
 

 

 

 

 

 
 

 5、检验异常预警情况统计（数据条件控制）
 
 

 

 

 

 

 
 

 
 



                            

                                                    

                                

  

    如果没有安装对应的数据库链接驅动在数据库链接的过程中，可能会报某个数据库连接找不到的异常因此需要下载对应驱动后（安装步骤可以参见“”），放入kettle的lib文件夹
  

  

    在文件->新建装换。新建转换后在左边的主对象树中建立DB连接用以连接数据库建立数据库连接的过程与其他数据库管理软件连接数據库类似，如图所示：

  

  

    3、简单的数据表插入\更新
  

  

    在面板中选择“核心对象”在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板。如图所示：
  

  

    4、双击拖过来的表可以编辑表输入。
  

  

    选择数据库连接和编辑sql语句在这一步可以点击预览，查看自己是否连接正确
  

  

    5、在咗边面板中选择核心对象、选择“输出->插入\更新”，并且在“表输入”到这个步骤之间创建链接并且编辑这个步骤如下：
  

  

    6、新增作业，使用作业可以定时或周期性的执行转换并从左边面板拖入start 和转换。
  

  

    

      7、双击start可以编辑可以设置执行时间等等
    

    

      8、点开转换，可以设置需要執行的转换任务比如可以执行上面我们做的转换，XXX.ktr
    

  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 ile是啥意思 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐