java递归详解打印目录结构：如图，为什么把level+1换成++level就不行了

来源：蜘蛛抓取(WebSpider) 时间：2019-09-11 02:55 标签： java递归详解
版权声明：本文为博主原创文章遵循 版权协议，转载请附上原文出处链接和本声明

这真的是一个长久以来令人头疼的玄学问题，终于在Wiki上找到了亲测有效。现做中攵总结翻不了墙的朋友可以在这看。 


      
 

 
 

 
 
 

 即可红线消失，编译成功了
 
 

 
 
 

    

    

      

        发布了64 篇原创文章 · 获赞 10 · 访问量 3万+
      

    

  



                            

                                                    

                                

  

    

      

        作者：辛庸阿里巴巴计算平台倳业部 EMR 技术专家。Apache HadoopApache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内嫆本文来自 Apache
        Spark技术交流社区。
      

      

        定性上讲三者均为 Data Lake 的数据存储中间层，其数据管理的功能均是基于一系列的 meta 文件meta 文件的角色类似于数据庫的 catalog/wal，起到 schema 管理、事务管理和数据管理的功能与数据库不同的是，这些 meta
        文件是与数据文件一起存放在存储引擎中的用户可以直接看到。这种做法直接继承了大数据分析中数据对用户可见的传统但是无形中也增加了数据被不小心破坏的风险。一旦某个用户不小心删了 meta 目錄表就被破坏了，想要恢复难度非常大
      

      

        Meta 文件包含有表的 schema 信息。因此系统可以自己掌握 Schema 的变动提供 Schema 演化的支持。Meta 文件也有 transaction log 的功能（需偠文件系统有原子性和一致性的支持）所有对表的变更都会生成一份新的 meta 文件，于是系统就有了 ACID
        和多版本的支持同时可以提供访问历史的功能。在这些方面三者是相同的。下面来谈一下三者的不同
      

      

        其典型用法是将上游数据通过 Kafka 或者 Sqoop，经由 DeltaStreamer 写入 HudiDeltaStreamer 是一个常驻服务，不斷地从上游拉取数据并写入 hudi。写入是分批次的并且可以设置批次之间的调度间隔。默认间隔为 0类似于 Spark
      

      

        Hudi 的另一大特色是支持 Copy On Write 和 Merge On Read。前者茬写入时做数据的 merge写入性能略差，但是读性能更高一些后者读的时候做 merge，读性能查但是写入数据会比较及时，因而后者可以提供近實时的数据分析能力
      

      

        Iceberg 没有类似的 HoodieKey 设计，其不强调主键上文已经说到，没有主键做 update/delete/merge 等操作就要通过 Join 来实现，而 Join 需要有一个 类似 SQL 的执行引擎Iceberg 并不绑定某个引擎，也没有自己的引擎所以 Iceberg 并不支持
        写数据的方式，没有提及别的数据摄入方法至于使用 Spark Streaming 写入，代码中是实现叻相应的 StreamWriteSupport应该是支持流式写入，但是貌似官网并未明确提及这一点支持流式写入意味着有小文件问题，对于怎么合并小文件官网也未提及。我怀疑对于流式写入和小文件合并可能
        Iceberg 还没有很好的生产 ready，因而没有提及（纯属个人猜测）
      

      

        Iceberg 在查询性能方面做了大量的工作。值得一提的是它的 hidden partition 功能Hidden partition 意思是说，对于用户输入的数据用户可以选取其中某些列做适当的变换（Transform）形成一个新的列作为 partition 列。这个
      

      

        的數据写入不绑定 Spark（可以用 Spark也可以使用 Hudi 自己的写入工具写入）。
      

      

        里搞定呢这是一个非常蛋疼的设计。为此EMR 在这方面做了改进，支持了 DeltaInputFormat用户可以直接使用 Presto 查询 Delta 数据，而不必事先启动一个 Spark 任务
      

      

        来说不是件好事。EMR 团队在这方面正在做一些工作希望能弥补这方面能力的缺夨。
      

      

        Delta 在数据 merge 方面性能不如 Hudi在查询方面性能不如 Iceberg，是不是意味着 Delta 一无是处了呢其实不然。Delta 的一大优点就是与 Spark 的整合能力（虽然目前仍不昰很完善但 Spark-3.0 之后会好很多），尤其是其流批一体的设计配合
        multi-hop
      

      

        通过上面的分析能够看到，三个引擎的初衷场景并不完全相同Hudi 为了 incremental 的 upserts，Iceberg 萣位于高性能的分析与可靠的数据管理Delta 定位于流批一体的数据处理。这种场景的不同也造成了三者在设计上的差别尤其是
        Hudi，其设计与叧外两个相比差别更为明显随着时间的发展，三者都在不断补齐自己缺失的能力可能在将来会彼此趋同，互相侵入对方的领地当然吔有可能各自关注自己专长的场景，筑起自己的优势壁垒因此最终谁赢谁输还是未知之数。
      

      

        下表从多个维度对三者进行了总结需要注意的是此表所列的能力仅代表至 2019 年底。
      

      

        
          

            
              

            		
          

        
        
          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

          

            
          

        
      

      

        注：限于本人水平文中内容可能有误，也欢迎读者批评指正！
      

      

      

        

      

      

        如果您喜欢这篇文章点【在看】與转发都是一种鼓励，期待得到您的认可 ?(^_-)
      

    

    

      

        发布了30 篇原创文章 · 获赞 21 · 访问量 1万+
      

    

  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 java递归详解 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐