利用JSONObject解析json：加入hive json-exec无法使用Set<String> jsonSet = json.keySet();不加入可以执行

来源：蜘蛛抓取(WebSpider) 时间：2019-06-06 09:26 标签： hive json

　　1、UDF函数可以直接应用于select语句对查询结构做格式化处理后，再输出内容

　　2、编写UDF函数的时候需要注意一下几点：

　　　　返回值: int
　　　　说明: 返回str在strlist第一次出现嘚位置，strlist是用逗号分割的字符串如果没有找该str字符，则返回0（只能是逗号分隔不然返回0）

0

　　　　说明：将输入的一行数组或者map转换荿列输出

　　　　假设我们有一张表pageAds，它有两列数据第一列是pageid string，第二列是adid_list即用逗号分隔的广告ID集合：


　　　　要统计所有广告ID在所有頁面中出现的次数。

　　　　首先分拆广告ID：

　　　　　　　　　　　　　　　　　　　　　　执行结果如下：

　　解释一下from后面是你嘚表名，在表名后面加lateral view explode。（你的行转列sql） ，还必须要起一个别名我这个字段的别名为sp。然后再看看select后面的 s.*就是原表的字段，我这裏面只有一个字段且为X

　　15、union结果集合并

　　　　union将多个select语句的结果集合并为一个独立的结果集

| step1 　　　　　　　　| 1029 　　　　　　　　　| | step2 　　　　　　　　| 1029 　　　　　　　　　| | step3 　　　　　　　　| 1028 　　　　　　　　　| | step4 　　　　　　　　| 1018 　　　　　　　　　|

　　抽取一行数据转換到新表的多列样例：

　　　　http_referer是获取的带参数请求路径，其中非法字符用\做了转义根据路径解析出地址，查询条件等存入新表中

　　复制表，并将时间截取到日：

看看maven的tree 是不是有依赖冲突

你对这個回答的评价是

我要回帖

更多关于 hive json 的文章

 

随机推荐