Hive的內(nèi)置函數(shù)

定義： （推薦學(xué)習(xí)：phpstorm）

UDF(User-Defined-Function)，用戶自定義函數(shù)對數(shù)據(jù)進行處理。 UDTF(User-Defined Table-Generating Functions) 用來解決 輸入一行輸出多行(On-to-many maping) 的需求。 UDAF(User Defined Aggregation Function)用戶自定義聚合函數(shù)，操作多個數(shù)據(jù)行，產(chǎn)生一個數(shù)據(jù)行。

用法：

1、UDF函數(shù)可以直接應(yīng)用于select語句，對查詢結(jié)構(gòu)做格式化處理后，再輸出內(nèi)容。

2、編寫UDF函數(shù)的時候需要注意一下幾點：

a）自定義UDF需要繼承org.apache.hadoop.hive.ql.UDF。

b）需要實現(xiàn)evaluate函。

c）evaluate函數(shù)支持重載。

hive的本地模式：

大多數(shù)的Hadoop job是需要hadoop提供的完整的可擴展性來處理大數(shù)據(jù)的。

不過，有時hive的輸入數(shù)據(jù)量是非常小的。在這種情況下，為查詢出發(fā)執(zhí)行任務(wù)的時間消耗可能會比實際job的執(zhí)行時間要多的多。

對于大多數(shù)這種情況，hive可以通過本地模式在單臺機器上處理所有的任務(wù)。對于小數(shù)據(jù)集，執(zhí)行時間會明顯被縮短。

如此一來，對數(shù)據(jù)量比較小的操作，就可以在本地執(zhí)行，這樣要比提交任務(wù)到集群執(zhí)行效率要快很多。

配置如下參數(shù)，可以開啟Hive的本地模式：

hive> set hive.exec.mode.local.auto=true;(默認(rèn)為false)

當(dāng)一個job滿足如下條件才能真正使用本地模式：

job的輸入數(shù)據(jù)大小必須小于參數(shù)：hive.exec.mode.local.auto.inputbytes.max(默認(rèn)128MB)

job的map數(shù)必須小于參數(shù)：hive.exec.mode.local.auto.tasks.max(默認(rèn)4)

job的reduce數(shù)必須為0或者1