博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive tuning tips
阅读量:5312 次
发布时间:2019-06-14

本文共 841 字,大约阅读时间需要 2 分钟。

1. limit

Hive has a configuration property to enable sampling of source data for use with LIMIT:
hive.limit.optimize.enable, set this parameter to true to optimize limit operation.
2. PARALLEL
if your job was designed to some stages, if these stages has no dependencies, you can execute them parallel by
setting the parameter : set hive.exec.parallel=true;
3. adjust the mapper and reducer task count
The default value of  hive.exec.reducers.bytes.per.reduceris 1 GB. Changing this
value to 750 MB causes Hive to estimate four reducers for this job:
hive> set hive.exec.reducers.bytes.per.reducer=750000000;

--combinehiveinputformat

set hive.input.format;
set mapred.child.java.opts =  -Xmx524m;
set hive.exec.reducers.bytes.per.reducer=100000000;
set hive.merge.size.per.task=10010001000;

转载于:https://www.cnblogs.com/huaxiaoyao/p/4364610.html

你可能感兴趣的文章
Word Pattern
查看>>
django----基于Form组件实现的增删改和基于ModelForm实现的增删改
查看>>
hdoj--5526--欧拉回路(欧拉回路)
查看>>
zzulioj--1609--求和(数学规律)
查看>>
趣图:大佬如何解决bug的
查看>>
《构建执法》阅读笔记之五
查看>>
冲刺阶段—个人工作总结10
查看>>
使用Dapper时,如何将MySqlParameters[] 变成Dapper.DynamicParameters动态对象
查看>>
自定义简单的动画
查看>>
经典算法题汇总(持续更新)
查看>>
执行环境及作用域
查看>>
win7系统中的声音图标不见了怎么办
查看>>
u-boot-2018-09 分析 v1
查看>>
PostgreSQL 封装操作数据库方法
查看>>
AD电子设计基础知识1
查看>>
Linux常用的一些命令
查看>>
bzoj 1086 树分块
查看>>
SVM——1.拉格朗日对偶性
查看>>
java上机5
查看>>
CSS3——@font-face(文字字体包)
查看>>