用户工具
登录
您在这里:
start
»
hive存储格式
您的足迹:
•
hive存储格式
目录
textfile
sequencefile
rcfile
创建一个表时可以指定文件存储格式,默认格式是textfile,还有其他sequencefile,rcfile格式
textfile
textfile为默认格式
存储方式:行存储
磁盘开销大 数据解析开销大
压缩的text文件 hive无法进行合并和拆分
sequencefile
二进制文件,以<key,value>的形式序列化到文件中
存储方式:行存储
可分割 压缩
一般选择block压缩
优势是文件和hadoop api中的mapfile是相互兼容的。
rcfile
存储方式:数据按行分块 每块按照列存储
压缩快 快速列存取
读记录尽量涉及到的block最少
读取需要的列只需要读取每个row group 的头部定义。
读取全量数据的操作 性能可能比sequencefile没有明显的优势
当只访问某个列时,速度非常快,亲测
页面工具
显示源文件
修订记录
反向链接
导出 PDF
回到顶部
跳至内容
fang qiang
站点工具
最近更改
媒体管理器
网站地图