Hadoop生态系统的存储格式CarbonData性能分析

本篇内容主要讲解“hadoop生态系统的存储格式CarbonData性能分析”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Hadoop生态系统的存储格式CarbonData性能分析”吧!

 一、评测环境

1）网络拓扑图

2）配置参数

服务器配置

二、性能对比
目前主流hadoop的文件存储格式有行存储的CSV格式，列式存储的ORC和Parquet等。本章给出的是Parquet+spark和CarbonData+Spark在过滤查询场景和聚合计算场景的性能测试结果。

1）测试数据

创建沈阳社保的数据仓库，导入、集成1年的测试数据，如下表：

生成CarbonData格式文件，如下表：

2）过滤查询场景测试

Parquet和CarbonData在过滤查询场景下的性能对比

3）聚合计算场景测试

Parquet和CarbonData在聚合计算场景下的性能对比

4）总结分析

在过滤查询中，CarbonData的查询效率比parquet效率好，主要体现在列数据的索引查询，极大地提高了精确查询的性能。在聚合查询中，CarbonData通过使用全局字典编码来加快计算速度，这使得处理、查询引擎可以直接在编码好的数据上进行处理而不需要转换数据，数据只有在返回结果给用户的时候才转换成用户可读的形式，通过索引有效过滤文件数据块减少磁盘的io，提高查询性能。

到此，相信大家对“Hadoop生态系统的存储格式CarbonData性能分析”有了更深的了解，不妨来实际操作一番吧！这里是编程网网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！