如何进行大数据平台的搭建和数据分析

如何进行大数据平台的搭建和数据分析，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

　　行内人士皆知，大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。

　　一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

　　1、linux系统安装

　　一般使用开源版的Redhat系统--Centos作为底层平台。为了提供稳定的硬件基础，在给硬盘做RaiD和挂载数据存储节点的时，需要按情况配置。比如，可以选择给hdfs的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

　　2、分布式计算平台/组件安装

　　当前分布式系统的大多使用的是hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、ZooKeeper、Hive、HBase、Sqoop、Impala、elasticsearch、spark等。

　　使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

　　常用的分布式数据数据仓库有Hive、Hbase。Hive可以用sql查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务，Impala是对hive的一个补充，可以实现高效的SQL查询

　　3、数据导入

　　前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

　　4、数据分析

　　数据分析一般包括两个阶段：数据预处理和数据建模分析。

　　数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

　　数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

　　5、结果可视化及输出api

　　可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注编程网精选频道，感谢您对编程网的支持。