返回顶部
首页 > 资讯 > 精选 >SparkSQL怎么用
  • 559
分享到

SparkSQL怎么用

2023-06-20 20:06:17 559人浏览 薄情痞子
摘要

小编给大家分享一下sparksql怎么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、SparkSQL的进化之路0以前: Shark1.x开始:SparkSQ

小编给大家分享一下sparksql怎么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

一、SparkSQL的进化之路

0以前: Shark

1.x开始:SparkSQL(只是测试性的) SQL

x: SparkSQL(正式版本)+Dataframe

x: SparkSQL 钨丝计划

x: SparkSQL+DataFrame+DataSet(测试版本)

x:

  • SparkSQL+DataFrame+DataSet(正式版本)

  •      SparkSQL:还有其他的优化

  •      StructuredStreaming(DataSet)

Spark on Hive和Hive on Spark

  • Spark on Hive:Hive只作为储存角色,Spark负责sql解析优化,执行。

  • Hive on Spark:Hive即作为存储又负责sql的解析优化,Spark负责执行。

二、认识SparkSQL

2.1 什么是SparkSQL?

spark SQL是spark的一个模块,主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。

2.2 SparkSQL的作用

提供一个编程抽象(DataFrame) 并且作为分布式 SQL查询引擎

DataFrame:它可以根据很多源进行构建,包括:结构化的数据文件,hive中的表,外部的关系型数据库,以及RDD

2.3 运行原理

将Spark SQL转化为RDD,然后提交到集群执行

2.4 特点

(1)容易整合

(2)统一的数据访问方式

(3)兼容 Hive

(4)标准的数据连接

2.5 SparkSession

SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点,来让用户学习spark的各项功能。
  在spark的早期版本中,SparkContext是spark的主要切入点,由于RDD是主要的api,我们通过sparkcontext来创建和操作RDD。对于每个其他的API,我们需要使用不同的context。例如,对于Streming,我们需要使用StreaminGContext;对于sql,使用sqlContext;对于Hive,使用hiveContext。但是随着DataSet和DataFrame的API逐渐成为标准的API,就需要为他们建立接入点。所以在spark2.0中,引入SparkSession作为DataSet和DataFrame API的切入点,SparkSession封装了SparkConf、SparkContext和SQLContext。为了向后兼容,SQLContext和HiveContext也被保存下来。
  
  SparkSession实质上是SQLContext和HiveContext的组合(未来可能还会加上StreamingContext),所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSession内部封装了sparkContext,所以计算实际上是由sparkContext完成的。

特点:

   ---- 为用户提供一个统一的切入点使用Spark 各项功能

        ---- 允许用户通过它调用 DataFrame 和 Dataset 相关 API 来编写程序

        ---- 减少了用户需要了解的一些概念,可以很容易的与 Spark 进行交互

        ---- 与 Spark 交互之时不需要显示的创建 SparkConf, SparkContext 以及 SQlContext,这些对象已经封闭在 SparkSession 中

2.6 DataFrames

在Spark中,DataFrame是一种以RDD为基础的分布式数据集,类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于,前者带有schema元信息,即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这使得Spark SQL得以洞察更多的结构信息,从而对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行了针对性的优化,最终达到大幅提升运行时效率的目标。反观RDD,由于无从得知所存数据元素的具体内部结构,Spark Core只能在stage层面进行简单、通用的流水线优化。

SparkSQL怎么用

三、RDD转换成为DataFrame

使用spark1.x版本的方式

测试数据目录:spark/examples/src/main/resources(spark的安装目录里面)

people.txt

SparkSQL怎么用

3.1通过case class创建DataFrames(反射

//定义case class,相当于表结构case class People(var name:String,var age:Int)object TestDataFrame1 {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("RDDToDataFrame").setMaster("local")    val sc = new SparkContext(conf)    val context = new SQLContext(sc)    // 将本地的数据读入 RDD, 并将 RDD 与 case class 关联    val peopleRDD = sc.textFile("E:\\666\\people.txt")      .map(line => People(line.split(",")(0), line.split(",")(1).trim.toInt))    import context.implicits._    // 将RDD 转换成 DataFrames    val df = peopleRDD.toDF    //将DataFrames创建成一个临时的视图    df.createOrReplaceTempView("people")    //使用SQL语句进行查询    context.sql("select * from people").show()  }}

运行结果

SparkSQL怎么用

3.2通过structType创建DataFrames(编程接口)

object TestDataFrame2 {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("TestDataFrame2").setMaster("local")    val sc = new SparkContext(conf)    val sqlContext = new SQLContext(sc)    val fileRDD = sc.textFile("E:\\666\\people.txt")    // 将 RDD 数据映射成 Row,需要 import org.apache.spark.sql.Row    val rowRDD: RDD[Row] = fileRDD.map(line => {      val fields = line.split(",")      Row(fields(0), fields(1).trim.toInt)    })    // 创建 StructType 来定义结构    val structType: StructType = StructType(      //字段名,字段类型,是否可以为空      StructField("name", StringType, true) ::      StructField("age", IntegerType, true) :: Nil    )        val df: DataFrame = sqlContext.createDataFrame(rowRDD,structType)    df.createOrReplaceTempView("people")    sqlContext.sql("select * from people").show()  }}

运行结果

SparkSQL怎么用

3.3通过 JSON 文件创建DataFrames

object TestDataFrame3 {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("TestDataFrame2").setMaster("local")    val sc = new SparkContext(conf)    val sqlContext = new SQLContext(sc)    val df: DataFrame = sqlContext.read.json("E:\\666\\people.json")    df.createOrReplaceTempView("people")    sqlContext.sql("select * from people").show()  }}

SparkSQL怎么用

四、DataFrame的read和save和savemode

4.1 数据的读取

object TestRead {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("TestDataFrame2").setMaster("local")    val sc = new SparkContext(conf)    val sqlContext = new SQLContext(sc)    //方式一    val df1 = sqlContext.read.json("E:\\666\\people.json")    val df2 = sqlContext.read.parquet("E:\\666\\users.parquet")    //方式二    val df3 = sqlContext.read.fORMat("json").load("E:\\666\\people.json")    val df4 = sqlContext.read.format("parquet").load("E:\\666\\users.parquet")    //方式三,默认是parquet格式    val df5 = sqlContext.load("E:\\666\\users.parquet")  }}

4.2 数据的保存

object TestSave {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("TestDataFrame2").setMaster("local")    val sc = new SparkContext(conf)    val sqlContext = new SQLContext(sc)    val df1 = sqlContext.read.json("E:\\666\\people.json")    //方式一    df1.write.json("E:\\111")    df1.write.parquet("E:\\222")    //方式二    df1.write.format("json").save("E:\\333")    df1.write.format("parquet").save("E:\\444")    //方式三    df1.write.save("E:\\555")  }}

4.3 数据的保存模式

使用mode

df1.write.format("parquet").mode(SaveMode.Ignore).save("E:\\444")

SparkSQL怎么用

五、数据源

5.1 数据源只json

参考4.1

5.2 数据源之parquet

参考4.1

3 数据源之Mysql

object TestMysql {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("Testmysql").setMaster("local")    val sc = new SparkContext(conf)    val sqlContext = new SQLContext(sc)    val url = "jdbc:mysql://192.168.123.102:3306/hivedb"    val table = "dbs"    val properties = new Properties()    properties.setProperty("user","root")    properties.setProperty("passWord","root")    //需要传入Mysql的URL、表明、properties(连接数据库的用户名密码)    val df = sqlContext.read.jdbc(url,table,properties)    df.createOrReplaceTempView("dbs")    sqlContext.sql("select * from dbs").show()  }}

运行结果

SparkSQL怎么用

5.3 数据源之Hive

(1)准备工作

在pom.xml文件中添加依赖

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-hive_2.11</artifactId>            <version>2.3.0</version>        </dependency>

开发环境则把resource文件夹下添加hive-site.xml文件,集群环境把hive的配置文件要发到$SPARK_HOME/conf目录下

SparkSQL怎么用

<configuration>        <property>                <name>javax.jdo.option.ConnectionURL</name>                <value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true</value>                <description>JDBC connect string for a JDBC metastore</description>                <!-- 如果 mysql 和 hive 在同一个服务器节点,那么请更改 hadoop02 为 localhost -->        </property>        <property>                <name>javax.jdo.option.ConnectionDriverName</name>                <value>com.mysql.jdbc.Driver</value>                <description>Driver class name for a JDBC metastore</description>        </property>        <property>                <name>javax.jdo.option.ConnectionUserName</name>                <value>root</value>                <description>username to use against metastore database</description>        </property>        <property>                <name>javax.jdo.option.ConnectionPassword</name>                <value>root</value>        <description>password to use against metastore database</description>        </property>    <property>                <name>hive.metastore.warehouse.dir</name>                <value>/hive/warehouse</value>                <description>hive default warehouse, if nessecory, change it</description>        </property>  </configuration>

(2)测试代码

object TestHive {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setMaster("local").setAppName(this.getClass.getSimpleName)    val sc = new SparkContext(conf)    val sqlContext = new HiveContext(sc)    sqlContext.sql("select * from myhive.student").show()  }}

运行结果

SparkSQL怎么用

六、SparkSQL 的元数据

1.1元数据的状态

SparkSQL 的元数据的状态有两种:

in_memory,用完了元数据也就丢了

hive , 通过hive去保存的,也就是说,hive的元数据存在哪儿,它的元数据也就存在哪儿。

换句话说,SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候,必须依赖于Hive。

2.2Spark-SQL脚本

如果用户直接运行bin/spark-sql命令。会导致我们的元数据有两种状态:

in-memory状态:如果SPARK-HOME/conf目录下没有放置hive-site.xml文件,元数据的状态就是in-memory

hive状态:如果我们在SPARK-HOME/conf目录下放置了,hive-site.xml文件,那么默认情况下,spark-sql的元数据的状态就是hive.

以上是“SparkSQL怎么用”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网精选频道!

--结束END--

本文标题: SparkSQL怎么用

本文链接: https://www.lsjlt.com/news/300137.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • SparkSQL怎么用
    小编给大家分享一下SparkSQL怎么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、SparkSQL的进化之路0以前: Shark1.x开始:SparkSQ...
    99+
    2023-06-20
  • 怎么创建SparkSession和sparkSQL
    这篇文章给大家分享的是有关怎么创建SparkSession和sparkSQL的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、概述spark 有三大引擎,spark core、sparkSQL、sparkStre...
    99+
    2023-06-20
  • SparkSQL如何运用
    今天小编给大家分享一下SparkSQL如何运用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。一:SparkSQL1.Spar...
    99+
    2023-06-29
  • 怎么进行SparkSQL部署与简单使用
    这篇文章将为大家详细讲解有关怎么进行SparkSQL部署与简单使用,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。一、运行环境Ø  JDK:1.8.0_45 64位Ø&nb...
    99+
    2023-06-02
  • python开发sparkSQL应用
    准备条件:部署hadoop集群部署spark集群安装python(本人安装的是anaconda3,python是3.6)配置环境环境变量:vi .bashrc  #添加如下内容 export SPARK_HOME=/opt/spark/cu...
    99+
    2023-01-31
    python sparkSQL
  • SparkSQL指的是什么
    这篇文章主要为大家展示了“SparkSQL指的是什么”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“SparkSQL指的是什么”这篇文章吧。一、 Spark SQL介绍    ...
    99+
    2023-06-02
  • SparkSQL使用快速入门
    目录一、SparkSQL的进化之路二、认识SparkSQL2.1 什么是SparkSQL2.2 SparkSQL的作用2.3 运行原理2.4 特点2.5 SparkSession2....
    99+
    2024-04-02
  • spark2.4.3中sparkSQL用户自定义函数该怎么理解
    这期内容当中小编将会给大家带来有关spark2.4.3中sparkSQL用户自定义函数该怎么理解,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。1、简介从Spark2.0以上的版本开始,spark是使用全新...
    99+
    2023-06-02
  • 怎么解析SparkSQL+SequoiaDB 性能调优策略
    这篇文章将为大家详细讲解有关怎么解析SparkSQL+SequoiaDB 性能调优策略,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。下面介绍 Sequoia...
    99+
    2024-04-02
  • Spark(十一)【SparkSQL的基本使用】
    一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel ------> Drill(Apache)------>Impala(Cloudrea) P...
    99+
    2020-10-05
    Spark(十一)【SparkSQL的基本使用】 数据库入门 数据库基础教程 数据库 mysql
  • SparkSQL中DataFrame与DataSet如何使用
    本篇文章给大家分享的是有关SparkSQL中DataFrame与DataSet如何使用,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。1.使用IDEA开发Spark SQL1.1...
    99+
    2023-06-20
  • sparksql优化的方法是什么
    SparkSQL优化的方法有以下几种: 数据分区:根据数据的特点和查询的需求,将数据划分成多个分区。这样可以提高查询的性能,因为...
    99+
    2023-10-22
    sparksql
  • SparkSQL的自定义函数UDF使用
    目录Spark_SQL的UDF使用UDF简单使用Spark_SQL的UDF使用 用户自定义函数,也叫UDF,可以让我们使用Python/Java/Scala注册自定义函数,并在SQL...
    99+
    2023-02-01
    Spark SQL UDF Spark自定义函数UDF
  • 大数据SparkSQl指的是什么呢
    这期内容当中小编将会给大家带来有关大数据SparkSQl指的是什么呢,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做Dat...
    99+
    2023-06-02
  • 深入了解SparkSQL的运用及方法
    目录一:SparkSQL1.SparkSQL简介2.SparkSQL运行原理3.SparkSQL特点二、SparkSQL运用一:SparkSQL 1.SparkSQL简介 Spark...
    99+
    2024-04-02
  • SparkSQL开窗函数分析使用示例
    目录聚合函数和开窗函数开窗函数聚合开窗函数排序开窗函数开窗函数能在每行的最后一行都显示聚合函数的结果,所以聚合函数可以用作开窗函数 聚合函数和开窗函数 聚合函数是将多行变成一行,如果...
    99+
    2023-01-28
    SparkSQL开窗函数 SparkSQL窗口函数
  • IDEA 开发配置SparkSQL及简单使用案例代码
    1.添加依赖 在idea项目的pom.xml中添加依赖。 <!--spark sql依赖,注意版本号--> <dependency> <gr...
    99+
    2024-04-02
  • 大数据SparkSql中日期转换FROM_UNIXTIME和UNIX_TIMESTAMP的使用
    目录UNIX_TIMESTAMPFROM_UNIXTIME众所周知,数字整型用来大小比较和计算运算要比字符型快的多,因此部分业务需要把时间字段转化为整型方便业务的快速计算和到达,这个...
    99+
    2024-04-02
  • SparkSQL使用IDEA快速入门DataFrame与DataSet的完美教程
    目录1.使用IDEA开发Spark SQL1.1创建DataFrame/DataSet1.1.1指定列名添加Schema1.1.2StructType指定Schema1.1.3反射推...
    99+
    2024-04-02
  • java怎么用
      本次来跟大家聊聊关于Java安装后如何使用的问题。我第一次接触Java时也是一头雾水,本以为安装了Java这款软件就能直接开始Java编程,其实不然,还要搭建小小的开发条件。推荐教程:Java入门视频教程1、首先安装jdk  这里先说明...
    99+
    2018-01-07
    java教程 java
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作