首页
教程
问答社区
new
标签库
开发文档
最新
工具箱
立即登录
免费注册
扫码关注官方微信
扫码下载APP
返回顶部
首页
>
标签库
>
理解Spark
当前位置:#理解Spark#
扫描二维码
关注官方微信号获取第一手资料
数据库
2020-09-04
理解
Spark
SQL(三)——
Spark
SQL程序举例
上一篇说到,在Spark 2.x当中,实际上SQLContext和HiveContext是过时的,相反是采用SparkSession对象的sql函数来操作SQL语句的。使用这个函数执行SQL语句前需要先调用DataFrame的createOrReplaceTe...
668
标签:
理解Spark
SQL(三)——
Spark
SQL程序举例
数据库
2021-12-29
Spark
中Broadcast的
理解
广播变量应用场景:在提交作业后,task在执行的过程中,有一个或多个值需要在计算的过程中多次从Driver端拿取时,此时会必然会发生大量的网络IO,这时,最好用广播变量的方式,将Driver端的变量的值事先广播到每一个Worker端,以后再计算过程中只需要从本...
530
标签:
Spark中Broadcast的理解
数据库
2020-11-26
理解
Spark
运行模式(二)(Yarn Cluster)
上一篇说到Spark的yarn client运行模式,它与yarn cluster模式的主要区别就是前者Driver是运行在客户端,后者Driver是运行在yarn集群中。yarn client模式一般用在交互式场景中,比如spark shell, spark...
792
标签:
理解Spark运行模式(二)(Yarn
Cluster)
数据库
2021-12-17
理解
Spark
运行模式(一)(Yarn Client)
Spark运行模式有Local,STANDALONE,YARN,MESOS,KUBERNETES这5种,其中最为常见的是YARN运行模式,它又可分为Client模式和Cluster模式。这里以Spark自带的SparkPi来说明这些运行模式。本文作为第一篇,先...
754
标签:
理解Spark运行模式(一)(Yarn
Client)
数据库
2024-04-02
如何
理解
Spark
中的核心概念RDD
...
907
标签:
数据库
2017-01-02
理解
Spark
SQL(一)—— CLI和ThriftServer
Spark SQL主要提供了两个工具来访问hive中的数据,即CLI和ThriftServer。前提是需要Spark支持Hive,即编译Spark时需要带上hive和hive-thriftserver选项,同时需要确保在$SPARK_HOME/conf目录下有...
726
标签:
理解Spark
SQL(一)——
CLI和ThriftServer
数据库
2017-07-25
理解
Spark
SQL(二)—— SQLContext和HiveContext
使用Spark SQL,除了使用之前介绍的方法,实际上还可以使用SQLContext或者HiveContext通过编程的方式实现。前者支持SQL语法解析器(SQL-92语法),后者支持SQL语法解析器和HiveSQL语法解析器,默认为HiveSQL语法解析器,...
721
标签:
理解Spark
SQL(二)——
SQLContext和HiveContext
数据库
2021-02-24
「
Spark
」
Spark
SQL Thrift Server运行方式
Spark SQL可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。这种模式,用户或者应用程序可以直接与Spark SQL交互,以运行SQL查询,无需编写任何代码。Spark SQL提供两种方式来运行SQL:通过运行Thrift Server直接执行S...
766
标签:
「Spark」Spark
SQL
Thrift
Server运行方式
数据库
2019-06-08
大数据Hadoop之——
Spark
SQL+
Spark
Streaming
目录一、Spark SQL概述二、SparkSQL版本1)SparkSQL的演变之路2)shark与SparkSQL对比3)SparkSession三、RDD、DataFrames和DataSet1)三者关联关系1)RDD1、核心概念2、RDD简单操作3、RD...
269
标签:
大数据Hadoop之——Spark
SQL+Spark
Streaming
Python
2024-04-02
关于IDEA创建
spark
maven项目并连接远程
spark
集群问题
...
772
标签:
热门文章
Android:VolumeShaper
2022-06-06
Oracle Study--Oracle RAC CacheFusion(MindMap)
2024-04-02
Python 学习之路 - Python
2023-01-31
报表SQL
2024-04-02
[mysql]mysql8修改root密码
2020-03-03
MySQL专题3之MySQL管理
2023-01-31
精彩推荐
1
C++ 函数声明中的常量和内联函数:深入探讨它们的优化优势
2
PHP 函数新特性是否可以作为选型时的决策因素?
3
C++ 函数库详解:系统功能的外延如何拓展
4
PHP 数组转 JSON 的快捷技巧
5
golang函数管道通信中的竞争条件规避
6
如何使用泛型编写高性能的golang代码
7
C++ 函数递归详解:尾递归优化
8
匈牙利表示法在 C++ 函数命名中的利弊分析
9
C++ 函数重写的边界:探索继承中重写机制的局限
10
如何为 PHP 网站实现身份验证和授权
标签
更多
服务器
阿里
java
故障
报错
亚马逊
数据库
腾讯
linux
oracle
sql
开发语言
number
vue
win10
c++
spring
华为
云服务器
密码
账号
c语言
系统
html
win7
运维
springboot
方法
C#
ubuntu
网络
虚拟主机
端口
mongodb
多少钱
vps
功能
香港服务器
区别
美国服务器
mybatis
好用
域名
pycharm
小程序
云主机
类型
怎么回事
boot
文件
macos
by
前端
navicat
css3
地址
便宜
Powered
金山文档
go
返回顶部