广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python spark windows
  • 432
分享到

python spark windows

pythonsparkwindows 2023-01-31 03:01:13 432人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

1、下载如下 放在D盘添加 spark_HOME = D:\spark-2.3.0-bin-hadoop2.7。 并将 %SPARK_HOME%/bin 添加至环境变量PATH。 然后进入命令行,输入pyspark命令。若成功执行。则

1、下载如下
python spark windows pycharm pyspark环境配置

放在D盘
添加 spark_HOME = D:\spark-2.3.0-bin-hadoop2.7。

  • 并将 %SPARK_HOME%/bin 添加至环境变量PATH。
  • 然后进入命令行,输入pyspark命令。若成功执行。则成功设置环境变量

python spark windows pycharm pyspark环境配置

找到PyCharm sitepackage目录
python spark windows pycharm pyspark环境配置

右键点击即可进入目录,将上面D:\spark-2.3.0-bin-hadoop2.7里面有个/python/pyspark目录拷贝到上面的 sitepackage目录
python spark windows pycharm pyspark环境配置

安装 py4j
python spark windows pycharm pyspark环境配置

试验如下代码:

from __future__ import print_function
import sys
from operator import add
import os

# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\spark-2.3.0-bin-hadoop2.7"
# Append pyspark to Python Path
sys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python")
sys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.9-src.zip")
from pyspark import SparkContext
from pyspark import SparkConf

if __name__ == '__main__':
    inputFile = "D:\Harry.txt"
    outputFile = "D:\Harry1.txt"
    sc = SparkContext()
    text_file = sc.textFile(inputFile)
    counts = text_file.flatMap(lambda line: line.split(' ')).map(lambda Word: (word, 1)).reduceByKey(lambda a, b: a + b)
    counts.saveAsTextFile(outputFile)

计算成功即可

--结束END--

本文标题: python spark windows

本文链接: https://www.lsjlt.com/news/187305.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作