博客
关于我
mac下Python2运行SparkSQL
阅读量:96 次
发布时间:2019-02-26

本文共 601 字,大约阅读时间需要 2 分钟。

1. 环境如下

参考:https://blog.csdn.net/qq_21383435/article/details/79240276

##1.1 安装Anaconda

https://www.anaconda.com/download/#macos

这里写图片描述

注意:这里建议下载Python 2.7 version *,因为最新的spark可能不支持

1.2 配置环境变量

lcc@lcc ~$ vim .bash_profileexport SPARK_HOME=/Users/lcc/soft/spark/spark-2.0.1-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/binexport PYTHONPATH=/Users/lcc/soft/spark/spark-2.0.1-bin-hadoop2.7/python:/Users/lcc/soft/spark/spark-2.0.1-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zipexport PYSPARK_DRIVER_PYTHON=/anaconda2/bin/ipython# added by Anaconda2 5.2.0 installerexport PATH="/anaconda2/bin:$PATH"

##1.3 配置PyCharm</

你可能感兴趣的文章
Netty+Protostuff实现单机压测秒级接收35万个对象实践经验分享
查看>>
Netty+SpringBoot+FastDFS+Html5实现聊天App详解(一)
查看>>
netty--helloword程序
查看>>
Netty5.x 和3.x、4.x的区别及注意事项(官方翻译)
查看>>
netty——bytebuf的创建、内存分配与池化、组成、扩容规则、写入读取、内存回收、零拷贝
查看>>
netty——Channl的常用方法、ChannelFuture、CloseFuture
查看>>
netty——Future和Promise的使用 线程间的通信
查看>>
netty——Handler和pipeline
查看>>
Vue输出HTML
查看>>
netty——黏包半包的解决方案、滑动窗口的概念
查看>>
Netty中Http客户端、服务端的编解码器
查看>>
Netty中使用WebSocket实现服务端与客户端的长连接通信发送消息
查看>>
Netty中实现多客户端连接与通信-以实现聊天室群聊功能为例(附代码下载)
查看>>
Netty中的组件是怎么交互的?
查看>>
Netty中集成Protobuf实现Java对象数据传递
查看>>
netty之 定长数据流处理数据粘包问题
查看>>
Netty事件注册机制深入解析
查看>>
netty代理
查看>>
Netty入门使用
查看>>
netty入门,入门代码执行流程,netty主要组件的理解
查看>>