博客
关于我
mac下Python2运行SparkSQL
阅读量:96 次
发布时间:2019-02-26

本文共 601 字,大约阅读时间需要 2 分钟。

1. 环境如下

参考:https://blog.csdn.net/qq_21383435/article/details/79240276

##1.1 安装Anaconda

https://www.anaconda.com/download/#macos

这里写图片描述

注意:这里建议下载Python 2.7 version *,因为最新的spark可能不支持

1.2 配置环境变量

lcc@lcc ~$ vim .bash_profileexport SPARK_HOME=/Users/lcc/soft/spark/spark-2.0.1-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/binexport PYTHONPATH=/Users/lcc/soft/spark/spark-2.0.1-bin-hadoop2.7/python:/Users/lcc/soft/spark/spark-2.0.1-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zipexport PYSPARK_DRIVER_PYTHON=/anaconda2/bin/ipython# added by Anaconda2 5.2.0 installerexport PATH="/anaconda2/bin:$PATH"

##1.3 配置PyCharm</

你可能感兴趣的文章
netty php,netty
查看>>
Netty WebSocket客户端
查看>>
netty 主要组件+黏包半包+rpc框架+源码透析
查看>>
Vue过渡 & 动画---vue工作笔记0014
查看>>
Netty 异步任务调度与异步线程池
查看>>
Netty 的 Handler 链调用机制
查看>>
Netty 编解码器和 Handler 调用机制
查看>>
Netty 编解码器详解
查看>>
Netty 解决TCP粘包/半包使用
查看>>
Netty 调用,效率这么低还用啥?
查看>>
Netty 高性能架构设计
查看>>
Netty+Protostuff实现单机压测秒级接收35万个对象实践经验分享
查看>>
Netty+SpringBoot+FastDFS+Html5实现聊天App详解(一)
查看>>
netty--helloword程序
查看>>
netty2---服务端和客户端
查看>>
Netty5.x 和3.x、4.x的区别及注意事项(官方翻译)
查看>>
netty——bytebuf的创建、内存分配与池化、组成、扩容规则、写入读取、内存回收、零拷贝
查看>>
netty——Channl的常用方法、ChannelFuture、CloseFuture
查看>>
netty——EventLoop概念、处理普通任务定时任务、处理io事件、EventLoopGroup
查看>>
netty——Future和Promise的使用 线程间的通信
查看>>