本文以MySQL和HBASE为例，简要介绍Spark通过PyMySQL和API算子对外部数据库的读写操作
1、PySpark读写MySQL
MySQL环境准备参考“数据库系列之MySQL主从复制集群环境部署”部分
1.1 PyMySQL和MySQLDB模块
PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库，Python2中则使用mysqldb，目前在Python 2版本支持PyMySQL。使用以下命令安装PyMysql模块：
连接到MySQL数据库
1.2 Spark数据写入MySQL
1）启动MySQL服务并检查
2）创建MySQL表
3）向MySQL中写入数据
- 启动ipython notebook
- 建立MySQL连接，写入数据
- 查询MySQL表数据
1.3 Spark读取MySQL数据
1）下载mysql-connect-java驱动，并存放在spark目录的jars下
2）运行pyspark，执行以下语句
2、PySpark读写HBASE
HBASE环境准备参考“大数据系列之HBASE集群环境部署”部分，HBASE版本为1.2.6，Hadoop版本为2.9.0，Spark版本为2.3.0。注：使用高版本的HBASE如2.1.0出现NotFoundMethod接口问题。
2.1 Spark读写HBASE模块
1）saveAsNewAPIHadoopDataset模块
Spark算子saveAsNewAPIHadoopDataset使用新的Hadoop API将RDD输出到任何Hadoop支持的存储系统，为该存储系统使用Hadoop Configuration对象。saveAsNewAPIHadoopDataset参数说明如下：
2）newAPIHadoopRDD模块
使用新的Hadoop API读取数据，参数如下：
2.2 Spark数据写入HBASE
1）启动HBASE服务
在Master和Slave服务器使用jps查看HMaster和HRegionServer进程：
注：启动HBASE之前需先启动zookeeper集群和Hadoop集群环境
2）创建HBASE表
3）配置Spark
在Spark 2.0版本上缺少相关把hbase的数据转换python可读取的jar包，需要另行下载
https://mvnrepository.com/artifact/org.apache.spark/spark-examples_2.11/1.6.0-typesafe-001
- 上传jar包到spark lib库
- 编辑spark-env.sh，添加以下内容：
- 拷贝HBASE下的lib库到spark下
- 重启HBASE
4）向HBASE中写入数据
- 启动ipython notebook
- 配置初始化
- 初始化数据并序列化转换为RDD
- 调用saveAsNewAPIHadoopDataset模块写入HBASE
- 查询HBASE中表数据，看到插入数据
2.3 Spark读取HBASE数据
Spark读取HBASE数据使用newAPIHadoopRDD模块
1）配置初始化
2）调用newAPIHadoopRDD模块读取HBASE数据
输出结果如下：
参考资料
- http://spark.apache.org/docs/latest/api/python/pyspark.html
- 数据库系列之MySQL主从复制集群环境部署
- 大数据系列之HBASE集群环境部署
到此这篇pyspark读取mysql（pyspark读取mysql过大）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！转载请注明原文地址：https://blog.csdn.net/solihawk/article/details/
文章会同步在公众号“牧羊人的方向”更新，感兴趣的可以关注公众号，谢谢！
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/sqlbc/25193.html