一、读取外部数据库

1.notebook执行语言为sql时可以通过JDBC方式加载数据库数据。

以下代码将可以将sqlserver中的表加载到databricks视图中，当然也可创建表来接收外部数据。

CREATE TEMPORARY VIEW view-name USING JDBC OPTIONS ( url "jdbc:sqlserver://<your-database-url>;database=<your-database-name>,.;Authentication=<your-authentication-type>;", dbtable "<your-table-name>", user '<username>', password '<password>'

2.sql方式操作视图直接读取数据库数据

可以直接sql操作上一步的数据来直接读取数据

select * from view-name

有时候我们需要在notebook为spark的环境下加载数据，可以通过以下方式操作步骤1中建立的视图来读取数据，将数据加载到Dataframe中。

%python
data_pd = spark.sql("select * from view-name").toPandas()

二、写数据到外部数据库

1. sql方式写入

待测试更新。。。

2.spark方式写入数据库

可以通过以下方式将dataframe数据写入到数据库，url、user、password参数与上文“一”中读取数据时相同。driver为数据库驱动，比如我使用的是sqlserver，driver为

" com.microsoft.sqlserver.jdbc.SQLServerDriver"

%spark
spark.createDataFrame(data_pd).write \
                .mode("append") \
                .format("jdbc") \
                .option("url", url) \
                .option("dbtable", dbtable) \
                .option("user", user) \
                .option("password", password) \
                .option("driver", driver) \
                .save()

《Spark大数据商业实战三部曲》第二版在人工智能领域的应用内容，包括深度学习动手实践：人工智能下的深度学习、深度学习数据预处理、单节点深度学习训练、分布式深度学习训练；Spark+PyTorch案例实战：PyTorch在Spark上的安装、使用PyTorch实战图像识别、PyTorch性能调优最佳实践；Spark+TensorFlow实战：TensorFlow在Spark上的安装、TensorBoard解密、SparkTensorFlow的数据转换；Spark上的深度学习内核解密：使用TensorFlow进行图片的分布式处理、数据模型源码剖析、逻辑节点源码剖析、构建索引源码剖析、深度学习下Spark作业源码剖析、性能调优最佳实践。 Databricks databricks 是使用Apache Spark™的原始创建者提供的 Databricks 统一分析平台 它集成了Spark环境支持Scala、 python 、R语言进行开发。 databricks 分商业版本和社区版本，学生以及个人可以使用社区版本。社区版本只需要注册一下账号，则就会拥有一台配置为6G内存的Spark集群环境。 Spark初学者则不再为配置开发环境而烦恼·~~~~... 输入名字，Storage location选择workspace，数据都是保存在AWS S3云存储。选择test，Create -> Create table。点击browse，本地上传people.json文件。选择Calalog，点击Creae schema。点击Create table。 Apache Spark是一个强大的开源分布式计算系统，专为大规模数据处理而设计。而 DataBricks 则提供了一个基于云的环境，使得在Spark上处理数据变得更加高效和便捷。本文将介绍如何在 DataBricks 平台上使用Spark轻松处理大数据。 DataBricks 是一个基于云的大数据处理平台，它提供了一个完整的环境，用于运行和管理Spark应用程序。 DataBricks 的界面用户友好，支持多种数据源，并提供了丰富的数据可视化工具。 Databricks Runtime 包含Azure SQL 数据库 的 JDBC 驱动程序，本文介绍如何使用数据帧 API 连接 到使用 JDBC 的 SQL 数据库 ，通过 JDBC 接口进行的读取操作和更新操作。 在 Databricks 的Notebook中，spark是 Databricks 内置的一个SparkSession，可以通过该SparkSession来创建DataFrame、引用Data...