df = df.select("course_id", "user_id", "course_name")
# 单列为标准
df1 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id"]])
# 多列为标准
df2 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id", "course_name"]])
from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession
import pyspark.sql.functions as fn
JAVA_HOME = '/root/bigdata/jdk'
PYSPARK_PYTHON = "/miniconda2/e
如果df3=df1.join(df2,df1.device_number=df2.device_number,"inner")
df3就会出现两个相同列 device_number
此时改成df3=df1.join(df2,“device_number”,"inner")
就只有一个device_number了
如果想多列key则
df.j...
lines1 = sc.textFile("/usr/local/hadoop/A.txt")
lines2 = sc.textFile("/usr/local/hadoop/B.txt")
# 合并两个文件的内容
lines = 
spark = SparkSession.builder.appName("dataDeal").getOrCreate()
df = spark.createDataFrame([
    (1, 144.5, 5.9, 33, 'M'),
    (2, 167.2, 5.4, 45, 'M'),
本篇文章主要介绍了Python数据分析Pandas Dataframe排序与去重操作：
1、DataFrame 的排序分为两种，一种是对索引进行排序，另一种是对值进行排序；
2、DataFrame 的去重主要针对单列或多列中的完全重复的项进行处理
一、Dataframe排序
1. 索引的排序
DataFrame 提供了sort_index()方法来进行索引的排序，主要考虑以下几个可选输入项：