添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

离散特征的编码分为两种情况:

1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

常用于统计建模或机器学习的转换方式是:将分类变量(categorical variable)转换为“哑变量矩

阵”(dummy matrix)或“指标矩阵”(indicator matrix)。如果DataFrame的某一列中含有k个不同的

值,则可以派生出一个k列矩阵或DataFrame(其值全为1和0)。

使用pandas可以很方便的对离散型特征进行one-hot编码:

import pandas as pd  
df = pd.DataFrame([  
            ['green', 'M', 10.1, 'class1'],   
            ['red', 'L', 13.5, 'class2'],   
            ['blue', 'XL', 15.3, 'class1']],columns = ['color', 'size', 'prize', 'class label'])  
size_mapping = {  
           'XL': 3,  
           'L': 2,  
           'M': 1}  
#print(df)
#Series的map函数,将对应的values替代为size_mapping的数值。
df['size'] = df['size'].map(size_mapping)  
#print(set(df['class label']))
#set函数去重
#for idx,label in enumerate(set(df['class label'])):
#    print(idx,label)
class_mapping = {label:idx for idx,label in enumerate(set(df['class label']))} 
#print(class_mapping)
#在原df的条件下,更改color为不同的color_X,并去除原来的color 
df['class label'] = df['class label'].map(class_mapping)  
print(pd.get_dummies(df))
print(df)
pd.get_dummies(df['size'],prefix = 'sss') 是对具体的某个列的不同数据 进行one-hot编码,
prefix指定生成的列表头名称'sss_1\sss_2\sss_3'有几类就有几个'sss'列
如果pd.get_dummies(df)进行编码的对象不是Series对象,对整个dataframe对象来说的话,
prefix不用指定,且会根据原columns的表头名称生成全部的非数字化的
#如果用下面的方法,则会产生新的df,不是在原df的条件下,更改color,返回的仍然是df类型
df = pd.get_dummies(df['size'],prefix = 'sss')
在量化实践中,一般会将收益标签添加到df整体中,然后从中取出来;
如果多分类标签,结合上述格式的pd.get_dummies正好将收益分类标签生成one-hot形式。
print(df)
dff = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],'data1': range(6)})
print(pd.get_dummies(dff['key']))
     a    b    c
0  0.0  1.0  0.0
1  0.0  1.0  0.0
2  1.0  0.0  0.0
3  0.0  0.0  1.0
4  1.0  0.0  0.0
5  0.0  1.0  0.0

说明:对于有大小意义的离散特征,直接使用映射就可以了,{‘XL’:3,’L’:2,’M’:1}

离散特征的编码分为两种情况:1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3} df = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b']}) print(df) dummies = pd.get_dummies(df['key'], prefix='key') print(dummies)
文章目录1.实验目的2.训练+预测2.1.get_dummies方法2.2.OneHotEncoder方法 1.实验目的 根据csv文件已给属性(Car Model、Mileage、Sell Price($)、Age(yrs))来预测汽车售价。下面将给出两种预测onehot编码方法,其中模型用LinearRegression。 密码:7izi 2.训练+预测 2.1.get_dummies方法 import pandas as pd df = pd.read_csv('carprices.csv') dummies = pd.get_dummies(df['Car Model'])
该列中包含了标签中的所有类别: from sklearn.preprocessing import OneHotEncoder enc = OneHotEncoder(sparse = False) result = enc.fit_transform(data[[41]]) #41指的是列标为41的那一列数据 该列中包含了标签中的所有类别的一部分: from sklearn.prepro...
代码出处:https://blog.csdn.net/sinat_30316741/article/details/88080158, 原文把处理DataFrame的代码注释掉了,另外还有一点是把原文代码中的if type(data) == pandas.core.frame.DataFrame:里面的pandas改成pd,然后在我的机子上才能运行 #onehot from sklearn imp...
df_Species = df_iris.iloc[:, -1:] iris_oh = pd.DataFrame(OneHotEncoder(handle_unknown='ignore').fit(df_Species).transform(df_Species).toarray()) print(iris_oh) 数据为具体内容时,可直接采用get_dummies函数,该函数可直接生成列名,更加便捷 data = pd.DataFrame( 这个就是用独热编码来替换离散值特征。 例如,“MSZoning”包含值“RL”和“Rm”我们将创建两个新的指示器特征“MSZoning_RL”和“MSZoning_RM”,其值为0或1。根据独热编码,如果“MSZoning”的原始值为“RL”,则:“MSZoning_RL”为1,“MSZoning_RM”为0。 首先假如一个数据集有六个样本,每个样本两种特征,数据保存在‘111.csv’中,其中feature1是文字特征,分别为“bak” “bif” “ni
get_dummiespandas 实现one hot encode的方式 ​ one-hot的基本思想:将离散型特征的每一种特征取值都看成一种状态,若指定离散特征中有N 个不相同的取值,那么我们就可以将该特征抽象成N种不同的状态,one-hot编码保证了每一个取值只 会使得一种状态处于“激活态”,也就是说这N种状态中只有一个状态位值为1,其他状态位都是0。 1.语法结构 pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=.
Pandas.get_dummies 用法简单介绍 pandas.get_dummies(data, prefix=None, prefix_sep=’_’, dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None) 1 主要参数介绍: data : array-like, Series, or Da...
其中参数predix: prefix : 给输出的列添加前缀,如prefix=“A”,输出的列会显示类似 prefix_sep : 设置前缀跟分类的分隔符sepration,默认是下划线"_" df = pd.DataFrame([ [‘green’ , ‘A’], [‘red’ , ‘B’], [‘blue’ , ‘A’]]) pd.get_dummies(df,prefix = 离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码 离散特征的取值有大小的意义,比如size:[M,L,XL],那么就使用数值的映射{M:1,L:2,XL:3} 使用pandas.get_dummies()函数可以很方便的对离散型特征进行one-hot编码 pandas.get_dummies(dat... pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None) 详细参数: prefix:str, list of str, 或 dict of str, 默认为 None 用于追加DataFrame列名称的字符串。 prefix_s