#先建立两组数据
df1 = pd.DataFrame(data = {'sex':np.random.randint(0,2,size=6),'name':['九州','九周','Nineweek','Mrs佟','小A','小C']})
df2 = pd.DataFrame(data = {'score':np.random.randint(90,151,size=6),'name':['九州','九周','Nineweek','Mrs佟','小A','小Ming']})

pd.merge(df1,df2)
#（内连接） 在使用merge()合并中merge自动去除了空数据
pd.merge(df1,df2,how='left')#左链接
pd.merge(df1,df2,how='right')#右链接

#创建一个分值数据
df2 = pd.DataFrame(data={'Name':['九州','Mrs佟','Nineweek',None,np.NAN,'Mrs佟'],'Sex':[0,1,0,1,0,1],'Score':[89,100,67,90,98,100]})

df2.duplicated()#检查重复值 以Boolean形式进行输出展示
df2.duplicated().sum()#打印有多少重复值
df2[df2.duplicated()]#打印重复值
df2[df2.duplicated()==False]#打印非重复值
df2.drop_duplicates()#删除重复值(此操作并不是在数据源本身进行删除操作)
df2.drop_duplicates(inplace=True)#删除重复值(此操作是在数据源本身进行删除操作)

df2.isnull()#检查是否存在空值(可以查到NAN值和None值)
df2.dropna(how = 'any') # 删除空数据(此操作并不是在数据源本身进行删除操作) 
df2.dropna(how = 'any',inplace=True)# 删除空数据(此操作是在数据源本身进行删除操作) 
df2.fillna(value='小A')#填充空数据(此操作并不是在数据源本身进行删除操作) 
df2.fillna(value='小A',inplace=True)#填充空数据(此操作是在数据源本身进行删除操作) 

del df2['Sex'] # 直接删除某列
df2.drop(labels = ['price'],axis = 1)# 删除指定列
df2.drop(labels = [0,1,5],axis = 0) # 删除指定⾏

df2.filter(items=['Name', 'Score'])#保留‘Name’,‘Score’两列
df2.filter(like='S',axis = 1)# 保留列标签包含‘S’的列（axis=1表示列，axis=0表示行）
df.filter(regex='S$', axis=1)#正则方式进行筛选

#改变行列索引
df2.rename(index = {0:10,1:11},columns={'Name':'StName'})#将行索引0换为10，1换为11；列索引Name换为StName
#替换元素值
df2.replace(100,102)#将所有的100替换为102
df2.replace([89,67],78)#将所有的89和67替换为78
df2.replace({'九州':'JZ',None:'九州'})#根据字典的键值对进行替换
df2.replace({'Sex':1},1024)#将Sex列的1全部替换为1024

#先建立数组
df = pd.DataFrame(data = np.random.randint(0,150,size = [10,3]),index = list('ABCDEFGHIJ'),columns=['Python','En','Math'])

df['Python'].apply(lambda x:True if x >50 else False)#选取python学科中的大于50的数据

df.apply(lambda x : x.median(),axis = 0) # 列的中位数

#自定义函数算法
def avg(x):
    return (x.mean(),x.max(),x.min(),x.var().round(1))
df.apply(avg,axis=0)#输出列的平均值，最大值，最小值，方差保留一位小数

# ⼀列执⾏多项计算
df['Python'].transform([np.sqrt,np.log10]) # 对单列数据处理做开平方和对数运算

#自定义函数算法
def convert(x):
    if x > 140:
        x -= 12
    else:
        x += 12
    return x

df.transform({'Python':np.sqrt,'En':np.log10,'Math':convert}).round(1)# 对多列数据处理做开不同运算

df = pd.DataFrame(data = np.random.randint(0,150,size = [20,3]),
 index = pd.MultiIndex.from_product([list('ABCDEFHIJK'),['一期','二期']]),# 多层索引
 columns=['Python','En','Math'])

df.unstack(level=1)#行作列
df.stack()#列作行
df.mean(level=1)#各学科每期平均分
df.mean(level=0)#各学员平均分
df.mean()#各科平均分

df['py_cut'] = pd.cut(df.Python,bins=4)#按照数据范围分箱
df['en_cut'] = pd.cut(df.En,bins=4)#按照数据个数分箱
df['q_评级'] = pd.qcut(df.Python,q = 4,# 4等分
 labels=['差','中','良','优']) # 分箱后分类
df['c_评级'] = pd.cut(df.En,#分箱数据
 bins = [0,60,90,120,150],#分箱断点
 right = False,# 左闭右开原则
 labels=['差','中','良','优'])# 分箱后分类

df= pd.read_excel('C:/Users/admin/Desktop/home_car_allclean.xlsx')#导入数据

# 1、分组->可迭代对象
# 1.1 先分组再获取数据
g = df.groupby(by='汽车等级')[['汽车类型','汽车排量']]#单分组
for name,data in g:
    print(name)
    print(data)

g = df.groupby(by = ['汽车类型','汽车等级'])[['汽车排量']] # 多分组
for name,data in g:
    print(name)
    print(data)

#1.2 对⼀列值进⾏分组
df['汽车等级'].groupby(df['汽车类型']) # 单分组df['汽车名称'].groupby([df['汽车类型'],df['汽车排量']]) # 多分组

#键值对分组
m ={'汽车名称':'Name','汽车平均价格':'attribute','汽车类型':'attribute','汽车排量':'attribute','汽车等级':'attribute'}
for name,data in df.groupby(m,axis = 1):
    print('组名',name)
    print('数据',data)

df.groupby(by='汽车类型').mean().round(1)#按照汽车类型分组再计算其余列的平均值

df.groupby(by=['汽车类型','汽车等级'])['汽车平均价格'].max()#按照汽车类型和汽车等级分组再计算汽车平均价格的最大值

# 3、分组后调⽤apply，transform封装单⼀函数计算
# 返回分组结果
df.groupby(by = ['汽车类型','汽车等级'])[['汽车平均价格','汽车排量']].apply(np.mean).round(1)
def normalization(x):
    return (x - x.min())/(x.max() - x.min()) # 最⼤值最⼩值归⼀化
# 返回全数据，返回DataFrame.shape和原DataFrame.shape⼀样。
df.groupby(by = ['汽车等级','汽车等级'])[['汽车平均价格','汽车排量']].transform(normalization).round(1)