pandas  数据规整化 —— 合并、清理与转换

日期处理：

pd.to_datetime()

df.reset_index()：增加属性名为 index 的属性列

>> data = [[1,2,3],[4,5,6]] >> df = pd.DataFrame(data) >> df.index RangeIndex(start=0, stop=2, step=1) >> df.columns RangeIndex(start=0, stop=3, step=1) >> df.reset_index() index 0 1 2 0 0 1 2 3 1 1 4 5 6

0. 基本处理

修改列名：df.rename({'old_col_name': 'new_col_name'}, inplace=True)

1. 清理

pd.isnull()/pd.notnull()：用于检测缺失数据；drop(labels, axis=0, level=None, inplace=False, errors=‘raise’) 注意第一个参数（labels）与第二个参数（axis）的关系，要删除的 labels 必须在 axis 上； 也即默认情况下，axis=0，为纵轴（也即第一列，行名），axis=1，则为横轴（第一行，为行名）

2. 合并（merge）

>> df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'], 'data1': range(7)}) key data1 0 b 0 1 b 1 2 a 2 3 c 3 4 a 4 5 a 5 6 b 6 >> df2 = pd.DataFrame({'key':['a', 'b', 'd', 'a'], 'data2': range(4)}) key data2 0 a 0 1 b 1 2 d 2 3 a 3

数据集的合并（merge）或链接（join）运算可通过一个或多个键将行连接起来。如果不显式地指定，merge 会默认将重叠列的列名作键。

>> pd.merge(df1, df2, on='key') # 等价于 pd.merge(df1, df2) key data1 data2 0 b 0 1 1 b 1 1 2 b 6 1 3 a 2 0 4 a 2 3 5 a 4 0 6 a 4 3 7 a 5 0 8 a 5 3

注意：

默认连接方式为：inner（how='inner'），也即

df1 中的 c，df2 中的 d均未出现在 merge 后的 df 中；对于 b，df2是一对一的关系；对于 a，df2中一对2，最终拼接的形式是笛卡尔积的形式；

此外还有 right/left/outer（外链接取的是键的并集，组合了左连接和右连接的效果：

>> pd.merge(df1, df2, on='key', how='left') key data1 data2 0 b 0 1.0 1 b 1 1.0 2 a 2 0.0 3 a 2 3.0 4 c 3 NaN 5 a 4 0.0 6 a 4 3.0 7 a 5 0.0 8 a 5 3.0 9 b 6 1.0