英文原文：https://realpython.com/blog/python/analyzing-obesity-in-england-with-python/ 译者：birdfly

本文是对这篇文章的再现和拓展.本人最近在学习<利用Python进行数据分析>,于是当练手.原作者是解析XLS文件(就是EXCEL文件),我这里解析的是CSV文件(就是以<,>为分隔符的文件,学习Python的人应该不会陌生. )

环境: Linux ubuntu 4.4.0-21-generic Python 2.7.12 numpy, matplotlib, pandas sublime text3 data files 准备 导入相关的包 import pandas as pd import matplotlib.pyplot as plt import numpy as np

再现

2014年的原始数据:

用Python读取到一个DataFrame里: #filedir->文件路径 #skiprows->指定跳过多少行或,某行 #nrows->指定读多少行 #index_col->指定0行作为DataFrame的索引 #thousands->指定数据的千分位分隔符,可能是逗号或者是点号, 如果确实这项将不会完整画出图来,之前卡在这里,一直好奇为什么错了,<利用Python进行数据分析>书中也提到这个. df = pd.read_csv(filedir, skiprows=37, nrows=12, index_col=0, thousands=',')

在终端里看一下,数据是怎么样的:

>>> print df Total Under 16 16-24 25-34 35-44 45-54 55-64 65-74 \ NaN NaN NaN NaN NaN NaN NaN NaN NaN 2002/03 1275 400 65 136 289 216 94 52 2003/04 1711 579 67 174 391 273 151 52 2004/05 2035 547 107 287 487 364 174 36 2005/06 2564 583 96 341 637 554 258 72 2006/07 3862 656 184 461 1069 872 459 118 2007/08 5018 747 228 564 1469 1198 598 157 2008/09 7988 775 322 1013 2359 2133 1099 221 2009/10 10571 632 361 1348 3132 3076 1555 378 2010/11 11574 525 375 1425 3277 3573 1820 456 2011/12 11736 495 391 1484 3104 3581 2119 468 2012/13 10957 556 356 1437 2744 3305 1965 495 75 and over Unnamed: 10 Unnamed: 11 NaN NaN NaN NaN 2002/03 23 NaN NaN 2003/04 24 NaN NaN 2004/05 32 NaN NaN 2005/06 20 NaN NaN 2006/07 43 NaN NaN 2007/08 53 NaN NaN 2008/09 63 NaN NaN 2009/10 87 NaN NaN 2010/11 115 NaN NaN 2011/12 94 NaN NaN 2012/13 99 NaN NaN 修整数据 #切片,前者是选行,后者是选列,从上面打印看出第0行和最后两列是不需要的数据,一次剔除 data = df.ix[1:,:-2] #为我们的行列起个名字,方便画图 data.index.name='Year' data.columns.name='Kinds'

在终端里看看DataFrame里数据是怎么样的

>>> print data Kinds Total Under 16 16-24 25-34 35-44 45-54 55-64 65-74 \ Year 2002/03 1275 400 65 136 289 216 94 52 2003/04 1711 579 67 174 391 273 151 52 2004/05 2035 547 107 287 487 364 174 36 2005/06 2564 583 96 341 637 554 258 72 2006/07 3862 656 184 461 1069 872 459 118 2007/08 5018 747 228 564 1469 1198 598 157 2008/09 7988 775 322 1013 2359 2133 1099 221 2009/10 10571 632 361 1348 3132 3076 1555 378 2010/11 11574 525 375 1425 3277 3573 1820 456 2011/12 11736 495 391 1484 3104 3581 2119 468 2012/13 10957 556 356 1437 2744 3305 1965 495 Kinds 75 and over Year 2002/03 23 2003/04 24 2004/05 32 2005/06 20 2006/07 43 2007/08 53 2008/09 63 2009/10 87 2010/11 115 2011/12 94 2012/13 99 画个图看看,原作者也画图了 不会画?贼简单… new_data.plot() plt.show() plt.close()#记得关掉

的确,Total占了半壁江山T_T.把Total剔除.

new_data = data.drop('Total',axis=1)#沿列

Under 16 和34-45

着重分析与对比这两个年龄段的人

数据分析了

Curve Fitting尝试通过图表上的点来拟合曲线。生成的图像可能准确，也可能不准确，这取决于数据的准确性。

Polynomial Interpolation（多项式插值）一旦有了公式，你可以利用Polynomial Interpolation在图表中插入任何值。

#Y轴数值,这里是***Under 16***不同时期的肥胖个数 kids = data['Under 16'].values#numpy.ndarray #X轴数值,即不同时期 x_axis = range(len(kids))#[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10] #复杂度.曲线拟合时使用不同的多项式复杂度。简单来说，就是复杂度越高，绘出的曲线越精确，不过也有可能导致图表废掉 poly_degree=3 #曲线拟合 curve_fit = np.polyfit(x_axis, kids, poly_degree) poly_interp = np.poly1d(curve_fit) #提取***x_axis***个拟合的数值 poly_fit_values = [] for i in x_axis: poly_fit_values.append(poly_interp(i)) #指定X轴,Y轴, 颜色,标签 plt.plot(x_axis, poly_fit_values, '-r', label='Fitted') plt.plot(x_axis, kids, '-b', label='Orig') plt.legend(loc='upper right') plt.show() plt.close()

看看效果: 复杂度为5,被设定读取拟合x_axis+5个数据,即预测五年后的情况.

只能说It works perfect! - 作者的观点很棒

上面两个走势线确实是一种趋势，不是bug。在一些政治辩论中，你一定听说过这样的情况，面对同样的数据争论双方得到的却是完全相反的结论。现在你明白怎样通过调整一个小参数来得出截然相反的结论了吧。

这也就是为什么对于从别人那里得到的数据和图表，我们要格外留意分辨真假，尤其是当他们不愿意分享原始数据的时候。有的时候，不妨把预测留给算命先生去。

---

---

---

拓展