数据质量分析 主要任务:检查原始数据中(样本数据)是否存在脏数据 脏数据一般是指不符合要求,以及不能直接进行相应分析的数据, 在常见的数据挖掘工作中,脏数据包括: 缺失值 异常值 不一致的值 内部资料 泰迪科技(www.tipdm.com)* 重复数据及含有特殊符号(如#、¥、*)的数据 本小节将主要对数据中的缺失值、异常值和一致性进行分析
=======================================
缺失值 分析:
缺失值分析 缺失值产生的原因 有些信息暂时无法获取,或者获取信息的代价太大。 信息被遗漏 人为因素:输入时认为不重要、忘记填写或对数据理解错误 物理故障:数据采集设备、存储介质、传输媒体的故障 属性值不存在 内部资料 泰迪科技(www.tipdm.com)* 在某些情况下,缺失值并不意味着数据有错误 对一些对象来说某些属性值是不存在的:如一个未婚者的配偶 姓名、一个儿童的固定收入等。 成立仅9天家政公司拿下300万政府大单:三年内无不良记录
=================================
异常值分析
=======================================
一致性分析
================
相关案例 及其代码:
转载请注明原文地址: https://ju.6miu.com/read-1299241.html