使用 IBM SPSS Modeler 进行数据挖掘之数据理解
在数据挖掘项目中，数据理解常常不被重视。但其实数据理解在整个数据挖掘项目中扮演着非常重要的角色，可以说是整个项目的基石。在计算机领域有一句话，“Garbage in，garbage out.” 意思就是说，如果你的输入数据没有经过科学的预处理，你所得到的结果必将是错误的。通过数据理解，我们可以理解数据的特性和不足，进而对数据进行预处理，使得将来得到的模型更加稳定和精确。其次通过理解数据项之间的关系，我们可以为建模时输入数据项和模型的选择提供重要的信息。
首先，我们需要了解 CRISP-DM 模型，从而了解数据理解在数据挖掘工作的位置和作用。接着我们利用一个例子，分三个章节来介绍如何利用 Modeler 来理解和处理原始数据中的缺失值，异常值和各个数据项之间的内在关系。
CRISP-DM 模型
数据挖掘是一项复杂的工程，为了让整个项目便于控制和管理，我们必须遵从一定的标准流程。而 CRISP-DM 模型就是数据挖掘业界比较流行的一种模型。
图 1. CRISP-DM 模型图
CRISP-DM，即跨行业数据挖掘标准流程，这是一种业界认可的用于指导数据挖掘工作的方法。作为一种方法，它包含工程中各个典型阶段的说明、每个阶段所包含的任务以及这些任务之间的关系的说明；作为一种流程模型，CRISP-DM 概述了数据挖掘的生命周期。图 1 展示了 CRISP-DM 中定义的数据挖掘生命周期中的六个阶段。
商业理解：了解进行数据挖掘的业务原因和数据挖掘的目标数据理解：深入了解可用于挖掘的数据数据准备：对待挖掘数据进行合并，汇总，排序，样本选取等操作建立模型：根据前期准备的数据选取合适的模型模型评估：使用在商业理解阶段设立的业务成功标准对模型进行评估结果部署：使用挖掘后的结果提升业务的过程
下面，我们以某超市的市场推广活动为例，从商业理解开始，一起来学习如何利用 Modeler 的强大功能来进行数据理解。
商业理解：现状：
某超市新增加了体育服饰用品营业部。开业一段时间，由于体育服饰用品地处二楼，很多顾客还不知道，营业额没有达到预期。
商业目标：
经理决定进行一次促销活动，具体活动是向会员中的部分用户邮寄打折优惠卡。考虑到优惠卡制作费用，邮寄费用，经理希望能够向那些最有购买潜力的客户邮寄优惠卡。使这些潜在用户了解本超市的体育品牌和刺激他们进行消费。
活动计划：
首先调取自体育用品部营业来的所有销售记录，得到购买体育用品的会员记录，建立模型，对本超市所有会员进行预测，对那些最有可能购买体育用品且尚未购买的客户邮寄优惠卡。以刺激这些潜在客户的消费。
验证条件：
产生潜在客户名单信息后，随机抽取 100 名进行电话调查，表示愿意接受优惠券并且表示会来消费的顾客比例高于 70%.
经理将这个任务交给小王来负责，小王首先对超市内现有的数据进行分析：
会员基本信息：会员申请会员卡时登记的信息，其中包含了会员年龄，职业，学历，电话，工作，收入，住址等信息。消费信息：会员消费的明细记录。
了解了现有数据后，小王发现有以下问题：
会员基本信息是会员提供的，里边有很多值是缺失的，有的看起来是错误的。而消费信息由于是每次消费后电脑生成，信息是完整的，但是信息却很庞杂，不利于分析。可用的数据项非常多，到底用哪些数据项来进行数据预测呢？
这几个问题都是数据理解需要解决的问题，下边我们就来看一下如何利用 Modeler 来帮助我们进行数据理解：
使用 Modeler 进行缺失值分析什么是缺失值？
缺失值就是指数据文件中的某些数据项是未知的值。几乎所有的商业数据挖掘中，都要遇到缺失值的问题，有可能是数据采集中的失误，有可能客户不愿意提供某些信息，面对这样的数据，我们该如何是好 ? 使用这样的数据可能会对我们后期的建模产生不可预料的影响。如果丢弃，这些数据中可能包含着宝贵的信息。下边我们就来看一下如何利用 Modeler 来进行缺失值分析：
缺失值示例
第一步我们需要利用 Modeler 来确定数据文件中缺失值的类型和数量。然后才能做进一步的处理。
首先我们看一下我们例子中需要用到的数据：
图 2. 缺失值分析示例数据
从上图中我们可以看到编号有些记录的值是缺失的。
接下来我们打开 Modeler，新建 Stream，拖入一个“可变文件”节点到工作区。双击节点。选择示例数据文件作为输入。然后我们点击“可变文件”节点的预览按钮。得到结果如图：
图 3. 原始数据预览图
从预览图里我们可以看出记录 002 的年龄为 null，性别为空 , 这两个值都可以被 Modeler 自动识别为缺失值。这是 Modeler 针对不同类型的数据做了不同的处理。这里年龄被 Modeler 识别为整数类型，性别被识别为字符串类型。另外我们发现 005 的电话号码依然为“无”，并没有做任何替换。着我们这个示例里电话号码“无”是一个语义上的缺失值，在很多数据文件中都可能含有这样的信息，那么在 Modeler 里怎么定义这样的缺失值呢？这个我们稍后会做介绍。
利用“数据审核”节点审核数据
“数据审核”节点可以提供给我们很多有用的信息，其中就包括数据缺失值信息。下边，我们就将“数据审核”节点加入到我们的 stream 中来，连接“可变文件”节点和“数据审核”节点，运行 Stream，我们可以得到下图
图 4. 数据审核结果图
从上图中我们可以看到很多有用的信息，数据的分布图形，数据的类型，统计值等，在这里我们要关注的是最后一列有效数据，这里我们发现年龄，性别，学历，月收入的有效值都不是 30，这说明 “数据审核”节点已经成功的帮我们识别出了这两列的缺失值。同时我们可以发现电话这一项的有效数据仍然是 30.
下边我们就来看看如何在 Modeler 中定义缺失值。
缺失值定义
双击“可变文件”节点，选择类型页。如下图：
图 5. “可变文件”节点类型页
在类型页里我们发现有一列名为“缺失”，我们在电话这一列我们点击缺失这以空白项。
图 6. 指定缺失值
我们选择指定…，会打开一个新的页面：
图 7. 配置电话缺失值
如上图，我们选择“定义空白”，添加一个缺失值为“无”。然后点击确定，关闭窗口。
接着我们再来运行数据审核，得到如下结果：
图 8. 数据审核结果图
这次我们可以发现电话这一项的有效数据变成了 29. 说明我们定义的缺失值成功了。
然后我们选择“数据审核”节点的质量页，如下图 :
图 9. 数据质量结果图
从上图中可以看出完整的字段为 37.5%，完整的记录为 83.33%，这时我们可以决定如何处理缺失值，如果我们完整的字段占的比例很高，那么我们一般应该过滤掉包含缺失值的字段然后进行建模。另一种情况，如果完整记录所占比例较高那么我们应该删除那些含有缺失值的记录然后进行建模。
Modeler 考虑到这两种情况，提供了非常实用的功能来帮助我们进行数据的筛选。我们打开数据审核结果，选择质量页面，单击工具条上的生成按钮，里边可以选择生成列的过滤节点，或者值的选择节点。生成的节点可以帮助我们自动过滤含有缺失值的行或者列。
上面所说的对缺失值的处理是删除含有缺失值的列或者行，还有一种办法是我们可以对缺失值进行填充，比如我们可以用缺失值所在列的平均值，随机值来进行填充，或者我们对该列进行建模预测，来达到填充缺失值的目的。
使用 Modeler 进行异常值分析什么是异常值
异常值就是数据文件中那些和其它值相比有明显不同的值，它们可以通过观察数据分布来确定。
在具体考虑异常值时，我们需要注意异常值的类型，一般分为两种，一种是可枚举类型，比如超市里的商品名，商品名不可能有异常值。假如我们利用会员购买的商品来预测他会不会购买体育用品，因为商品很多，使得购买相同商品的用户数量很少，所建模型就会很不稳定。这时我们应该对商品进行抽象，比如抽象为水果，零食，日用品，蔬菜，化妆品等，用这样的数据进行预测，就会使模型可靠性提升。利用 Modeler 里的“分布”节点可以对这种可枚举类型的数据进行分组。
图 10. 001 用户消费记录
假如我们有上表这样的数据，我们如何将商品进行抽象分组呢？首先我们建立一个 stream，用“可变文件节点”来读取数据。然后连接一个“分布”节点。运行分布节点，得到下图。
图 11. 分布节点运行结果
比如我们可以选择梨，苹果，然后右键选择“组”，建立一个水果组。类似的建立一个化妆品组。然后我们可以选择“生成”菜单，让 Modeler 自动帮我们生成一个分组节点。这样，我们就可以用水果，化妆品这样的具有一定抽象意义的值来代替原来具体的值。
另一种类型就是连续型数据，比如用户收入，用户年龄等。对于连续型数据，运行数据审核节点，在质量页面我们就可以查看离群值和极值。默认情况下，Modeler 是根据平均值的标准差来确定离群值和极值的。在运行“数据审核”结果页面我们也可以设置离群值和极值的处理方法
图 12. 处理异常值的设置
选择工具条里的生成按键，选择离群值和极值超节点。这时，Modeler 会帮我们自动生成一个过滤离群值和极值的超节点。我们连接“可变文件”节点和这个超节点，Modeler 就会帮我们按照我们期望的处理方式来处理离群值和极值。
还有一种异常值是需要多个列组合才能看出来。比如某顾客每个月在超市消费额都在 1000 以上，但是他的会员信息显示他的月收入为 1000 元，这条记录就可以被识别为异常值。需要进一步分析。同样 Modeler 也提供了相应的功能来帮助我们识别这样的联合分布的异常值。
图 13. 用户收入消费表
从上边的数据中，我们很难发现哪条数据有异常，下边我们就用 Modeler 里的“图”节点来帮助我们分析数据。
我们将“可变文件”节点的数据文件指向示例数据，添加一个“图”节点，并双击“图”节点，如图：
图 14. 设置图节点
运行图节点。
图 15. “图”节点结果
这是我们能明显看到左上角的一个异常值，鼠标移动到这个点上，我们可以看到这个点所代表的详细信息。
使用 Modeler 观察数据项之间联系
对于数据挖掘来说在进行真正的建模之前，通过观察数据项之间的关系，特别是输入数据项和目标数据项之间的关系，是非常有意义的，它能快速的让我们对数据之间的关系有个大概了解，精简一些不必要的数据项，提高建模速度和稳定性。
下边我们就以超市调查结果来看，其中已经将会员消费记录整合成水果，蔬菜，日常用品，零食等，这些列的数字代表此项消费在该会员所有消费中所占的百分比。最后一列表示用户是否对体育用品优惠活动感兴趣。
图 16. 用户意向表
同样我们新建一个 Stream，加入一个“可变文件”节点，修改文件路径到示例数据，然后，我们连接一个“均值”节点。双击“均值”节点，进入编辑：
图 17. 均值节点
我们选择接受为分组字段，年龄，月收入，水果，蔬菜，日常用品，零食为测试字段。
然后，我们运行“均值”节点，得到下表：
图 18. 均值节点结果
从统计数据来看，可以决定用户是否对体育用品感兴趣的重要因素为水果，日常用品，年龄，蔬菜。而零食和月收入对预测影响较小。
通过本文的描述，你应该对数据理解所要做的工作，以及如何利用 Modeler 来帮助你完成相关工作有了一定的了解。本文所涉及的 Node 只是 Modeler 中可用于数据理解相关 Node 的一部分。另外在 Modeler 中，通过 Node 之间灵活多变的组合，可以完成更复杂的任务。这些就留给读者自己去探索吧。
“”（developerWorks 中国，2011 年 3 月）,介绍了如何使用 Modeler 去应用他们已有的数据挖掘知识进行建模。在
，获取更多的 Information Management 产品相关的技术文章、在线教程、多媒体课程等技术资源。随时关注 developerWorks
和 ，包括各种 IBM 产品和 IT 行业主题。以最适合您的方式 ：下载产品试用版、在线试用产品、在云环境中使用产品，或者在
中花几小时。
添加或订阅评论，请先或。
有新评论时提醒我
static.content.url=/developerworks/js/artrating/SITE_ID=10Zone=Information ManagementArticleID=835068ArticleTitle=使用 IBM SPSS Modeler 进行数据挖掘之数据理解publish-date=2016年新版数据统计分析工具IBM SPSS Statistics 24破解版
技术宅挺喜欢玩游戏，steam、暴雪等等 ```963文章186评论嗷嗷待哺的小程序最新文章
2,220热评文章
7热门文章 14,270 10,372 9,978 9,758 9,623最近留言
关注我们 <span class="tipso_style" id="tip-w-j" data-tipso=''>本站推荐
文章目录微信如何通过IBM SPSS Modeler对数据进行处理和建模-阿里云资讯网
如何通过IBM SPSS Modeler对数据进行处理和建模
发布时间：
更新时间：
来源：网络
上传者：用户
由于目前/zixun/aggregation/18046.html&&企业客户的业务量和数据量都在不断的提高，随着企业的发展，很多企业的数据存储都不局限于个数据库上，如果要对这些存储在不同数据库上的数据进行处理和建模，就需要将这些存储在不同数据库之间的数据进行有效的整合，本文将介绍通过 IBM SPSS
如何对不同数据库之间的数据进行整合，进行建模处理。
IBM SPSS Modeler 介绍
IBM SPSS Modeler 是 IBM 在分析与预测领域解决方案的重要组成部分，它是一组数据挖掘工具，通过这些工具可以采用商业技术快速建立预测性模型， 并将其应用于商业活动，从而改进决策过程。Modeler 的界面如图 1 所示：
图 1. IBM SPSS Modeler 界面
IBM SPSS Modeler 通过节点对数据进行处理，然后将这些节点连接起来，就形对数据处理的一系列过程，我们将这一过程称为数据流。也可以说 IBM SPSS Modeler 是以数据流为驱动的产品，这一系列节点代表要对数据执行的操作，而节点之间的链接指示数据的流动方向。IBM SPSS Modeler 将节点分为如下几种类型： 源：此类节点可将数据导入 IBM SPSS Modeler，如数据库、IBM SPSS Analytic Server 数据源、文本文件、SPSS
数据文件、Excel、XML 等。 记录选项：此类节点可对数据记录执行操作，如选择、排序、抽样、合并和追加等。 字段选项：此类节点可对数据字段执行操作，如过滤、导出新字段和确定给定字段的测量级别等。 图形：此类节点可在建模前后以图表形式显示数据。图形包括散点图、直方图、网络节点和评估图表等。 建模：此类节点可使用 IBM SPSS Modeler 中提供的建模算法，如神经网络、决策树、贝叶斯网络、聚类算法、支持向量机、和数据排序等。 输出：节点生成数据、图表和可在 IBM SPSS Modeler 中查看的模型等多种输出结果。 导出：节点生成可在外部应用程序（如 IBM SPSS Data
、数据库、XML、IBM SPSS Analytic Server 数据 或 Excel）中查看的多种输出。 IBM SPSS Statistics：节点将 IBM SPSS Statistics 数据导入或导出为 SPSS Statistics 数据，以及运行 SPSS Statistics 提供的功能。
IBM SPSS SDAP 介绍
1. SDAP 的安装
IBM& SPSS& Data Access Pack（简称 SDAP）是在 Modeler 的安装盘附带的 ODBC 驱动程序，运行 setup.exe 文件以启动驱动程序安装，并选择所有相关的驱动程序即可。安装的 SDAP 必须和你使用的 Modeler Server 在同一台机器，也就是说如果你使用本地的 Modeler Server, 就安装在 Modeler
所在的机器，如果使用的 Modeler Server 和 Modeler Client 不在同一台机器，那么就需要安装在 Modeler Server 所在的机器。
图 2. SDAP 的安装
2. 创建 ODBC
这里以 Windows 7 为例，装好 SDAP 驱动后，从“开始”菜单中选择所有程序，选择管理工具，选择数据源 (ODBC)，在打开 的对话框中选择系统 DSN 选项卡，然后单击添加，在打开的对话了狂选择要添加的数据库的驱动，如图 3 所示：
图 3. 选择驱动
点击完成按钮后，库的信息，对于不同的数据需要输入不同的信息，本文将以主流的 IBM DB2、Oracle 和
为例。如图 4 所示：
图 4. 创建 DB2 ODBC
在“ODBC DB2 Wire Protocol 驱动程序设置”对话框中需要指定如下内容： 数据源名称（指定一个 ODBC 的名字）； IP 地址，指定 DB2（Oracle，SQL Server） RDBMS 所在服务器的主机名或者 IP 地址； TCP 端口 ( 对于 DB2，默认是 50000，Oracle 是 1521，SQL Server 是 1433)； 数据库的名称（指定需要连接的数据库）；
点击“测试连接”后，输入要连接数据库的用户名和密码，然后单击确定按钮。此时会显示“连接已建立！”的消息，说明配置成功。
对于 Oracle 数据库来说，如图 5 所示：
图 5. 创建 Oracle ODBC
对于 SQL Server 数据库如图所示：
图 6. 创建 SQL Server ODBC
本文内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：zixun-group@ 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。
　网站结构是SEO的基础，要搭建利于 SEO的网站结构需要了解搜索引擎(百度)的SEO规则，这里需要讨论哪种布局对搜索引擎最友好，也可以看成搜索引擎喜欢那些布局，搜索引擎制定有哪些规则。 　　代码优化 　　① flash， asp， html各如何优化 　　全站flash 的站要针对网站头部进行进一步优 化，Flash 代码只需在代码外设置内页入口 　　asp 代码会被搜索引擎收录但是收录效...
下个星期一开始就要接手一个新的网站，整个公司就我一个人做SEO，公司网站是同城送餐网，也是我上一篇文章说到的那个公司，老板主动加我QQ，聊了1个多小时，让我过去帮忙，工资开的不低，我就想去试试。SEO就我一个，我肯定是要负责整个网站的运营了，要为提高网站的流量、排名、转化率制定个计划，下面我就说说我自己对网站的整改和计划。 　　网络营销和推广方法在上篇《送餐网站推广营销方案的设定》已经说过了...
相信很多医疗网站，都有过策划专题的经验。而且，随着现在医疗网站的发展来说，一个有吸引力的专题对于网站是非常有好处的，对于医疗网站来说，专题内容策划占到了很重要的地位。那么，医疗网站专题策划需要做哪些方面?针对我做过的专题，来与大家交流下。 　　第一，医疗网站专题策划的主题。 　　网络新闻专题适合于表现各种重大新闻题材，那么，对于医疗网站来说，会以一些重大事件或者是高搜索量词做一个专题。下面，...
　12月4日消息，以“创新、融合、发展”为主题的第二届中国地方与行业网站峰会将于-5日在杭州海外海国际会展中心举行，3000多名来自互联网各界的从业人士、站长、媒体与嘉宾参加了本次盛会，admin5站长网作为大会合作媒体参与了全程报道，以下是化龙巷总经理钱钰的演讲内容。& 　　大家好，在这里首先感谢大会的主办方阿里集团和PHPWIND给大家提供了这么好的交流和分享...
现在准备做网站大体上有两种犹豫，一种是做一个大而全的网站犹豫，另一个是选择不好细分的行业网站犹豫，不过大部分的草根站长都把目标选择在小而细的行业型的网站，具体要选择什么样的行业那就要看草根站长个人的兴趣爱好了，最好是自己对这个行业非常熟悉的，这样才能够把这个小儿细的行业网站做到专业和极致!才能够体现出网站的差异化! 　　那么什么是网站细分呢?简单的说就是对目标访问群体进行具体的定位，做好这一...
　其实做这个网站的初衷也就是一群有点小抱负的几个80后，聚集在一起每个人都小激动了一把，想把自己现在做的二手房做强做大，才决定成立合肥房产网，虽然开始只是兴趣使然，但直到现在大家目标都很明确，要做就坚持做到最大最强。当时大家也没管对手有多么强大，自己能否击败他们，或许就是这种“初生牛犊不怕虎”的大无畏的自信，才让我们一路走来。好像扯远了，言归正传，现在我就总结下我们的门户网站在运营时所积累一...
若您要投稿、删除文章请联系邮箱：zixun-group@，工作人员会在5个工作日内回复。
售前咨询热线
服务与支持
账号与支持
关注阿里云
International查看: 2906|回复: 2
求教sql 2005导入spss数据文件？
论坛徽章:0
我新建数据库以后不知如何导入spss文件的数据，新手求教各位高手！谢谢！
论坛徽章:0
我只知道如何将sql2000的数据导入到SPSS：
很简单，但写出来就比较麻烦
论坛徽章:0
sql yong数据导出道spss的数据快吗？
itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有　　　　
　北京市公安局海淀分局网监中心备案编号：10　广播电视节目制作经营许可证：编号（京）字第1149号}