使用决策树对信息系统可用性指标问题进行分级的指标有哪些

不是所有的可用性问题都是一样的:有的问题会比其他问题更严重一些。有些问题会让用户感觉心烦或沮丧,另一些问题则会导致用户做出错误的决定或丢失数据。很显然,这两种不同类型的可用性问题会对用户体验带来不同的影响,严重性评估是处理这类问题的有效方式。
基于用户体验的严重性等级评估
许多严重性评估方法会只考虑可用性问题对于用户体验的影响程度。这种评估方法易于实施而且能提供有用的信息。在这种评估方法中,通常会将可用性问题的严重程度分成三级或者五级,常见的诸如低、中、高。
Wilson(1990年)提出了一个五级评估系统:5级(无关紧要的错误)、4级(问题虽小但却让用户焦躁)、3级(中等程度:耗费时间但不会丢失数据)、2级(导致数据丢失的严重问题)和1级(灾难性错误,导致数据的丢失或者软硬件的损坏)。
选择什么样的评估系统,重要的是要看所在单位的需要和被评估的产品情况。通常三个级别的评估系统就能满足多数情况的要求:
低:会让参加者心烦或沮丧但不会导致任务失败的可用性问题。
中:这类问题会与任务的失败有一定的关系但不会直接导致任务的失败。
高:直接导致任务失败的问题。
综合多种因素的严重性等级评估
使用综合因素的严重性等级评估系统通常以问题对用户体验的影响、相关任务的使用频率和(或)对商业目标的影响为基础。Nielsen(1993年)提供了一种简便易行的方法,通过综合对用户体验的影响和相关任务的使用频率这两个因素来进行严重性评估。这种评估系统非常直观,而且便于解释。
综合考虑问题发生频率和对用户体验影响程度的严重性等级评估:
极少用户遇到了问题
很多用户遇到了问题
对用户体验的影响很小
严重程度低
严重程度中等
对用户体验的影响很大
严重程度中等
严重程度高
Rubin(1994年)提供了另一种不同的方法,在这种方法中综合了严重程度和问题的发生频率这两个指标。首先,以4点尺度对问题进行严重性等级评估(1=低,2=中等,3=严重,4=不可用)。然后,对发生频率进行4点评估(1=出现次数&10%,2-出现次数介于11%-50%之间,3=出现次数介于51%-89%之间,4-出现次数大于90%)。最后,将这两个分数合并成一个介于2-8之间的严重性程度评分。使用这种方法会获得一个数字化的严重性程度得分,这个分数可以有效地结合其他数据一起使用。
在Rubin综合不同类型分数的方法基础上,我们还可以基于商业目标的重要性增加第三个维度。比如,你以综合三种不同的3点尺度指标来评估问题的严重性:
(1)对用户体验的影响(1=低,2=中等,3=高)
(2)预计的发生频率(1=低,2=中等,3=高)
(3)对商业目标的影响(1=低,2=中等,3=高)
把这三个分数加起来,你就会得到一个介于3到9之间的总体严重性等级分数。当然,在打分时自然会掺杂一些猜测的成分在里面,但是其可取之处在于这种方法毕竟综合考虑了这三种因素。
严重性等级评估系统的应用
在建立了严重性等级评估系统后,还有几件事情需要考虑。
首先,确保一致:选用一种评估系统,然后在所有研究中都采用它。通过使用相同的严重性等级评估系统,你将能够在不同的研究之间进行有意义的比较,并且有助于引导你的受众了解不同严重等级的差异。受众越认可这种评估系统,你提出的设计方案就越有说服力。
其次,要明确说明每一严重级别的意义。
第三,设法让多个可用性专家参与每个问题的严重性等级评估。
最后,现在还存在是否应当把可用性问题作为错误追踪系统一部分的争论。无论如何,重要的是对可用性问题进行追踪并确保它们能得到解决。
有关严重性等级评估的忠告
Kuniavsky(2003年)建议让受众给出严重性评分,主张只有那些非常熟悉商业模型的人才能确定各可用性问题的相对优先级。
Bailey(2005年)则强烈反对任何形式的严重性等级评估系统。他引用了几项研究结果,这些结果标明,可用性专家在对任何可用性问题的严重性进行等级评估时都很难达成共识。
Hertzum等人(2002年)着重指出了在进行严重性等级评估中可能存在的另一个问题。在研究中他们发现,当多个可用性专家作为同一个团队的一部分而工作时,每一个专家对于自己发现的可用性问题的严重性等级评估要严于对其他人发现的可用性问题的严重性等级评估。这被称为评估者效应,这一效应给对仅依赖于一位可用性专家进行严重性等级评估的做法带来了严重的问题。
转载请注明: &因。例如:在银行的100万笔交易中有500例的欺诈行为,银行为了稳健经营,
就要发现这500例的内在因素,减小以后经营的风险p?。
2.决策树方法
决策树方法起源于概念学习系统(CLS:Concept Learning System),然后发
展到ID3方法并达到高峰,最后又演化为能处理连续属性的C4.5【3”。有名的决策
树方法还有CART和Assistant[”1。
利用信息论中的互信息(信息增益)寻找数据库中具有最大信息量的字段,
建立一个决策树的节点,在根据字段的不同取值建立树的分支【3”。在每个分支子
集中重复建树的下层节点和分支的过程,即可建立决策树。国际上最有影响的和
最早的决策树方法是Quiulan研制的ID3方法,它对较大的数据库效果较好。
决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法【341。
比如,在大肠癌的手术后,要对大肠癌的术后情况做出判断,图2.3是为了解决
这个问题而建立的一棵决策树,从中我们可以看到决策树的基本组成部分:决策
节点、分支和叶子【3”。
图2.3丈肠癌的决策树示意图
决策树中最上面的节点称为根节点,是整个决策树的开始。本例中叶子节点
是“周径>1/3、周径<1/3”,对此问题的不同回答产生了“好”、“中”和“坏”分
决策树的每个节点子节点的个数与决策树所用的算法有关。如CART算法得到
的决策树每个节点有两个分支,这种树称为二叉树。允许节点含有多于两个子节
点的树称为多叉树【36】。
每个分支要么是一个新的决策节点,要么是树的叶子节点。在沿着决策树从
上到下遍历的过程中,在每个节点都会遇到一个问题,对每个节点上问题的不同
回答导致不同的分支,最后会到达一个叶子节点。这个过程就是利用决策树进行
分类的过程,利用几个变量(每个变量对应一个问题)来判断所属的类别(最后
每个叶子会对应一个类别)。
建立决策树的过程,即树的生长过程是不断的把数据进行切分的过程,每次
切分对应一个问题,也对应着一个节点。对每个切分都要求分成的组之间的“差
异’’最大I”l。
各种决策树算法之间的主要区别就是对这个“差异”衡量方式的区别。在此,
我们只需要把切分看成是把一组数据分成几份,份与份之间尽量不同,而同一份
内的数据尽量相同。这个切分的过程也可称为数据的“纯化”。如果经过一次切分
后得到的分组,每个分组中的数据都属于同一个类别,显然达到这样效果的切分
方法就是我们所追求的p”。
在实际中应用的决策树可能非常复杂。假定我们利用历史数据建立了一个包
含几百个属性、输出的类有十几种的决策树,这样的一棵树对人来说可能太复杂
了,但每一条从根节点到叶子节点的途径所描述的含义仍然是可以理解的。决策
树的这种易理解性对数据挖掘的使用者来说是一个显著的优点。
建立一棵决策树可能只要对数据库进行几遍扫描之后就能完成,这也意味着
需要的计算资源较少,而且可以很容易的处理包含很多预测变量的情况,因此决
策树模型可以建立得很快,并适合应用到大量的数据上¨?。
对最终要拿出来供人们看的决策树来说,在建立过程中让其生长得太“枝繁
叶茂”是没有必要的,这样既降低了树的可理解性和可用性,同时也使决策树本
身对历史数据的依赖性增大,也就是说这棵决策树对此历史数据可能非常准确,
一旦应用到新的数据时准确性却急剧下降,我们称这种情况为“训练过度”。为
了使得到的决策树所蕴含的规则具有普遍的意义,必须防止“训练过度”,同时也
减少了训I练时间。因此我们需要有一种方法能让我们在适当的时候停止树的生长。
常用的方法是设定决策树的最大高度(层数)来限制树的生长。还有一种方法是
设定每个节点必须包含的最少记录数,当节点中记录的个数小于这个数值时就停
止分割。与设置停止增长条件相对应的是在树建立好之后对其进行修剪。先允许
树尽量生长,然后再把树修剪到较小的尺寸,当然在修剪的同时要求保持决策树
的准确度尽量不要下降太多。
决策树构建的两个阶段
决策树的构造一般采用自上而下的递归方法。它的主要思路是:如果训练例
子集合中的所有例子是同类的,则将其作为叶子节点,节点的内容即为该类别的
标记。否则根据某种策略选择一个属性,按照属性的各个取值,把例子集合划分
为若干个子集合,使得每个子集上的所有例子在该属性上具有相同的属性值。然
后再依次递归的处理各个子集。一般地说,最后得到的决策树越小,则该树的预
测能力越强【蛐J。
一决策树生成:利用训练样本生成决策树模型;
一决策树剪枝:通过删除部分节点和子树以避免“过度适合”。
过度适合:也称过学习,指推出过多的假设与训练数据集相一致。过学习将
导致我们所作出的假设泛化能力过差。
两类剪枝算法
一预先剪枝:在树生成的过程中根据一定的准则(如树已达到某高度,节点
中最大的样本的比例达到设定阈值)来决定是否继续扩张树。
一后剪枝:待决策树完全生成以后再进行剪枝。
剪枝数据集的选择
一选择与生成决策树数据集不同的数据进行剪枝
例如使用训练集2/3的数据生成树,另外1/3的数据用于剪枝(代价复杂性
算法)。但是当训练数据集比较小时,这样很容易导致过学习。当缺乏独立剪枝数
据集时可以采用交叉有效性来判断决策树的有效性。
交叉有效性:将训练集T分成互不相交且大小相等的k个子集T1,T2?.Tk。
对任意子集Ti,用T―Ti训练决策树,用Ti测试决策树的错误率ei,然后估计
整个算法的错误率,见式(2.1):
由于要生成多棵树,代价复杂性算法剪枝效率较低。
一选择与生成决策树数据集相同的数据进行剪枝
虽然计算复杂性不高,但容易导致生成过大的树,并且有时侯错误率较高,
如悲观算法。
决策数剪枝的动机
一决策树越小就越容易被理解,其存储与传输的代价也就越小。
一决策树越复杂,节点就越多,每个节点所包含的训练实例个数就越少,则
支持每个节点的假设的实例个数就越少,可能导致随后错误率较大。但也不是节
点越小错误率就越低。我们要在树的大小与正确率之间平衡。
3.聚集方法
聚集是把整个数据库分成不同的群组[4”。它的目的是要群与群之间差别很明
显,而同一个群之间的数据尽量相似。与分类不同(见后面的预测型数据挖掘),
在开始聚集之前你不知道要把数据分成几组,也不知道怎么分(依照哪几个变量)。
因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下
一次聚集你得到的分群对你的业务来说可能并不好,这时你需要删除或增加变量
以影响分群的方式,经过几次反复之后才能最终得到一个理想的结果。神经元网
络和K-均值是比较常用的聚集算法。
评判聚集好坏的标准:1,能够适用于大数据量。2,能应付不同的数据类型。
3,能够发现不同类型的聚集。4。使对专业知识的要求降到最低。5,能应付脏数
据。6,对于数据不同的顺序不敏感。7,能应付很多类型的数据。8,模型可解释,
可使用【42】。
4.粗糙集方法与应用
粗糙集理论(rough set)是一种处理模糊和不确定知识的数学工具,最早由
波兰数学家z.pawlak在1982年提出【43】。粗糙集理论具有一些适合于数据分析的
知识的粒度性。粗糙集理论认为知识的粒度性是造成使自己有知识不
能精确的表示某些概念的原因,通过引入不可区分关系作为粗糙集的基础.并在
此基础上定义了上下近似等概念,粗糙集理论能够有效地逼近这些概念。
新型成员关系。和模糊集合需要指定成员隶属度不同,粗糙集的成员
是客观计算的,只和已知数据有关,从而避免了主观因素的影响。
粗糙集理论将知识定义为关于论域的划分,并引入代数学中的等价关系来讨
论知识,使得知识据有了一种清晰的数学意义,并可视用数学方法进行处理:粗
糙集理论无需提供除与问题相关的数据集合外的任何先验信息,适合于发现数据可用性问题分级的几种方法
在通过可用性测试、启发式评估等方法找到了若干的可用性问题后,需要继续对找出来的问题进行分级和归类,才能更好的展示给产品相干人员,才能更利于开展后续的产品改进。
都有哪些可用性问题分类方法?
一、五级Wilson(1990)
5级:无关紧要的错误
4级:问题虽小但却让用户焦躁
3级:中等程度,耗费时间但不会丢失数据
2级:导致数据丢失的严重问题
1级:灾难性错误,导致数据的丢失或者软硬件的损坏
二、又一版五级
0-& 我根本不认为这是一个可用性问题
1-& 这仅仅是一个装饰门面的可用性问题:并不需要特别的处理,除非这个项目有额外的时间
2-& 次要的(Minor)可用性问题:解决这个问题的优先级较低
3-& 主要的(Major)可用性问题:解决这个问题是很重要的,优先级很高
可用性灾难(Catastrophe):解决这个问题是非常必要而且紧急的(Imperative),必须在产品发布之前解决它。
低:会让参加者心烦或沮丧,但不会导致任务失败。
中:与任务的失败有一定关系但不会直接导致任务的失败。
高:直接导致任务失败的问题。
四、二维分级Wilson(1993)
五、决策树()
可用性问题的严重性是以下三个因素综合决定的:
频率(Frequency):这个问题发生的频率如何,它是通常发生的还是很少发生的?
影响(Impact):如果这个问题发生,它对用户带来了什么样的影响。用户克服它是困难还是容易?
持续性(Persistence):这个问题的持续性如何?这是否是一个一次性的问题?也就是说,一个用户一旦理解之后,就会克服它。还是说,这个问题非常难以理解,持续的给用户带来不便(bother,用户心理上感到不便)
六、多维度可用性问题分类法
首先判断可用性问题所属的范围:
0) bug:由于系统问题导致用户使用过程中无法顺利完成任务。
结构设计方面的错误:系统的逻辑结构混乱。用户按照自己的经验无法找到任务的所在;不得不很困难地在多层目录体系里反复寻找。
2) 交互设计方面的错误:系统的操作方式与用户的操作习惯矛盾,致使任务无法顺利完成。
视觉设计方面的错误:系统界面的颜色、形状、大小、位置以及图标等的不当或歧义的设计,造成用户的误解,致使任务无法顺利完成。
4) 语辞定义的错误:由于语辞定义的不准确或生僻,使用户无法正确理解,致使任务无法顺利完成。
5) 质量方面的错误:系统整体设计和实现中的不完善,致使任务无法顺利完成。
其次根据遇到可用性问题的人数多少判断严重程度(若总人数为6人)
1)严重:5位及5位以上参试者出现同样错误
2)稍重:3-4位参试者出现同样的错误
3)一般:1-2位参试者出现同样的错误
该如何选择可用性问题分级方法呢?
之所以存在这么多可用性问题分级方法正是因为没有一种方法是绝对的、适合与所有可用性研究的。因此需要根据产品特性和一些外围限制条件(时间、精力、资金、干系人特点等)来选择响应的方法。
对于一些重要的产品\项目,则需要选择维度较全面的分类方法,如第六种多维度可用性问题分类方法;对于一些时间要求很紧的产品\项目则可以选择分类较少,容易操作的方法,如五级、三级分类方法;对于一些干系人很难说服的,或是用研新手,则可以选择第五种决策树方法。
什么是好的可用性问题分级方法呢?
首先想再次强调没有最好,只有最适合。但在进行可用性问题分级标准制定时有两点很重要:
1)词语准确,便于判别,不管是分级的称呼、还是具体的定义,都尽量不要模能两可;
2)分级全面,能包含发现的全部可用性问题;
因此,除了可以参照以上提供的分类方法,还需要根据实际的产品\项目特点进行改善。
以上网友发言只代表其个人观点,不代表新浪网的观点或立场。君,已阅读到文档的结尾了呢~~
A001&#x2d;2015京东校园招聘试题&#x2d;用户研究&#x2d;卷1
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
A001-2015京东校园招聘试题-用户研究-卷1
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口}

我要回帖

更多关于 可用性测试指标 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信