:
表 1-4 问题问法修改前后对比
修改前 修改后 修改原因 公司做可用性测试中,基本一直使用"有效、效率、满意度"这三条测试标准。 可用性测试使用"有效、效率、满意度"这三条测试标准。 原问题太长,增加被调查人的负担。 部门内很少组织进行用户研究和可用性测试的理论方法研究。 部门内很少组织可用性的理论方法研究。 原问题太长,增加被调查人的负担。 有时候客户会找几家公司同时做一个项目的用户研究,每份调查报告都只作为参考。 有时候客户会找好几家公司同时帮他们做同一个项目的用户研究。 原问题实际问了两个问题。 以前做过的同类项目的数据,在另外一个项目中,我会查询翻看。 以前做过的同类项目数据,在另外一个项目中会查询翻看。 原问题拗口、不通顺。 从事用户研究和可用性测试的人不必和程序员有交涉。 从事用户研究和可用性测试的人很少和程序员有交涉。 原问题有个人态度倾向性。 在调查之前我们可能已经想好了结果。我认为很难避免这种主观倾向的干扰。 在调查之前可能已经想好了结果。
原问题实际问了两个问题。 我认为调查中我设计的访谈提纲和问卷的品质很高。 访谈提纲和问卷问题的品质很高。 原问题有个人态度倾向性。这里希望了解整体水准。 上级或者客户不懂用户体验,但是喜欢乱提要求。 上级或者客户不懂用户体验,但是喜欢乱提要求,我们常觉得很为难。 原问题实际问了两个问题。最后变成了主观描述。 我们有力的证据支持是:用户说...而不是数据分析。 我们有力的证据支持是:用户说... 原问题实际问了两个问题。
1.2.4 分析效度
分析效度(Analysis validity)包含认知效度和分类效度。认知效度指对调查方法和试验方法的认识程度,你对调查数据的理解程度和分析概括程度。分类效度指从调查数据进行分类的有效程度[1]。本文就从这两个方面来分析调查的分析效度。
首先,对认知效度的分析。对本次调查方法的分析有哪些?本调查的分析方法是对比分析,对比了中国企业与外国企业在用户调查与可用性测试过程中的差距。其次,对于分类效度,为了更客观的衡量用户体验部门的部门协作力,还把被调查者分为了行内人员与行外人员。
1.3 信度分析
信度(reliability)是指使用相同研究技术重复测量同一个对象时得到相同研究结果的可能性[10]。内部一致性(internal consistency),与一个量表中的题项的同质性有关。内部一致通常等价于克若恩巴齐(Cronbach,1951)的阿尔法系数,α(Scale Development)。
在试调查和调查过程中,本文在以下几个步骤中进行了信度分析:
1.3.1 通过试调查信度分析来修改问卷
对于30份试调查问卷数据,先进行聚类分析,剔除掉和所有问项相关度都很低的问题,然后进行内部一致性检验,用Cronbach α系数检验重新聚类后的各类的内部一致性。再逐条删减问题,发现假若删减一道问题,Cronbach α系数升高,则应从类里剔除这个问题。如果这道问题放在别的类里会升高Cronbach α系数的值,则可以考虑将它归到别的类里。
聚类结果发现,聚成8类时,第四类和第七类都只包含一个问题,并且这个问题放在哪个类里都会降低其Cronbach α系数值,说明它和所有问项相关度都很低。应该予以删除。本次聚类使用SPSS16.0中Analyze菜单下的Heirarchical cluster功能,选用华生法(ward's method),聚类树状图如所示:
图 1-1 聚类树状图
通过计算Cronbach α系数删减问题的结果如表 1-5所示,删减或转移问题的原因如表 1-6所示:
表 1-5 内部一致性检验过程
类和α值 序号 问题 处理 之后α值 第一类
0.749 Q1 公司做可用性测试时,基本一直使用"有效