《用户体验度量》

对 Web 站点的性能或者异常监控,已经很常见,它们都有着明确的指标或者事件。

但性能、异常这些对应到最终的结果还是用户体验。不过我们似乎很难说这个站点的性能到了 xxx 值,它的用户体验就一定是好的。又或者说,性能或者异常,对用户体验的影响有多大呢?对于用户体验,这种相对主观的东西,我们该如何度量呢?

最近读了本《用户体验度量》,有了一点点答案。

Untitled.png

基本概念

什么是用户体验:使用产品或系统时的个人体验。

用户体验度量

  • 主要的特点是可观测、可量化
  • 主要的度量点是有效性、效率以及满意度

用户体验度量的价值

  1. 提供远多于简单观察所能提供的信息。

    1. 使设计和评价过程更为结构化。
    2. 对发现的结果能给予更加深入的洞察和理解。
    3. 给决策者也提供了重要的信息。
  2. 用于确定发现的众多可用性问题中的大小和严重程度。

  3. 可以说明设计者是否真正提高了从这个产品到下一个产品的用户体验。

  4. 是计算投资回报(ROI)的一个重要组成部分。

    例如:减少了75%的数据输入错误,降低完成客户服务任务所需要的时间,增加每天处理的交易量,使未完成的客户订单数量减少,缩短客户货运时间上的延迟,提升客户满意度和增加订单,从而从整体上给企业带来收入上的增加。

  5. 有助于揭示一些很难或者甚至不可能看出来的问题。(借助更大的度量)

    例如:有时很难察觉出一些小的低效操作,比如某个交易,无论何时呈现在一个新的屏幕时,都需要再次输入用户数据,用户可以完成他们的操作,或许甚至还会说他们喜欢这种方式,但是一堆小的低效事例汇集起来,最终会影响用户的体验及拖慢进程,用户体验度量有助于设计者获得新的洞察,并更好的理解用户行为。

规划一个可用性研究

  1. 形成式可用性。目标是在产品发布之前对设计进行改建,其发现或分析问题提出修改建议,然后待完成修改后再次评估。
  2. 总结式可用性。目标是评估一个产品或者一项功能,与其目标结合的有多好。

测量用户体验的两个主要方面:绩效和满意度。

  1. 绩效测量用户能成功完成一个任务或完成一系列任务的程度。(尤其适合那些用户无法选择其使用方式的产品)
    1. 完成每个任务的时间
    2. 完成每个任务所付出的努力
    3. 所犯错误的次数
    4. 成为熟练用户所需的时间
  2. 满意度与用户接触和使用某产品时所说和所想的一切有关。(对那些用户有很多使用选择的产品来说是非常重要的)

绩效和满意度并非总是紧密相关的,因此两个都需要进行考虑。

选择正确的度量:十种可用性研究

  1. 完成一个任务

    旨在使业务进行的尽可能顺畅。一次业务通常有清晰界定的开始和结束状态。

    1. 任务成功率。
    2. 完成任务的参与者百分比。
    3. 源于某个业务的流失率。
  2. (运用度量)比较产品(与竞品或上一版产品):

    1. 关注任务成功率相关的测量。
    2. 关注效率。(完成任务的时间、页面浏览的数量、进行操作的步骤数)
    3. 关于满意度的自我报告式度量。
    4. 组合与比较式的度量。
  3. 评估同一种产品的使用效率。(通常是会被频繁地使用的产品)

    1. 任务时间。
    2. 完成步骤数。
    3. 页面浏览量。
    4. 易学性。(达到最高效率需要多少时间或付出多少努力)
    5. 自我报告式的度量。(知晓度、有用性)
  4. 评估导航和/或信息架构。如何确保:

    1. 用户可以快速和轻易的找到他们需要的内容。
    2. 轻松的在产品模块间进行切换。
    3. 知道他们当前在整个菜单结构中的哪个部分。
    4. 清楚有哪些可选项。

    卡片分类:让参与者将信息条目放入已定义好的类别中。

  5. 提高知晓度

    为了增加用户对某些内容或功能的知晓度。(在线广告)(功能重要但使用率很低的产品)

    1. 检测用户与产品中我们所关注的元素发生交互的次数。
    2. 自我报告式记忆度量。(是否主要到了某个元素)
  6. 问题发现。确定主要的可用性问题。

  7. 使应急产品的可用性最大化。

  8. 创造整体的正向用户体验。(努力创造超凡用户体验的产品)

    绩效度量有用但不足够。

    真正重要的是用户如何认为、如何感知、如何描述他/她的体验。(自我报告式的度量)

    满意度、用户期望(更好一些)。净推荐值。

  9. 评估微小改动的影响。

    只要有足够多的用户,微小的改动对更大的群体用户来说也能有巨大的参考价值。

    A/B 测试。

  10. 比较替代性的设计方案。(比较多种设计方案)

绩效度量

使用产品的人都毫无例外地要与相应的界面产生交互,以完成目标。

每种类型的用户行为都是能够以某种方式进行测量的。

绩效度量不仅仅依赖用户行为,还依赖于场景或任务的使用。

绩效度量通常可以告诉我们什么出了问题,而不是为什么出了问题。

五种基本的绩效度量类型:

  1. 任务成功。二分式成功,成功等级。任务失败。

    参与者被要求操作的每一个任务,都必须要有一个清晰的结束状态或目标

    二分式成功:要么完成了任务,要么没有完成。

    除了测量一个长流程的任务,也可以测一个具体细节的任务点是否完成。

    成功等级:适合成功的数据存在一些合理的灰度地带。

  2. 任务时间。测量的是需要多少时间才能完成任务。

  3. 错误。任务过程中所出现的过失。

  4. 效率。通过测量用户完成任务所付出的努力程度而被评估。(点击次数等)

    1. 确定有待测量的操作动作
    2. 定义操作动作的开始和结束
    3. 计算操作动作的数目
    4. 确定的动作必须有意义

    迷失度的计算方式:

    1000009474.jpg

    1000009473.jpg

  5. 易学性。测量绩效随时间提高或未能提高的方法。

    需要间隔时间的进行测量。最后看曲线的拐点在哪里。

    1000009477.jpg

基于问题的度量

一般认为,可用性问题纯粹是定性的。典型的可用性问题会描述一个或多个参与者所遇到的问题,并评估背后的可能原因。多数用户体验从业人员还会对如何解决这些问题提供有针对性的建议,很多人也会报告正面的发现(比如表现的格外出彩的地方)。

什么是可用性问题

基于用户使用产品过程中的行为。关键点是如何解决这些问题。

要搞清楚用户在操作任务的过程中表现出的行为、思考过程、感觉或者决策是否符合逻辑。如果答案是肯定的,那么即便只有一个参与者遇到了这种情况,也可能是一个可用性问题。

观察避免预设,开放心态。

严重性评估

  • 基于用户体验。低、中、高
  • 综合多种因素。
    • 问题对用户体验的影响。
    • 相关任务的使用频率。
    • 对商业目标的影响。

自我报告度量

最显而易见的方法就是询问参与者,让参与者告诉研究者,他们使用产品时的体验。

如何询问很重要。

用户的主观反应可以是他们未来再次返回的最好预测指标。

合并和比较度量

可用性数据就像搭积木,每块可用性数据都能用于创建新的度量。

可以对研究中所收集的各种度量有一个便于理解的分数或是总结。(方便地展示给高层的管理者)

方法:

  1. 将一个以上的度量合并为单一的可用性测量指标。
  2. 将现有的可用性数据与专家或理想的结果进行比较。

单一可用性分数

在许多可用性测试中,收集到的度量不止一个。多余情况下,研究者并不关心每个单独度量的结果,而比较关心所有这些度量反映出来的产品可用性的总体情况

难点是要解决如何恰当的把具有不同度量单位的分数进行合并。

  1. 根据预定目标合并度量。
  2. 根据百分比合并度量。
  3. 根据 z 分数合并数据。
  4. 使用单一可用性度量(SUM)。

实时动态网站数据

  1. 点击率

  2. 弃用率

    最适用于观察用户是不是在有一系列网页构成的操作流程中,中途退出或放弃。

  3. A/B 研究

投资回报率数据

计算一个产品系统或网站在可用性方面的改进所带来的财务收益。

  1. 销售量的增加
  2. 生产率的提高
  3. 支撑成本的下降

十个关键点

  1. 让数据变得有趣且形象一些。

    1. 建议读者邀请能起到决定作用的决策者到实验室观察,尽可能多的可用性测试单元。
    2. 善用短小的视频片段。
    3. 看几个关键的体验指标。仅任务成功完成情况,效率和满意度这几个指标就能起到很好的作用。最理想的是,将这些指标与投资回报率关联起来。
  2. 主动去度量。

    1. 是推荐从小的容易控制的事情着手,首次使用度量方法就能成功是至关重要的。
    2. 第二阶段可以包括一些效率方面的度量,比如完成时间和迷失度。
    3. 最后可以着手把多个度量整合成一个总体性的用户体验度量。
  3. 度量比想象的便宜

  4. 早计划

    在收集任何度量之前做计划,如果着手一项用户体验研究,而不知道自己想收集哪些度量,以及为什么要收集这些度量,可以肯定,这项工作基本上将不会有所成效。

  5. 给产品确定基线

    用户体验度量是相对的,没有绝对的标准来判断什么是好的用户体验和差的用户体验。

    因此,给产品确定用户体验基线是必要的。

  6. 挖掘数据

    挖掘数据是研究者可以做的最有价值的事情之一。

  7. 讲商业语言

    通常聚焦在如何降低成本及/或提高收益这个中心上。

  8. 呈现置信程度

    有助于做出明智的决策和提高可信度。

  9. 不要误用度量

    在不需要度量的地方使用了度量,一次呈现了太多的数据,一次测量的太多或者过于依赖某个度量。

  10. 简化报告

    首先最重要的是你的目标需要符合汇报对象的目标。

    有效呈现:

    1. 合理的确定阶段?
    2. 不要对细节进行冗长的叙述,但是要有这些。
    3. 把正面发现放在前面。
    4. 使用截屏。
    5. 使用短的视频片段。
    6. 报告总结性的度量。

    不同的报告对象关注的东西不同:

    1. 项目团队
    2. 商业资助者或者产品团队
    3. 高层管理者

    许多问题对用户体验并没有本质上的影响,因此建议只考虑呈现前五个或前十个主要的问题,而将小问题留到私下讨论。