點(diǎn)擊 ▲ 三分設(shè) 關(guān)注，和 10 萬設(shè)計(jì)師一起成長

三分設(shè) x 58UXD

正文共：2964 字 19 圖預(yù)計(jì)閱讀時(shí)間：10 分鐘

秉承58同城“用戶第一”的核心價(jià)值觀，設(shè)計(jì)團(tuán)隊(duì)建立以基礎(chǔ)體驗(yàn)指標(biāo)為評估標(biāo)準(zhǔn)、發(fā)掘體驗(yàn)問題的評估機(jī)制，并借助內(nèi)外部業(yè)務(wù)專家視角，對58同城各產(chǎn)品的重點(diǎn)場景進(jìn)行評估，優(yōu)化業(yè)務(wù)場景，從而提升各業(yè)務(wù)線的體驗(yàn)，而這一套評測機(jī)制就是QMD。

在上一篇《設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南（指標(biāo)篇)》中提到，目前QMD存在的兩個(gè)難點(diǎn)，分別是：問題難推動落地、評估結(jié)論信服度低。針對目前難點(diǎn)，今年我們項(xiàng)目組對測評體系再次升級，推出了全新的QMD3.0。

我們將通過干貨滿滿的三篇連載文章，分別從【指標(biāo)模型】【評估機(jī)制】【組織實(shí)踐】來全方位的分享體驗(yàn)評估機(jī)制的升級經(jīng)驗(yàn)，歡迎大家的持續(xù)關(guān)注和探討。本篇為大家介紹：圍繞提高QMD主觀評價(jià)的可信度，通過信度檢驗(yàn)，管控測評流程，建立人人可信賴的測評機(jī)制。

01 信服度低的原因

想要建立人人可信賴的測評機(jī)制，需要我們解決目前“結(jié)論信服低”這一難點(diǎn)。

在討論結(jié)論信服度的問題，我們需要知道QMD到底屬于什么類型的測評；按照測評變量的不同，我們可以講測評分類兩大類，主觀性測量和客觀性測量；舉個(gè)例子，主觀性測量類似簡答、論述題，客觀性測量類似單選、判斷題；而QMD是邀請專家對特定業(yè)務(wù)場景，根據(jù)特定指標(biāo)進(jìn)行量化評估，其評分會因?yàn)槠湓u分專家的主觀判斷影響，因此我們的QMD就是屬于主觀性測量。

這就導(dǎo)致在評分過程中，因?yàn)樵u分者的知識結(jié)構(gòu)（也就是對世界的認(rèn)知、經(jīng)驗(yàn)等）、判斷水平（也就是對評分標(biāo)準(zhǔn)的認(rèn)知和理解）、個(gè)人偏好（對設(shè)計(jì)風(fēng)格、操作習(xí)慣偏好等）的不同，使評分者的評分存在差異。

因此亟需通過某種技術(shù)手段，去控制測量誤差，提高主觀變量測量的精確性，而這一技術(shù)手段就是下文將要提到的評分者信度。

02 檢驗(yàn)信服度的手段

● 什么是信度

在了解評分者信度之前，我們需要知道什么是信度。信度是指測量結(jié)果的一致性程度，亦稱可靠性程度，它衡量的指標(biāo)是：對同一對象測量得到的結(jié)果是否一致。舉個(gè)例子，當(dāng)你拿桿秤去測量10斤的西瓜，過一個(gè)月之后，再去測量一個(gè)10斤的西瓜，它還是10斤，說明這個(gè)秤就是可信的，這就是信度；而這個(gè)西瓜是10斤，測量出來也是10斤，說明這個(gè)秤是有效的，這就是效度。

● 什么是評分者信度

而評分者信度就是信度的一部分，其實(shí)評分者信度是若干個(gè)評分者對同一組測試結(jié)果評分的一致性程度，他關(guān)注的是不同組間評分者之間的共同差異的分析指標(biāo)，也就是說側(cè)重處理評分者組間差異的一般趨勢，主要目的是為了測量不同評分者對同一樣本是否給出同一正確的分?jǐn)?shù)指標(biāo)，因此為檢驗(yàn)QMD中各專家評分是否一致，選擇了評分者信度作為分?jǐn)?shù)的檢驗(yàn)指標(biāo)。

測量評分者信度的統(tǒng)計(jì)指標(biāo)及方法很多，那我們需要如何選擇適合QMD的統(tǒng)計(jì)指標(biāo)呢？在根據(jù)QMD不同的測量特點(diǎn)、數(shù)據(jù)類型、評分人數(shù)等，我們QMD選擇的測量方式是組間相關(guān)系數(shù)（ICC），也就是通過方差分析來計(jì)算總體變異多大程度上屬于總體的特征。

● 如何分析評分者信度

選定測量方法后，具體怎么執(zhí)行呢？就是萬能的SPSS軟件，按照：Analyze—Scale— Reliability Analysis 步驟得來，根據(jù)分析結(jié)果可以得知，本次分析的評分者評分信度是否一致，舉個(gè)例子，在針對某個(gè)業(yè)務(wù)線進(jìn)行QMD評估，對6位專家的評分進(jìn)行評分者信度分析，結(jié)果表明，ICC=0.9704>0.75，p<0.05,說明評分者的一致性是可信的。可見不同評分者在評價(jià)產(chǎn)品，在各項(xiàng)指標(biāo)上評分是比較一致的，其評分者信度是比較高的。具體分析過程如下：

03 提高信服度的方法

● 測評流程可靠

但是在整個(gè)過程項(xiàng)目執(zhí)行過程中，我們僅僅只做信度檢驗(yàn)就足夠了嗎？其實(shí)不是的，分?jǐn)?shù)只是一個(gè)判斷的依據(jù)，或者說是過程的抓手，我們除了關(guān)注分?jǐn)?shù)本身以外，更需要關(guān)注，到底是哪些因素導(dǎo)致我們分?jǐn)?shù)產(chǎn)生隨機(jī)誤差，進(jìn)而在源頭上提高我們的分?jǐn)?shù)的信服度。

那影響評分者信度的因素有哪些呢？總結(jié)有以下三部分：測評工具性能、評分者篩選和實(shí)施方案的標(biāo)準(zhǔn)化流程。

在了解到這些影響因素后，在整體執(zhí)行過程中，才能針對性的進(jìn)行執(zhí)行、管控，才能最終提高結(jié)論的信服度，具體執(zhí)行過程如下圖所示：

針對測評工具性能，在整個(gè)指標(biāo)制定和選取過程中，項(xiàng)目組均進(jìn)行科學(xué)嚴(yán)謹(jǐn)?shù)耐评恚唧w推理過程大家可回顧上期文章《設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南（指標(biāo)篇)》，為大家展示了整體測評指標(biāo)的科學(xué)合理性，此外在測評工具中不僅講究科學(xué)合理，還要求工具使用者體驗(yàn)良好，對其指標(biāo)進(jìn)行解釋說明、重點(diǎn)的標(biāo)記等；

第二大模塊則是評分者篩選中，主要分為3部分：專家人選篩選、專家認(rèn)知對齊、內(nèi)在標(biāo)準(zhǔn)穩(wěn)定。也就是說通過一定的要求、人員配置等進(jìn)行評分者篩選，通過提前的培訓(xùn)對齊評分者認(rèn)知、以及選擇心理和生理健康良好的評分者進(jìn)行打分；

在第三大模塊則是保證實(shí)測方案的標(biāo)準(zhǔn)化，也就是在實(shí)測流程、會場環(huán)境的制定和布置過程中，按照標(biāo)準(zhǔn)化、模塊化進(jìn)行執(zhí)行。

● 感知效果可靠

當(dāng)然，大家以為僅僅做了哪些流程管控就結(jié)束了嗎？我們想要分?jǐn)?shù)信服度高，也就是可靠性高，不僅需要流程可靠，更需要讓使用者對結(jié)果感知可靠？

1.什么是可靠性

其實(shí)可靠性是指一個(gè)人通過對一個(gè)產(chǎn)品的可感知效果與他期望值相比較后，所形成的可靠或不可靠的感覺狀態(tài)，簡單的數(shù)據(jù)表示就是用戶感知效果-內(nèi)心期望，圖片表示更清晰，但感知效果契合且高于內(nèi)心期望時(shí)，人們便產(chǎn)生了可靠的感覺狀態(tài)，低于則相反，我們難以控制其內(nèi)心期望，因此將在感知效果上下功夫。

2.如何讓可靠更易被感知

從四個(gè)環(huán)節(jié)入手，最開始明確業(yè)務(wù)預(yù)期、中間的利益相關(guān)人全程參與、結(jié)尾的結(jié)果復(fù)議，和最后的驗(yàn)證落地效果，采用各類方法，讓大家從整體環(huán)節(jié)去感知可靠性。

明確業(yè)務(wù)預(yù)期

在最開始的明確業(yè)務(wù)預(yù)期中，除了從業(yè)務(wù)視角去制定與業(yè)務(wù)契合的測評體系外，更是邀請利益相關(guān)人共同制定指標(biāo)細(xì)則，從理論的基礎(chǔ)上讓大家感知更可靠。

過程全員參與

在過程中，以前僅邀請?jiān)O(shè)計(jì)師參評，現(xiàn)在不僅邀請?jiān)O(shè)計(jì)師，更是邀請產(chǎn)品一起參評，從流程上讓大家感知更可靠。

結(jié)果復(fù)議防錯(cuò)

第三點(diǎn)結(jié)果復(fù)議，也是本次升級后QMD的一大亮點(diǎn)，我們建立的防錯(cuò)機(jī)制，以前結(jié)果出來便出來，業(yè)務(wù)方僅能看，沒有可反饋渠道，因此本次建立的防錯(cuò)機(jī)制則是建立業(yè)務(wù)方對結(jié)果復(fù)議的渠道，從機(jī)制上讓大家感知更可靠。

驗(yàn)證落地效果

第四驗(yàn)證落地效果，不僅關(guān)注跟進(jìn)問題改進(jìn)進(jìn)度，更是關(guān)注跟進(jìn)QMD結(jié)論落地后為業(yè)務(wù)目標(biāo)帶來的提升，從效果上讓大家感知更可靠。

04 小結(jié)

在這次升級過程中，其實(shí)想表達(dá)的是，分?jǐn)?shù)本身不重要，如何通過分?jǐn)?shù)去管控過程，才是其真正的價(jià)值所在。因此，在本次升級過程中，結(jié)合使用評分者信度、流程管理和機(jī)制升級，從而從實(shí)際效果和用戶感知上全面提高可靠性。

- END -

我們相信設(shè)計(jì)師和創(chuàng)造者一樣是思想家