#文章分享 A/B Test 不只是玩玩工具,這些東西行銷人也要知道!(#1問題與指標)


『一個專案、一個實驗的開始』通常都是這樣的,可能某天老闆發現了某項公司相當在意的指標突然像是失速的火車一樣一路向下跑,於是要你主管想辦法還同時發表了他的『意見』,接著整個 Team 就被召集到了會議室討論解決方法,接著各種『天馬行空』的假設像你的煩惱一樣不斷冒出來,這時如果你身為專案負責人,你該選擇哪個假設呢?

可能你老闆會堅持要你用 A 方法、或是最後你主管說用投票表決、也可能最後你相信你的直覺,最後帶著『不安』以及『恐懼』的心情開始了這場戰役。

如果你常常遇到以上情境,那麼以下方法會讓你更有『信心』去面對這場戰役!

 

本文會簡單講解一些觀念並帶到幾些案例,更多案例請看原文文末

開始專案前,5個基本原則

本系列文章會根據這五個原則作講解,本文我們先從原則一開始!

 
  1. 教戰守則一:理解問題、定義目標。
  2. 教戰守則二:查看數據、訂立假設。
  3. 教戰守則三:尋找『數據好朋友』,篩選假設。
  4. 教戰守則四:打造測試、收斂測試。
  5. 教戰守則五:分析結果,打完收工 or 重整兵馬再來一次。

教戰守則一,理解問題、定義目標

『全面性與局部性的思考問題的原因,有助於釐清當時的情境並訂立有意義的目標,可以使實驗的結果更可能有實質上的幫助』

這句話就是篇文章的所想要討論的你可能會納悶怎樣叫做全面性、怎樣叫做局部性?什麼要叫做有意義的目標?接下來會一一帶你看到:

本文重點

  1. 遇到的問題有多大?
  2. 目標該怎麼訂?
  3. 指標怎麼選?

________________________________________________________________

Step 1. 遇到的問題有多大?

#問題- 局部性的問題?還是全面性的影響?

在這裡你可以簡單把『全面性』、『局部性』『影響的範圍』來區分,而有意義的目標則是在釐清問題後,清點手頭上的資源後,確認有可能被執行的『方案』,打個比方來說,假設近期營收下跌,你可能會想到以下幾個原因:

  1. 可能是季節性造成的結果,流量較少。
  2. 可能是上次的改版讓付款流程變得太複雜,導致轉換率下降。
  3. 可能是近期的熱銷商品的圖片畫質太差、照片太醜,商品的頁面瀏覽次數下降而導致轉換率下降。

就上面的幾個原因來說,看似1, 2 兩者是屬於全面性、而3相較於前面兩著則可能是處於局部性的問題,但實際上則是要依照『影響使用者的比例』來做為判斷,但既使是1.2主因,也可能因為手頭上的資源不足、或是執行的時間太長,導致目標無法執行或是不易檢測、或是為了衝刺指標而對導致使用者體驗不佳、或是犧牲更多無法被量化的指標,所以在定義目標時,建議先思考以下兩點:

a. 你想把時間、精力花在哪裡,多久會創造影響力?

b. 你認為這對使用者的體驗是好的嗎?

所以你會發現在定義目標的同時,你可能也已經定義了指標,後面會提到關於指標的定義與方法。

________________________________________________________________

Step 2. 目標的訂定

#目標與指標

誠如前面所說,在定義目標的同時你就會同時決定了『關鍵指標』,一個好的關鍵指標有『質化』與『量化』的分別,如『感受』就是一種質化的指標,而『轉換率、訂單數』則是一種量化的表示。

但有時量化的分析並不能完全解釋你所看到的現象,

舉以下例子來說:

#放棄的情境

如果今天你發現有一定比例 User 會到你的網站搜尋特定的商品,然後就離開了,所以你定義了一個目標叫做『減少 User 進站後的不做任何事就跳離頁面的比率(Bounce Rate)』,而在觀測這個指標時,我們可以得到兩個解釋:

  1. User 有想要找到她想要的東西,還想多看看、多考慮。
  2. User 沒有找到他想要的東西,網站沒有滿足他的需求。

是價錢上的問題是他離開,還是網站體驗上的問題?這時你可以選擇透過各式各樣的實驗來找尋答案,但光是用這個指標其實並不能找到根本的原因。

有時有些情境會使得我們不容易從『指標』上找到問題的原因,所以這時你可以結合使用『訪談、問卷』等等質性的分析方式,搭配你的數據來找尋可能的解釋,而有時質性的分析,也是減少實驗成本的好做法。

 

________________________________________________________________

 

因為怕太長大家看不完...
所以這邊提供原文連結給真正對 A/B testing 有興趣的人~~
原文在這邊👉https://medium.com/codeformarketing-8D%E9%96%8B%E5%A7%8Ba-b-test-%E5%89%8D-3b1af1cd9b3a
文章最後還有關於【Step3. 指標的選擇】的分享!
分享給大家~

 

 

本文章發表於:觀點放送

加入329

鼓勵作者

目前持有 Blink Coin: Loading..

選擇禮物


愛心

(Coin 10)

幫高調

(Coin 20)

咖啡

(Coin 30)

掌聲鼓勵

(Coin 40)

崇拜眼神

(Coin 50)

驚呆了

(Coin 60)

神人4ni

(Coin 70)

花束

(Coin 100)

鑽石

(Coin 300)

紅寶石

(Coin 500)

藍寶石

(Coin 1000)

黃寶石

(Coin 3000)


送出鼓勵



發表匿名文章不會出現你的大頭圖與名稱,你可暢所欲言,但文章內容務必遵守「佈告欄使用規範」!


回應

送出回應


想回應這篇文章嗎?也想發表文章嗎?
馬上登入來發表文章、追蹤作者、收藏文章或回應文章吧!

註冊 登入