資訊
首頁 > 資訊> 最新資訊> 文章詳情

超級推薦拆分對比實驗(Abtest)功能詳解

分類:電商 | 作者:網絡轉載 | 2020-02-29 4102人閱讀

摘要
拆分對比實驗,是幫忙商家進行計劃推廣對比優化的投放工具,系統為實驗計劃建立公平的A/B環境,避免自身競爭,得到有效實驗結論。通過該工具,客戶可以在測試新素材、變更定向人群,等情況下了解到不同的投放策略下廣告的真實表現,從而依據實驗結論進行后續的投放優化

超級推薦拆分對比實驗(Abtest)功能詳解

在營銷推廣過程中,如何更好的優化推薦效果,是個永恒不變的話題。為了更好的優化投放效果,店鋪在投放過程中,會有在創意,人群,上做非常多的嘗試,以求找到最優的解決方案。

但我們也發現,目前的各類測試因為受到時間,競爭環境,流量分配等各種因素影響,我們所測試的結果可能并不是完全置信的。因此超級推薦上線了拆分對比實驗的(Abtest)的產品能力,一方面幫助店鋪快速創建對比測試計劃,另一方面提供最優的測試環境,確保實驗結果準確無誤。



一、認識拆分對比實驗

1、什么是拆分對比實驗

拆分對比實驗,是幫忙商家進行計劃推廣對比優化的投放工具,系統為實驗計劃建立公平的A/B環境,避免自身競爭,得到有效實驗結論。通過該工具,客戶可以在測試新素材、變更定向人群,等情況下了解到不同的投放策略下廣告的真實表現,從而依據實驗結論進行后續的投放優化

2.拆分對比實驗有哪些優勢特點?

通過拆分對比實驗,客戶可以高效的進行實驗并得到真實準確的實驗結論,優勢在于:

· 環境公平:對于客戶創建的實驗計劃,系統會避免同一實驗組內實驗計劃的內部競爭,保證效果數據可比,得到無偏的實驗結論;備注:客戶自己的“實驗計劃 與 普通計劃 以及 不同實驗組下的實驗計劃”,仍存在競爭

·操作高效:通過一次創建,最多同時驗證4種投放策略,無需分別創建計劃,節省時間,提高操作效率

· 結論引導:實驗計劃的對比,數據表現有差異時作飄紅處理,方便客戶多維度對比實驗效果;隨著實驗推進,客戶可根據“實驗完成度”了解目前的實驗計劃數據是否充分,借助“全量推薦”的系統判定,輔助結果解讀并判斷是否進行全量操作


3.拆分對比實驗的原理是什么?

客戶創建的實驗計劃,系統會為其開辟公平的對比環境,支持同等時間下對比多個不同的營銷策略

· 流量層面:實驗組下的每個實驗計劃,只能獲得自身的1/n流量(n=實驗計劃個數)。例如:創建的實驗組中有2條實驗計劃,則每個實驗計劃可以獲得自身50%的流量

· 競爭隔離:相同實驗組下的實驗計劃間會做流量隔離,確保實驗計劃處于相同的競爭環境,得到真實且準確的實驗結果。備注:競爭隔離僅作用于相同實驗組下的實驗計劃,與不同實驗組下的實驗計劃、常規計劃之間仍然具有競爭關系


二、操作流程簡介


1、新建拆分對比實驗

a.登錄超級推薦后臺,點擊“工具”即可找到拆分對比實驗的入口,點擊“拆分對比實驗”進行實驗計劃的新建

b.進入實驗配置頁面,可以選擇【創意】【定向人群】這兩個維度的對比實驗計劃

·創意:寶貝的多套素材(推廣標題、創意圖片),測試哪組創意策略下,優化目標的效果最優

·定向人群:黑盒標簽(智能定向)、白盒標簽(購買意圖/達摩盤等)、標簽組合測試均可支持,驗證哪種定向人群策略效果更好


image.png

我們以人群對比實驗為列,確定實驗形式后,選擇新建實。

2.實驗計劃信息配置

a.選擇實驗優化目標:您最終想要對比的實驗計劃數據相對數據結果維度選擇。

b.實驗計劃個數:默認最少2個,最大4個。核心為幾個實驗計劃之間對比。(在此需注意草稿計劃數量,如草稿計劃已滿需先刪除后再創建)

c.計劃名稱:可自由編輯。

d.投放日期:對比的時間周期,因計劃需要冷啟動以及數據積累,投放時間過短可能導致數據不準確。因此建議投放時間1-2周

e.計劃日預算:每個實驗計劃的日預算金額。建議設置充足預算,實驗效果更置信

image.png

點擊下一步在進行基礎的計劃信息配置。此處計劃信息配置同常規計劃一致,但會在所有實驗計劃中統一生效。


3.寶貝選擇及定向人群變量

a.選擇推廣的寶貝.為確保得到有效結論,單次最多添加1個寶貝


b.人群定向變量選擇

此時系統將根據您之前選擇的實驗計劃數量,生成對應數量的變量選擇,您可以對計劃選擇對應的不同人群,從而以對比定向人群效果。

比如:我需要對比拉新人群里我自己的DMP人群與系統推薦的相似店鋪人群,相似寶貝人群,購物意圖等的效果差異。我就可以設置

計劃1——選擇拉新定向的相似店鋪人群,相似寶貝人群。

計劃2——選擇拉新定向的關鍵詞購物意圖人群


4.設置出價資源位溢價創意

在選擇完核心的實驗變量人群后,剩余的出價,資源位溢價以及創意的設置,就與平常計劃操作完全一致。系統會將出價,資源位溢價以及創意共同在所有實驗計劃生效。

自此,一個實驗組就創建完成了。

5.創意變量實驗


創意同以上方式類型,核心在于變量變為創意,需要根據不同計劃設置不同的創意。

三、數據表現及如何轉正

實驗創建完成后,可以在“工具”→“拆分對比實驗”中進行查看,具體如下:

在此可以看到您正在實驗的所有實驗組。實驗過程中,您可選擇關注的指標進行直觀便捷的對比。也可以參考系統引導,輔助對實驗結果進行解讀,系統引導包括“實驗完成度”及“全量推薦”兩項指標

· 實驗完成度:根據實驗數據累積的充分性,系統會提供“實驗完成度”的指標,分值為0分到5分

*0分:實驗處于“第一天冷啟動/等待開始/實驗結束/實驗已全量”狀態

*1分-5分:實驗數據累積越充分,代表實驗對比結論越置信,此時實驗完成度越高,反之則越低

*建議:當實驗完成度較高時(3分及以上),說明實驗數據較充分且優化目標差異顯著,此時建議進行全量操作。實驗完成度較低時(2分及以下),建議繼續實驗,待實驗完成度提升后再進行全量,一般需要5-7天

當實驗結果基本穩定后,可選擇實驗轉為全量,選擇結束效果較差的,留下滿意的,點擊全量后即可將計劃轉變為常規計劃進行投放了。



三、FAQ

Q、拆分對比實驗支持修改嗎?

A:可以修改。

· 常規計劃的橫向管理下,僅支持觀察實驗計劃,不可編輯

·工具-拆分對比實驗的橫向管理下,對已創建的單變量實驗計劃,支持“創意”、“出價”編輯

*暫不支持“定向人群”的編輯:進展中的實驗,頻繁調整“定向人群”,會使得實驗結果復雜度上升,難以得到有效結論,建議“定向人群”的調整,創建新的實驗計劃


Q、哪些情況建議對拆分對比實驗進行修改?

A:創意:

·審核拒絕,實驗無法進行

· 地域/時段/定向人群策略不變,更換其他創意素材

出價:

· 設置不合理 or 市場競爭環境發生變化,導致實驗計劃獲得流量偏低

備注:

*對非實驗變量,”創意、出價”進行修改時,為確保實驗結果有效性,所有實驗計劃需統一編輯修改
*為控制投放風險,可隨時結束實驗組或實驗計劃
*創意實驗過程中,若更換了新素材,實驗數據的對比需要注意日期的選擇,建議以更換素材的日期為開始時間,確保實驗計劃對比的公正與準確


Q、拆分對比實驗支持復制嗎?

A:待啟動以及在進行的實驗,為確保實驗對比周期的一致性,暫不可復制

手動結束或自動結束的實驗計劃,將變為常規計劃,支持復制,操作方式與常規計劃一致


Q、拆分對比實驗的全量指的是什么?

A:實驗過程中,每條實驗計劃只能獲得自身1/n的流量(n=實驗計劃個數),當客戶已經得到了實驗結論時,即可選擇將實驗全量,實驗中的計劃會由1/n的流量變為100%的流量。同時,全量也意味競爭隔離失效,全量的實驗計劃與常規計劃一致,存在相互競爭



免責聲明:口號幫所轉載內容均來自于網絡,不為其真實性負責,只為傳播網絡信息為目的,不代表本網贊同其觀點或對其真實性負責。除第三方擁有的版權外,一切版權屬于原作者所有。如有疑問請與我們聯系。
雷竞技电竞