Awan Kecerdasan Optimizely: Kumaha Nganggo Stats Engine Pikeun A / B Test Smarter, Sareng Langkung gancang

Optimisasi Stats Engine sareng Stratégi Pangujian A / B

Upami anjeun milarian ngajalankeun program ékspérimén pikeun ngabantosan tés bisnis anjeun & diajar, aya kamungkinan anu anjeun anggo Awan Kecerdasan Optimizely - atanapi anjeun sahenteuna parantos ningali éta. Optimis mangrupikeun salah sahiji alat anu paling kuat di buruan, tapi sapertos alat naon waé, anjeun panginten tiasa nganggo salah upami anjeun henteu ngartos kumaha jalanna. 

Naon anu ngajantenkeun Optimizely sakti? Dina inti tina set fitur na perenahna mesin statistik anu paling lengkep sareng intuitif dina alat pihak katilu, ngamungkinkeun anjeun langkung fokus kana tés penting - tanpa kedah hariwang yén anjeun salah tafsir kana hasil anjeun. 

Sapertos kajian buta tradisional dina ubar, A / B nguji sacara acak bakal nunjukkeun anu béda perlakuan tina situs anjeun ka pangguna anu sanés pikeun ngabandingkeun khasiat masing-masing perlakuan. 

Statistik teras ngabantosan urang ngadamel kasimpulan ngeunaan kumaha épéksi pangobatan dina jangka panjang. 

Kaseueuran alat uji coba A / B ngandelkeun salah sahiji tina dua jinis inferensi statistik: Statistik sering atanapi Bayesian. Unggal sakola ngagaduhan sababaraha pro sareng kontra - Statistik sering peryogi ukuran sampel pikeun dilereskeun sateuacan ngajalankeun percobaan, sareng statistik Bayesian utamina resep nyandak kaputusan panunjuk arah anu hadé tibatan ngahususkeun inohong anu aya pangaruhna, pikeun nyebatkeun dua conto. Adikuasa Optimizely nyaéta yén éta hiji-hijina alat dina pasaran ayeuna anu nyandak anu pangsaéna sadua alam pendekatan.

Hasil akhirna? Optimizely nyandak pangguna pikeun ngajalankeun ékspérimén langkung gancang, langkung dipercaya, sareng langkung intuitif.

Nanging pikeun ngamangpaatkeun éta, penting pikeun ngarti naon anu lumangsung di tukangeun layar. Ieu 5 wawasan sareng strategi anu bakal ngajantenkeun anjeun nganggo kamampuan Optimizely sapertos pro.

Strategi # 1: Ngartos Henteu Sadaya Métrik Dijieun Sarua

Dina kaseueuran alat uji coba, hiji masalah anu biasa teu dipaliré nyaéta yén langkung seueur métrik anu anjeun nambihan sareng dilacak salaku bagian tina tés anjeun, anjeun bakal langkung seueur ningali sababaraha kasimpulan anu lepat kusabab kasempetan acak (dina statistik, ieu disebut "sababaraha masalah tés "). Supados dijantenkeun hasil na tiasa dipercaya, Optimis ngagunakeun serangkaian kontrol sareng koréksi pikeun ngajaga odds tina kajadian anu terendah. 

Kadali sareng koréksi éta aya dua implikasi nalika anjeun nyetél tés dina Optimizely. Mimiti, métrik anu anjeun tunjuk salaku anjeun Métrik primér bakal ngahontal signifikansi statistik panggancangna, sagala hal séjén tetep. Kadua, beuki seueur métrik anu anjeun nambihkeun kana hiji ékspérimén, beuki lila métrik engké anjeun bakal nyandak pikeun ngahontal statistic significance.

Nalika ngarencanakeun percobaan, pastikeun anjeun terang métrik mana anu bakal janten True True anjeun dina prosés nyandak kaputusan, pastikeun métrik Utama anjeun. Teras, jaga sésana daptar métrik anjeun langsing ku nyoplokkeun naon waé anu kaleuleusan atanapi tangensial.

Strategi # 2: Ngawangun atribut custom anjeun sorangan

Optimis saé pisan pikeun masihan anjeun sababaraha cara anu pikaresepeun sareng ngabantosan pikeun ngabagi hasil percobaan anjeun. Salaku conto, anjeun tiasa nalungtik naha pangobatan tangtu langkung performa dina desktop vs. mobile, atanapi niténan bédana sumber sumber pangunjung. Nalika program ékspérimén anjeun parantos asak, anjeun bakal gancang ngarepkeun ruas énggal - ieu panginten khusus pikeun kasus pamakean anjeun, sapertos segmen kanggo sakali-kali vs. pameseran langganan, atanapi umum salaku "pangunjung anyar vs balik" (anu, terus terang, urang masih teu tiasa terang naha éta henteu disayogikeun dina kotak).

Warta anu saé nya éta ngalangkungan lapangan Javascript Project Optimizely's, insinyur anu wawuh sareng Optimizely tiasa ngawangun sajumlah atribut khusus anu pikaresepeun anu tiasa ditugaskeun ku para pengunjung. Di Cro Metrics, kami parantos ngawangun sajumlah modul saham (sapertos "pangunjung anyar vs. pangunjung anu balik") anu kami pasang pikeun sadaya klien kami ngalangkungan Project Javascript na. Ngagunakeun kamampuan ieu mangrupikeun bédana konci antara tim dewasa anu ngagaduhan sumber daya téknis anu pas pikeun ngabantosan aranjeunna, sareng tim anu bajoang pikeun ngawujudkeun poténsi ékspérimén.

Strategi # 3: Ngajalajah Optimizely's Stats Accelerator

Salah sahiji fitur alat tés anu sering di-overhyped nyaéta kamampuan ngagunakeun "bandit multi-bersenjata", jinis algoritma pembelajaran mesin anu sacara dinamis robih dimana patalimarga anjeun dialokasikeun salami ékspérimén, pikeun ngirim seueur pangunjung kana "unggul" variasi sabisa. Masalah sareng bandit multi-pakarang nyaéta hasilna henteu tiasa dipercaya kinerja jangka panjang, janten kasus panggunaan pikeun ékspérimén sapertos ieu dugi ka kasus anu peka waktos sapertos promosi penjualan.

Optimizely, sanaos, gaduh tipena béda algoritma bandit anu sayogi pikeun pangguna dina rencana anu langkung luhur - Stats Accelerator (ayeuna katelah pilihan "Akselerasi Pembelajaran" di jero Bandits). Dina panyetelan ieu, tibatan nyobian sacara sadidinten ngaalokasikeun patalimarga kana variasi performa pangluhurna, Optimis sacara dinamis ngaalokasikeun patalimarga kana variasi anu paling dipikaresep ngahontal statistik paling gancang. Ku cara ieu, anjeun tiasa diajar langkung gancang, sareng nahan réplika hasil tés A / B tradisional.

Strategi # 4: Tambahkeun Emojis kana Ngaran métrik Anjeun

Dina pandangan heula, ideu ieu sigana henteu pas, bahkan teu leres. Nanging, aspek konci pikeun mastikeun yén anjeun maca hasil ékspérimén anu leres dimimitian dina mastikeun yén pemirsa anjeun tiasa ngartos patarosan. 

Kadang-kadang sanaos usaha pangsaéna urang, nami métrik tiasa ngabingungkeun (antosan - naha métrik kahuruan nalika urutan ditampi, atanapi nalika pangguna pencét halaman hatur nuhun?), Atanapi percobaan ngagaduhan seueur métrik anu ngagulung ka luhur sareng ka handap hasilna halaman ngarah ka total kaleuwihan kognitif.

Nambahkeun emoji kana nami métrik anjeun (target, tanda centang héjo, bahkan kantong artos ageung tiasa dianggo) tiasa ngahasilkeun halaman anu jauh langkung tiasa scan. 

Percanten ka kami - maca hasil bakal karaos langkung gampang.

Strategi # 5: Pertimbangkeun Deui Tingkat Signifikansi Statistik Anjeun

Hasil dianggap konklusif dina kontéks percobaan Optimizely nalika aranjeunna parantos ngahontal signifikansi statistik. Signifikansi statistik mangrupikeun istilah matématika anu tangguh, tapi dasarna éta kamungkinan yén pengamatan anjeun mangrupikeun akibat tina nyata bédana antara dua populasi, sareng sanés ngan ukur kasempetan acak. 

Tingkat signifikansi statistik anu dilaporkeun Optimizely sacara "salawasna valid" berkat konsép matématika anu disebat tés sekuen - ieu saéstuna ngajantenkeun aranjeunna jauh langkung dipercaya tibatan alat tés anu sanés, anu rawan sagala jinis masalah "ngintip" upami anjeun maca gancang-gancang teuing.

Éta pantes diperhatoskeun tingkat naon waé statistik anu anjeun anggap penting pikeun program tés anjeun. Sedengkeun 95% mangrupikeun konvénsi di komunitas ilmiah, urang nuju nguji parobihan halaman wéb sanés vaksin. Pilihan umum anu sanés dina dunya ékspérimén: 90%. Tapi naha anjeun kersa nampi sakedik kateupastian pikeun ngajalankeun ékspérimén langkung gancang sareng uji langkung ideu? Naha anjeun tiasa nganggo 85% atanapi bahkan statistik 80%? Ngahaja ngeunaan kasaimbangan résiko-pahala anjeun tiasa mayar dividén éksponénsial kana waktos, janten pikirkeun ieu sacara saksama.

Maca Langkung Ngeunaan Optimizely Intelligence Cloud

Lima prinsip sareng wawasan anu gancang ieu bakal ngabantosan pisan pikeun diémutan nalika nganggo Optimizely. Sapertos alat naon waé, éta bakal mastikeun yén anjeun ngagaduhan pamahaman anu saé tina kustomisasi tukang layar, janten anjeun tiasa pastikeun anjeun ngagunakeun alat éfisién sareng épéktip. Kalayan pamahaman ieu, anjeun tiasa kéngingkeun hasil anu dipercaya anu anjeun milari, nalika anjeun peryogi. 

Naon anu anjeun pikirkeun?

Situs migunakeun Akismet pikeun ngurangan spam. Diajar kumaha komentar data anjeun diolah.