Netflix esettanulmány: az A/B teszt ereje

Tudtad, hogy a Netflix több, mint 81,5 millió taggal rendelkezik?  És azt tudtad, hogy ennek ellenére mégsem dől hátra és ül a babérjain elégedettségében, hanem folyamatosan azon dolgozik, hogy a felhasználóknak továbbra is egyre jobb élményt nyújtsanak?

A Netflix Technology Blog oldalon rendszeresen jelennek meg friss kutatási eredmények, amelyek közül elhoztam egyet Nektek.

Szerintem kifejezetten érdekes, hogy egy ilyen evidensnek tűnő, "apró" módosítással, milyen eredményeket lehet elérni, mindezt költséghatékonyan, a vaktában végrehajtott fejlesztéseket megelőzve. Ez véleményem szerint a UX igazi ereje.

Netflix Esettanulmány: A megfelelő borítókép kiválasztása A/B teszt segítségével

A Netflix csapata megállapította, hogy, ha 90 másodperc alatt nem ragadja meg egy tartalom a felhasználó figyelmét, akkor:

• vagy nem a megfelelő tartalmat mutatták,
• vagy annak ellenére, hogy a megfelelő tartalmat ajánlották nem nyújtottak elegendő bizonyítékot arra vonatozóan, hogy érdemes megnézni az adott filmet/ sorozatot.

Így az általuk végzett A/B teszt célja többek között az volt, hogy:

• azonosítsák azokat a képeket, amelyek segítségével a felhasználó gyorsabban megtalálja a számára érdekes tartalmakat.
• biztosítsák, hogy a felhasználó több tartalmat nézzen meg.

Különböző kutatások eredményeként arra jutottak, hogy a userek először a képi tartalmat nézik meg és, ha az megragadja a figyelmüket, csak akkor olvassák el a leírást. Tehát első sorban a kép mellett kötelezőnek el és csak aztán olvasnak bele a leírásba, ami mélyebb információt ad számukra a tartalomról.

Ezért a Netflix csapata feltette magának a kérdés, hogy, hogyan tudnák növelni az első pillantásra történő kattintás arányát. Vagyis hogyan tudnák elérni, hogy már első pillantásra is elköteleződjenek a userek egy tartalom mellett.

A válasz egyszerű volt és magától értetőd: a megfelelő kép megjelenítéséve.

A kísérlet I. fázisa:

A kísérlet első fázisában egy egyszerű A/B teszten keresztül, minden tesztcsoportnak más képet mutattak ugyanahhoz a tartalomhoz. Minden változat esetében megmérték az átkattintási arányt, az összesített lejátszási időt, a rövid időtartamú lejátszások arányát és a megnézett tartalom arányát. Ez utóbbi azt jelenti meddig jutottak el a film vagy sorozat megtekintésében. A teszt igazolta, hogy különböző képekkel elérhető, hogy növeljék az érdeklődést.

Ekkor még fennállt annak az esélye, hogy a képekkel csupán átcsoportosították a streameléssel töltött órákat, de az összesített streamelési időt nem növelték. Ezért tovább haladtak a kísérlettel.

Ebből is láthatjuk, hogy nem elégedhetünk meg az első tesztek eredményeivel, hanem érdemes tovább haladni és mélyebbre ásni, hogy az eredmények, valóban alátámasszák vagy megcáfolják a hipotézisünket.)

A kísérlet II. fázisa:

A következő kísérletben már egy nagyobb számú válogatással dolgoztak, amelyekben nagy sikerű és kisebb közönségnek szóló tartalmak is megjelentek. A hipotézisük ekkor az volt, hogy a legjobb kép kiválasztásával, minden egyes tartalom esetében javíthatják az összesített streamelési órák számát.

Az eredmények ebben az esetben is egyértelműek voltak: Az egyes tartalmak nézettségi arányát is sikerült növelniük, amellett, hogy az összesített streameléssel töltött órák száma is megemelkedett. Tehát igazolták, hogy a relevánsabb képek megjelenítésével ösztönözhetik a felhasználókat arra, hogy több olyan tartalmat nézzenek meg, amit korábban nem fedeztek fel.

Az A/B teszt ezt követően még hónapokig tartott, hogy bizonyítsák, hogy az eredmények nem a képek cseréjéből származnak (tehát nem abból, hogy új kép jelenik meg a felületen és ezért egy régi tartalom is újdonságként hat), hanem abból, hogy valóban a relevánsabb kép került kiválasztásra.

A kísérleteket és ezen terület fejlesztését mind a mai napig folytatják, amelyek során egyéb olyan tényezőkkel is számolniuk kell, amelyek befolyásolhatják az eredményt, mint például az alkalmazott képarány (kereső listában jelenik meg álló képként, vagy a kezdőlapi ajánlóban fekvő tájolással?

Szívesen olvasnál még ehhez hasonló esettanulmányokról a jövőben? Csatlakozz a UX Chater csoporthoz, ahol érdekességek mellett ingyenes UX/UI tippeket osztok meg, kifejezetten vállalkozásokra szabva!