Kokeilukulttuurin rakentaminen: satunnaisista testeistä kasvujärjestelmiin

Useimmat yritykset, jotka väittävät omaavansa kokeilukulttuurin, eivät omaa sellaista. Heillä on kokeilutapa -- joku tiimistä ajaa satunnaisia A/B-testejä, lähinnä nappien väreistä ja otsikkokopioista, ja raportoi tulokset esitykseen, jota kukaan ei lue kahdesti.

Se ei ole kulttuuri. Se on rasti ruutuun.

Todellinen kokeilukulttuuri muuttaa tavan, jolla organisaatio ajattelee, päättää ja oppii. Ero on testien ajamisen ja tiedon kerryttämisen järjestelmän rakentamisen välillä. Olen nähnyt tämän muutoksen omin silmin, ja se on yksittäisistä muutoksista vaikuttavin, jonka kasvuvaiheen yritys voi tehdä.

Miltä kokeilukulttuuri oikeasti näyttää

Sillä on kolme ominaisuutta:

1. Hypoteesit ennen taktiikoita. Jokainen aloite alkaa falsifioitavalla hypoteesilla. Ei "kokeillaan uutta laskeutumissivua" vaan "uskomme, että lomakekenttien vähentäminen seitsemästä kolmeen nostaa liidikonversiota 15 %, koska analytiikkamme näyttää 60 %:n pudotuksen lomakevaiheessa."

Hypoteesi pakottaa selkeyteen. Se saa sinut artikuloimaan, mitä uskot, miksi uskot niin ja mikä todistaisi sinut vääräksi. Se on oppimisen perusta.

2. Päätökset seuraavat dataa, eivät mielipiteitä. Useimmissa organisaatioissa parhaiten palkatun henkilön mielipide voittaa. Kokeilukulttuurissa data voittaa. Toimitusjohtajan lempiprojektia testataan samalla tavalla kuin harjoittelijan ehdotusta. Jos data sanoo, että harjoittelija oli oikeassa, harjoittelija oli oikeassa.

Tämä on vaikeampaa kuin miltä kuulostaa. Se vaatii egon madaltamista johtotasolla. Mutta se on myös vapauttavaa -- se poistaa politiikan tuote- ja markkinointipäätöksistä ja korvaa sen evidenssillä.

3. Negatiiviset tulokset ovat arvokkaita. Testi, joka kumoaa hypoteesisi, ei ole epäonnistuminen. Se on informaatiota. Jotkut arvokkaimmista kokeista, joita olen ajanut, olivat niitä, joissa "itsestään selvä" parannus heikensi tuloksia. Tuo oppiminen esti kuukausien virheellistä työtä.

Jos tiimisi juhlii vain voittoja, he lakkaavat testaamasta riskialttiita ideoita. Turvallisin testi on se, jolla on pienin oppimispotentiaali. Todellinen kokeilu vaatii lyöntejä, jotka voivat osua ohi.

Kypsyyskäyrä

Ajattelen kokeilun kypsyyttä neljässä vaiheessa:

Vaihe 1: Reaktiivinen testaus

Testejä tehdään satunnaisesti, yleensä kun joku lukee blogikirjoituksen konversio-optimoinnista tai kun suunnittelija haluaa ratkaista väittelyn. Ei backlogia, ei priorisointikehystä, eikä järjestelmällistä tulosten seurantaa.

Useimmat yritykset ovat tässä. Se on parempi kuin ei mitään, mutta oppiminen on satunnaista ja katoaa helposti.

Vaihe 2: Jäsennelty testaus

Kokeilulla on vastuuhenkilö tai pieni tiimi. On olemassa ideabacklog, priorisointimenetelmä (ICE-pisteytys tai vastaava) ja prosessi kokeiden suunnitteluun ja katselmointiin. Tulokset dokumentoidaan.

Tästä aloitan useimpien CRO- ja kokeilutoimeksiantojen kanssa. Siirtymä vaiheesta 1 vaiheeseen 2 on ensisijaisesti prosessiongelma.

Vaihe 3: Integroitu kokeilu

Jokainen tiimi -- tuotekehitys, markkinointi, myynti, asiakasmenestys -- ajaa kokeita osana työnkulkuaan. On olemassa yhteinen kokeilualusta, yrityksenlaajuinen oppimisarkisto ja poikkitiiminen tiedon jakaminen.

Tähän pääseminen vaatii johdon sitoutumista ja investointia. ROI on valtava -- olen nähnyt yritysten vaiheessa 3 tekevän parempia päätöksiä kuukaudessa kuin vaiheen 1 yritysten vuodessa.

Vaihe 4: Kokeilu käyttöjärjestelmänä

Yritys kohtelee kokeilua ensisijaisena päätöksentekomekanisminaan. Strategia on sarja hypoteeseja. Toteutus on sarja testejä. Oppimisen nopeus on kilpailullinen ydinmittari.

Hyvin harva yritys saavuttaa tämän vaiheen. Ne, jotka saavuttavat, hallitsevat yleensä markkinoitaan.

Perustan rakentaminen

Jos olet vaiheessa 1 ja haluat siirtyä vaiheeseen 2, tässä on suositukseni:

Luo koebacklog

Jokainen idea, joka alkaa sanoilla "meidän pitäisi kokeilla..." menee backlogiin. Tuotemuutokset, markkinointitaktiikat, hinnoittelukokeet, viestivariaatiot -- kaikki. Backlog ei ole tehtävälista. Se on hypoteesien inventaario.

Priorisoi armottomasti

Jokainen idea ei ansaitse testiä. Priorisoi kolmen tekijän perusteella:

Vaikutuspotentiaali. Kuinka paljon tämä voisi liikuttaa merkityksellistä mittaria?
Varmuus. Kuinka vahva näyttö on siitä, että tämä toimii?
Työmäärä. Kuinka kauan pystyttäminen ja ajaminen kestää?

Suuri vaikutus, kohtalainen varmuus, pieni työmäärä -- siinä on optimipisteesi. Testaa ideat, joista oppiminen on arvokkainta, ei niitä, joiden tulos on varmin.

Perusta vähimmäisprosessi

Tarvitset neljä asiaa:

Hypoteesipohja (uskomme X, koska Y, ja mittaamme Z)
Tilastollisen tarkkuuden standardi (otoskoko, merkitsevyyskynnys, ajoaika)
Dokumentointiformaatti (mitä testasimme, mitä tapahtui, mitä opimme)
Katsausrytmi (viikoittaiset tai joka toinen viikko kokeiltavien katselmukset)

Siinä se. Älä ylisuunnittele prosessia. Aloita yksinkertaisesti ja hio matkan varrella.

Yhteys kasvumittareihin

Kokeilu ilman suuntaa on pelkkää uteliaisuutta. Kokeet, jotka kerryttävät arvoa, ovat niitä, jotka kytkeytyvät ydinkasvumittareihisi ja KPI-mittareihin.

Aloita suurimmasta vivustasi. Jos konversioasteesi on 1,5 % ja alan keskiarvo 3 %, sinne kokeiluenergiasi pitäisi suunnata. Jos asiakaspysyvyytesi laskee neljännes neljännekseltä, se on ongelma, johon kannattaa testata ratkaisuja.

Jokaisen kokeen pitäisi kytkeytyä takaisin mittariin North Star -kehyksessäsi. Jos ei kytkeydy, kysy onko sitä syytä ajaa. Fokus voittaa volyymin kokeilussa aivan kuten strategiassakin.

Yleiset virheet

Liian pienten asioiden testaaminen. Nappiväritestit voivat saavuttaa tilastollisen merkitsevyyden, mutta ne harvoin liikuttavat liiketoimintatuloksia. Testaa isompia ideoita. Uudelleenjärjestä sivu. Vaihda tarjous. Kirjoita arvolupaus uusiksi.

Liian aikainen lopettaminen. Tilastollinen merkitsevyys vaatii riittävän otoskoon ja ajoajan. Testin lopettaminen, koska se näyttää hyvältä kahden päivän jälkeen, ei ole kokeilua. Se on vahvistusharhaa lisävaiheilla.

Ei testata lainkaan, koska "meillä ei ole tarpeeksi liikennettä." Voit testata 10 000 kuukausittaisella vierailijalla. Testaa vain harvempia asioita samanaikaisesti ja aja niitä pidempään. Vähäinen liikenne on rajoite, ei hylkäysperuste.

Kokeilun käsittely vain markkinoinnin toimintana. Parhaat kokeilukulttuurit testaavat koko asiakaspolun läpi -- hankinta, aktivointi, pysyvyys, liikevaihto ja suosittelu. Tuotetiimien, asiakasmenestystiimien ja jopa operaatiotiimien pitäisi ajaa kokeita.

Kulttuurinen investointi

Työkalut ovat helppoja. A/B-testialustat, analytiikka, tilastolaskineet -- kaikki kommoditeettia. Vaikea osuus on kulttuuri.

Se tarkoittaa, että johtajat myöntävät, etteivät tiedä vastausta. Se tarkoittaa, että tiimit hyväksyvät, että heidän suosikki-ideansa voi hävitä. Se tarkoittaa ajan investoimista oppimiseen, kun organisaatio on riippuvainen tekemisestä.

Mutta tuotto on poikkeuksellinen. Kokeilukulttuuri kerryttää tietoa samalla tavalla kuin korkoa korolle -efekti kerryttää rahaa. Jokainen testi, voitto tai häviö, tekee seuraavasta päätöksestä hieman paremman. Kuukausien ja vuosien aikana tuo kerryttävä vaikutus luo ohittamatonta kilpailuetua.

Kysymys ei ole, onko sinulla varaa rakentaa tämä kulttuuri. Kysymys on, onko sinulla varaa olla rakentamatta sitä.