Näin järjestät sovelluksesi beta-testauksen
Beta-testauksen järjestämiseksi päätä, mitä sinun tarvitsee oppia, kutsu pieni ryhmä ihmisiä, jotka vastaavat todellisia käyttäjiäsi, anna heille selkeä ensimmäinen tehtävä ja kerää palaute yhteen paikkaan kiinteällä aikataululla. Korjaa se, mikä estää heitä, laajenna ryhmää kierroksittain ja lopeta beta, kun etukäteen kirjoittamasi lopetuskriteerit täyttyvät – ei kun kärsivällisyytesi loppuu.
Beta ei ole pehmeä lanseeraus. Se on jäsennelty koe, jolla on alku, loppu ja kysymys, johon vastata.
Missä beta sopii
Validointi kysyy, onko ongelma ratkaisemisen arvoinen. Beta kysyy kapeamman kysymyksen: ratkaiseeko tämä versio tuotteesta ongelman oikeille ihmisille oikeissa olosuhteissa? Lanseeraus tulee sen jälkeen, kun vastaus on enimmäkseen kyllä.
Ennen kenenkään kutsumista tee oma testaus ensin – kuinka testata sovellus ennen lanseerausta kattaa sen. Testaajien ei pitäisi olla niitä, jotka huomaavat, että rekisteröityminen on rikki.
Vaihe 1: Kirjoita ylös, mihin betan pitää vastata
Valitse kaksi tai kolme kysymystä. Kaikki muu suunnitelmassa seuraa niistä.
| Tavoite | Esimerkkikysymys | Mitä mitataan |
|---|---|---|
| Käytettävyys | Pystyvätkö uudet käyttäjät suorittamaan ydintehtävän ilman apua? | Kuinka moni suorittaa sen itsenäisesti |
| Arvo | Palaavatko ihmiset ilman muistutusta? | Paluukäynnit toisella ja kolmannella viikolla |
| Luotettavuus | Kestääkö se oikean datan ja laitteiden kanssa? | Bugit vakavuuden mukaan, virhelokit |
| Maksuhalukkuus | Maksavatko ihmiset suunnitellun hinnan? | Konversiot tai ennakkotilaukset lopussa |
| Perehdytys | Missä ihmiset jumittuvat ensimmäisellä kerralla? | Keskeytyskohdat, tukikysymykset |
Keksitty esimerkki: pienten kahviloiden vuoronsuunnitteluteksti asettaa kaksi tavoitetta: "Pystyykö vuoropäällikkö julkaisemaan viikon vuorolistan ensimmäisellä kerralla ilman apua?" ja "Avaavatko työntekijät sovelluksen itsenäisesti toisella viikolla?"
Vaihe 2: Valitse betan tyyppi
| Tyyppi | Kenelle | Paras, kun | Kompromissi |
|---|---|---|---|
| Ystävät ja alfa | Ihmiset, jotka tunnet | Hyvin varhain, ilmeisten rikkoutumisten löytämiseen | Kohteliasta palautetta, ei edustavaa |
| Suljettu beta | Kutsutut kohdekäyttäjät | Useimmat varhaiset tuotteet | Rekrytointi vaatii vaivaa |
| Avoin beta | Kuka tahansa, joka rekisteröityy | Skaalan ja vaihtelun testaus | Enemmän tukea, vähemmän syvyyttä testaajaa kohden |
| Maksullinen beta | Käyttäjät, jotka maksavat perustajahintaa | Maksuhalukkuuden testaus | Korkeammat odotukset |
Ensimmäiselle tuotteelle suljettu beta muutamalla kierroksella on yleensä oikea valinta.
Vaihe 3: Rekrytoi oikeat testaajat
Parhailla testaajilla on ongelma juuri nyt, he vastaavat kohdekäyttäjääsi ja heillä on aikaa kokeilla sovellusta betan aikana. Paikkoja, joista heidät löytää:
- Odotuslistasi tai sähköpostilistasi – katso kuinka rakentaa yleisö ennen lanseerausta.
- Ihmiset, joita haastattelit validoinnin aikana.
- Niche-yhteisöt, joissa käyttäjäsi kokoontuvat, noudattaen niiden mainossääntöjä.
- Suorat kutsut verkostosi ihmisille, jotka sopivat profiiliin.
Kysy muutama seulontakysymys, jotta voit valita sekoituksen: heidän roolinsa, miten he ratkaisevat ongelman nyt, mitä laitetta he käyttäisivät ja kuinka usein ongelma tulee vastaan. Kutsu ihmisiä, joiden vastaukset vastaavat kohdekäyttäjääsi, äläkä täytä betaa muilla perustajilla, ellei heidän ole tarkoitus olla kohdekäyttäjä.
Kutsupohja
Hei [nimi] – mainitsit [ongelman] rekisteröityessäsi. Avaan pienen yksityisen betan tuotteelle [tuote], joka [tulos]. Se kestää [alku] – [loppu]. Pyydän testaajia käyttämään sitä [oikeaan tehtävään] vähintään kerran viikossa ja vastaamaan lyhyeen tarkistukseen joka perjantai. Vastineeksi saat ilmaisen pääsyn betan ajan ja [perustajahinta / pidennetty ilmainen jakso]. Kiinnostaako?
Kerro ajankäyttövaatimus rehellisesti. Ihmiset, jotka tietävät, mihin ovat ilmoittautuneet, antavat parempaa palautetta.
Vaihe 4: Valmistele betapaketti
Ennen ensimmäisen kutsun lähettämistä valmistele nämä:
- Tervetuloviesti linkillä, kirjautumisohjeella, ensimmäisellä kokeiltavalla tehtävällä ja ohjeella ongelmien raportointiin.
- Tunnettujen ongelmien lista, jotta testaajat eivät raportoi samaa kymmenen kertaa.
- Yksi palautekanava. Lomake, jaettu keskusteluryhmä tai sähköpostiosoite – yksi paikka, ei viisi.
- Bugiraporttipohja. Pyydä, mitä he tekivät, mitä odottivat, mitä tapahtui, laite ja selain sekä kuvakaappaus. Kuinka kirjoittaa hyvä bugiraportti sisältää jaettavan version.
- Perusanalytiikka tai lokit, jotta näet, mitä tapahtui, nojautumatta muistiin.
- Selkeät odotukset datasta. Kerro testaajille, jos data saattaa nollautua betan aikana, äläkä pyydä heitä syöttämään arkaluonteisia tietoja keskeneräiseen sovellukseen.
- Ehdot ja tietosuojan perusteet. Lyhyt betasopimus ja tietosuojailmoitus; tarkista paikalliset säännöt tai neuvonantaja, jos käsittelet henkilötietoja.
Vaihe 5: Aja se kierroksittain
Kierrokset antavat sinulle mahdollisuuden korjata ongelmat ennen kuin useammat törmäävät niihin.
| Kierros | Testaajat | Painopiste |
|---|---|---|
| Kierros 1 | Muutama | Pystyvätkö he rekisteröitymään ja suorittamaan ydintehtävän? Seuraa joitain istuntoja suorana. |
| Kierros 2 | Suurempi ryhmä | Todellinen käyttö muutaman viikon ajan; korjaa tärkeimmät ongelmat kierrosten välissä. |
| Kierros 3 (valinnainen) | Laajempi tai avoin | Perehdytys ilman apuasi, luotettavuus, hinnoittelun testaus. |
Kierroksella 1 pyydä kahta tai kolmea testaajaa jakamaan näyttönsä, kun he kokeilevat sovellusta ensimmäistä kertaa. Ole hiljaa ja seuraa, missä he epäröivät. Tämä on usein koko betan hyödyllisin tunti.
Vaihe 6: Kerää palautetta säännöllisesti
Rakenteettomat "onko palautetta?"-viestit saavat epämääräisiä vastauksia. Käytä sen sijaan lyhyttä, säännöllistä tarkistusta:
Viikoittainen tarkistus (keksityt esimerkkikysymykset)
- Mihin käytit [tuotetta] tällä viikolla?
- Mikä oli turhauttavaa tai hämmentävää?
- Puuttuiko jotain, mikä esti sinua viemästä tehtävää loppuun?
- Miltä sinusta tuntuisi, jos et voisi enää käyttää sitä? (Erittäin pettynyt / jonkin verran / en lainkaan)
- Mitä muuta?
Yhdistä, mitä ihmiset sanovat, siihen mitä he tekevät. Joku, joka sanoo sen olevan loistava mutta ei koskaan kirjaudu sisään, kertoo sinulle jotain myös.
Vaihe 7: Lajittele saapuva palaute
Laita jokainen palaute yhteen listaan ja lajittele se viikoittain.
| Luokka | Esimerkkejä | Toimenpide |
|---|---|---|
| Este | Rekisteröityminen ei onnistu, data katoaa, maksu epäonnistuu | Korjaa heti, kerro vaikuttuneille testaajille |
| Merkittävä bugi | Ydinominaisuus rikki yleisellä laitteella | Korjaa tällä kierroksella |
| Hämmennys | Ihmiset eivät löydä painiketta, lukevat nimikkeen väärin | Korjaa teksti tai asettelu; halpaa ja arvokasta |
| Pieni bugi | Visuaalinen häiriö, harvinainen reunatapaus | Kerää myöhempää varten |
| Ominaisuustoive | "Voisiko se myös tehdä X:n?" | Kirjaa, kysy mitä ongelmaa se ratkaisee, etsi kuvioita |
Vastusta suurten ominaisuuksien lisäämistä kesken betan. Jokainen uusi ominaisuus vaikeuttaa sen selvittämistä, toimiiko ydintuote.
Vaihe 8: Sulje silmukka
Testaajat jatkavat palautteen antamista, kun näkevät sen käytettävän.
- Lähetä lyhyt muutoslokki jokaisen kierroksen jälkeen: "Ilmoitit X:stä; se on korjattu."
- Kiitä ihmisiä nimeltä kahden kesken, kun hänen raporttinsa johti korjaukseen.
- Kerro testaajille, kun beta päättyy, mitä heidän datalleen ja tililleen tapahtuu ja mikä perustajatarjous heillä on.
Vaihe 9: Päätä, oletko valmis
Kirjoita lopetuskriteerit ennen betan alkua ja tarkista ne rehellisesti lopussa. Pohja:
- Ei tunnettuja esteitä eikä datan katoamista aiheuttavia bugeja
- Useimmat uudet testaajat suorittavat ydintehtävän ilman apua
- Merkittävä osa testaajista palaa itsenäisesti myöhemmillä viikoilla
- Tärkeimmät hämmennyskohdat on korjattu ja testattu uudelleen
- Rekisteröityminen, salasanan palautus ja mahdollinen maksuvirta toimivat päästä päähän
- Sinulla on selkeä viesti siitä, kenelle tuote on, testaajien omin sanoin
Jos useimmat ruudut on rastitettu, siirry perehdytyksen hiomiseen ja julkiseen lanseeraukseen. Jos paluukäyttö on vähäistä, kyse on tuotekysymyksestä, ei bugilistasta – palaa haastatteluihin ennen lanseerausta.
Betan ajaminen Mythexillä
Jos rakennat Mythexillä, muutama ominaisuus sopii betaan hyvin:
- Esikatselulinkit kierrokselle 1. Jaa-painike luo linkin elävään esikatseluun, joka toimii ihmisille ilman Mythex-tiliä, joten varhainen testaaja voi kokeilla keskeneräistä työtä ennen julkaisua. Tee yksi linkki per ryhmä ja poista se, kun olet valmis – Esikatselun dokumentaatio selittää, miten linkit herättävät projektin ja käyttävät krediittejä.
- Julkaise pidempiä kierroksia varten. Julkaistu sovellus toimii omassa osoitteessaan, mikä sopii testaajille, jotka käyttävät sitä useiden viikkojen ajan.
- Sovellustestaus ennen jokaista kierrosta. Kirjoita chatiin
/test, ja agentti klikkaa esikatselusi läpi ja raportoi rikkinäiset virrat – hyödyllinen tarkistus ennen kenenkään kutsumista (Sovellustestauksen dokumentaatio). - Tallennuspisteet. Jos korjaus rikkoo jotain kesken betan, palaa aiempaan tallennuspisteeseen.
Liitä testaajan bugiraportti suoraan chattiin ja pyydä agenttia toistamaan ja korjaamaan se, ja kerro sitten testaajalle, kun korjaus on käytössä.
Kysymykset
Kuinka monta beta-testaajaa tarvitsen?
Vähemmän kuin useimmat luulevat. Pieni ryhmä, joka vastaa kohdekäyttäjääsi ja käyttää sovellusta oikeasti, paljastaa suurimman osan isoista ongelmista. Aloita muutamalla, korjaa löytämäsi ja laajenna sitten suurempaan ryhmään.
Kuinka kauan beta-testauksen pitäisi kestää?
Tarpeeksi kauan, jotta testaajat käyttävät sovellusta niin kuin oikeassa elämässä, mikä usein tarkoittaa muutamaa viikkoa viikoittain käytettävälle asialle. Aseta loppupäivämäärä etukäteen, ettei beta venähdä loputtomiin.
Pitäisikö beta-testaajien maksaa?
Se riippuu siitä, mitä sinun tarvitsee oppia. Ilmainen beta on helpompi rekrytoida; maksullinen tai alennettu beta kertoo, arvostavatko ihmiset tuotetta tarpeeksi maksaakseen siitä. Monet perustajat järjestävät ensin ilmaisen suljetun betan ja pyytävät maksua myöhemmällä kierroksella.
Mikä on ero suljetun ja avoimen betan välillä?
Suljettu beta on vain kutsuilla, yleensä pieni ryhmä, jonka itse valitset ja johon puhut suoraan. Avoin beta antaa kenen tahansa rekisteröityä, mikä tuo enemmän volyymia ja vaihtelua mutta vähemmän henkilökohtaista kontaktia ja enemmän tukityötä.
Mitä minun pitäisi tehdä beta-testaajien ominaisuustoiveilla?
Kirjaa ne ylös, kysy mitä ongelmaa kukin olisi ratkaissut ja etsi toistuvia kuvioita. Useimpien betojen pitäisi korjata ensin bugit ja hämmennys; ominaisuuksien lisääminen betan aikana vaikeuttaa sen selvittämistä, toimiiko ydintuote.