Kuidas korraldada oma rakenduse beetatest
Beetatesti korraldamiseks otsusta, mida pead teadma, kutsu väike grupp inimesi, kes vastavad sinu tegelikele kasutajatele, anna neile selge esimene ülesanne ja kogu tagasiside ühte kohta kindlal ajakaval. Paranda, mis neid takistab, laienda gruppi voorudena ja lõpeta beeta siis, kui eelnevalt kirjutatud väljumiskriteeriumid on täidetud — mitte siis, kui kannatus otsa saab.
Beeta ei ole pehme avamine. See on struktureeritud katse, millel on algus, lõpp ja küsimus, millele vastata.
Kuhu beeta sobib
Valideerimine küsib, kas probleem on lahendamist väärt. Beeta küsib kitsamalt: kas see versioon toote lahendab päris inimestele päris tingimustes? Käivitamine tuleb pärast, kui vastus on enamasti jah.
Enne kui kedagi kutsud, tee ise esmalt testimine — kuidas testida oma rakendust enne käivitamist katab selle. Testijad ei tohiks olla need, kes avastavad, et registreerimine on katki.
Samm 1: kirjuta üles, millele beeta peab vastama
Vali kaks-kolm küsimust. Kõik muu plaanis tuleneb neist.
| Eesmärk | Näidisküsimus | Mida mõõta |
|---|---|---|
| Kasutatavus | Kas uued kasutajad täidavad põhitegevuse ilma abita? | Kui paljud lõpetavad iseseisvalt |
| Väärtus | Kas inimesed naasevad ilma meeldetuletuseta? | Naasmised teisel ja kolmandal nädalal |
| Töökindlus | Kas see peab vastu päris andmete ja seadmetega? | Vead raskuse järgi, vealogid |
| Maksevalmidus | Kas inimesed maksavad kavandatud hinna eest? | Konversioonid või ettetellimused lõpus |
| Sisseelamine | Kus inimesed esimeses sessioonis kinni jäävad? | Lahkumispunktid, tugikküsimused |
Väljamõeldud näide: väikeste kohvikute vahetuste planeerimise rakendus seab kaks eesmärki: „Kas juht saab esimeses sessioonis ilma abita avaldada nädala graafiku?” ja „Kas töötajad avavad rakenduse teisel nädalal iseseisvalt?”
Samm 2: vali beeta tüüp
| Tüüp | Kes | Parim, kui | Kompromiss |
|---|---|---|---|
| Sõbrad ja alfa | Inimesed, keda tunned | Väga varajane, ilmselgete purunemiste püüdmine | Viisakas tagasiside, mitte esinduslik |
| Suletud beeta | Kutsutud sihtkasutajad | Enamik varajasi tooteid | Värbamine nõuab pingutust |
| Avatud beeta | Igaüks, kes registreerub | Mastaabi ja mitmekesisuse testimine | Rohkem tuge, vähem sügavust iga testija kohta |
| Tasuline beeta | Kasutajad, kes maksavad asutaja hinda | Maksevalmiduse testimine | Kõrgemad ootused |
Esimese toote puhul on tavaliselt õige valik suletud beeta mitme vooruga.
Samm 3: värba õiged testijad
Parimad testijad on probleemiga praegu kokku puutunud, vastavad sinu sihtkasutajale ja jaksavad rakendust beeta ajal proovida. Kust neid leida:
- Sinu ootenimekiri või e-posti list — vaata kuidas ehitada publikut enne käivitamist.
- Inimesed, keda intervjueerisid valideerimise ajal.
- Nišikogukonnad, kus sinu kasutajad kokku saavad, järgides nende reegleid reklaami kohta.
- Otsekutsed sinu võrgustikus inimestele, kes sobivad profiiliga.
Küsi mõned sõelumisküsimused, et saaksid segu valida: nende roll, kuidas nad probleemi praegu lahendavad, millist seadet kasutaksid ja kui tihti probleem tekib. Kutsu inimesi, kelle vastused vastavad sinu sihtkasutajale, ja väldi beeta täitmist kaasasutajatega, kui nad pole sihtkasutaja.
Kutse mall
Tere [nimi] — mainisid registreerumisel probleemi [probleem]. Avan väikese privaatse beeta [toode], mis [tulemus]. See kestab [algus] kuni [lõpp]. Palun testijatel kasutada seda vähemalt kord nädalas päris ülesande jaoks ja vastata lühikesele kontrollküsimustikule igal reedel. Vastutasuks saad beeta ajal tasuta juurdepääsu ja [asutaja hind / pikendatud tasuta periood]. Huvi?
Ütle ausalt, kui palju aega see nõuab. Inimesed, kes teavad, mida nad on nõustunud tegema, annavad paremat tagasisidet.
Samm 4: valmista beeta komplekt ette
Enne esimese kutse saatmist peavad need olema valmis:
- Tervitussõnum lingiga, sisselogimise juhistega, esimese ülesandega ja sellega, kuidas probleemidest teada anda.
- Teadaolevate probleemide loend, et testijad ei teataks sama asja kümme korda.
- Üks tagasiside kanal. Vorm, jagatud vestlusgrupp või e-posti aadress — üks koht, mitte viis.
- Veateate mall. Küsi, mida nad tegid, mida ootasid, mis juhtus, seade ja brauser ning ekraanipilt. Kuidas kirjutada head veateadet sisaldab versiooni, mida saad jagada.
- Põhilised analüütika või logid, et näeksid, mis juhtus, ilma mälu peale tuginemata.
- Selged ootused andmete kohta. Ütle testijatele, kui andmeid võidakse beeta ajal lähtestada, ja ära palu neil lõpetamata rakendusse tundlikku teavet panna.
- Tingimuste ja privaatsuse põhitõed. Lühike beetaleping ja privaatsusteade; kontrolli kohalikke reegleid või nõustajat, kui töötled isikuandmeid.
Samm 5: korralda beeta voorudena
Voorud võimaldavad parandada probleeme enne, kui rohkem inimesi neisse takerduvad.
| Voor | Testijad | Fookus |
|---|---|---|
| Voor 1 | Mõned inimesed | Kas nad saavad registreeruda ja põhitegevuse lõpetada? Vaata mõnda sessiooni otse. |
| Voor 2 | Suurem grupp | Päris kasutus paar nädalat; paranda peamised probleemid vooru vahel. |
| Voor 3 (valikuline) | Laiem või avatud | Sisseelamine ilma sinu abita, töökindlus, hinnatest. |
Voorus 1 palu kahel-kolmel testijal jagada ekraani, kui nad proovivad rakendust esimest korda. Ole vaikne ja jälgi, kus nad kõhklevad. See on sageli kõige kasulikum tund kogu beeta jooksul.
Samm 6: kogu tagasisidet rütmis
Juhuslikud „kas on tagasisidet?” sõnumid annavad ebamääraseid vastuseid. Kasuta selle asemel lühikest korduvat kontrollküsimustikku:
Iganädalane kontroll (väljamõeldud näidisküsimused)
- Mida kasutasid [toode] selle nädala jooksul?
- Mis oli frustreeriv või segane?
- Kas midagi puudus, mis takistas ülesande lõpetamist?
- Kuidas tunneksid, kui sa ei saaks seda enam kasutada? (Väga pettunud / mõnevõrra / üldse mitte)
- Midagi muud?
Ühenda, mida inimesed ütlevad, sellega, mida nad teevad. Keegi, kes ütleb, et see on suurepärane, kuid ei logi kunagi sisse, ütleb sulle midagi samuti.
Samm 7: sorteeri, mis tuleb sisse
Pane iga tagasisidetükk ühte loendisse ja sorteeri see iga nädal.
| Kategooria | Näited | Tegevus |
|---|---|---|
| Takistus | Ei saa registreeruda, andmed kaovad, makse ebaõnnestub | Paranda kohe, teavita mõjutatud testijaid |
| Suur viga | Põhifunktsioon on katki levinud seadmel | Paranda selles voorus |
| Segadus | Inimesed ei leia nuppu, valesti loetud silt | Paranda tekst või paigutus; odav ja väärtuslik |
| Väike viga | Visuaalne tõrge, harv erijuhtum | Koonda hilisemaks |
| Funktsioonisoov | „Kas see saab ka X?” | Logi, küsi, milleks probleemi see lahendaks, ja otsi mustreid |
Ära kiirusta suurte funktsioonide lisamisega beeta keskel. Iga uus funktsioon raskendab selgitamist, kas põhitoode töötab.
Samm 8: sulge ring
Testijad jätkavad tagasiside andmist, kui näevad, et seda kasutatakse.
- Saada pärast iga vooru lühike muudatuste logi: „Sa teatasid X-ist; see on parandatud.”
- Tänu inimesi nimepidi, privaatselt, kui nende teade viis parandamiseni.
- Ütle testijatele, millal beeta lõpeb, mis saab nende andmete ja kontoga ning milline on nende asutajapakkumine.
Samm 9: otsusta, kas oled valmis
Kirjuta väljumiskriteeriumid enne beeta algust ja kontrolli neid lõpus ausalt. Mall:
- Teadaolevaid takistusi või andmekadu põhjustavaid vigu pole
- Enamik uusi testijaid lõpetab põhitegevuse ilma abita
- Märkimisväärne osa testijatest naaseb hilisematel nädalatel omal algatusel
- Peamised segadust tekitavad kohad on parandatud ja uuesti testitud
- Registreerimine, parooli lähtestamine ja mis tahes maksevoog töötavad algusest lõpuni
- Sul on selge sõnum, kellele toode on mõeldud, testijate enda sõnadega
Kui enamik kastidest on märgitud, liigu sisseelamise viimistlemise ja avaliku käivitamise juurde. Kui naasmiste määr on madal, on see tooteküsimus, mitte veanimekiri — mine enne käivitamist tagasi intervjuude juurde.
Beeta korraldamine Mythexiga
Kui ehitad Mythexiga, sobivad mõned funktsioonid beetaga hästi kokku:
- Eelvaatluse lingid 1. vooruks. Nupp Share loob lingi sinu elavale eelvaatlusele, mis töötab ka inimestele ilma Mythexi kontota, nii et varajane testija saab proovida pooleliolevat tööd enne avaldamist. Tee iga grupi jaoks üks link ja kustuta see, kui oled lõpetanud — eelvaatluse dokumentatsioon selgitab, kuidas lingid projekti äratavad ja krediite kasutavad.
- Avalda pikemate voorude jaoks. Avaldatud rakendus töötab oma aadressil, mis sobib testijatele, kes seda mitme nädala jooksul kasutavad.
- Rakenduse testimine enne iga vooru. Kirjuta vestlusesse
/test, et agent klõpsaks läbi sinu eelvaatluse ja teataks katkistest voogudest — kasulik kontroll enne, kui kedagi kutsud (rakenduse testimise dokumentatsioon). - Kontrollpunktid. Kui parandus lööb beeta keskel midagi katki, pöördu tagasi varasemale kontrollpunktile.
Kleebi testija veateade otse vestlusse ja palu agendil see reprodutseerida ja parandada, seejärel teata testijale, kui see on kasutusel.
Küsimused
Kui palju beetatestijaid on vaja?
Vähem, kui enamik arvab. Väike grupp, mis vastab sinu sihtkasutajale ja kasutab rakendust tegelikult, toob esile enamiku suuri probleeme. Alusta mõne inimesega, paranda, mida nad leiavad, ja seejärel laienda suuremale grupile.
Kui kaua beetatest peaks kestma?
Piisavalt kaua, et testijad kasutaksid rakendust nii, nagu seda päriselus kasutaksid, mis sageli tähendab mõnda nädalat, kui midagi kasutatakse iganädalaselt. Sea lõppkuupäev ette, et beeta ei venitaks lõputult.
Kas beetatestijad peaksid maksma?
See sõltub sellest, mida pead teadma. Tasuta beetat on lihtsam värvata; tasulise või soodushinnaga beeta näitab, kas inimesed hindavad toodet piisavalt, et maksta. Paljud asutajad teevad esmalt tasuta suletud beeta ja küsivad makset hilisemas voorus.
Mis vahe on suletud ja avatud beetal?
Suletud beeta on ainult kutsega, tavaliselt väike grupp, kelle sa valid ja kellega räägid otse. Avatud beeta lubab kõigil registreeruda, mis toob rohkem mahtu ja mitmekesisust, kuid vähem isiklikku kontakti ja rohkem tugitööd.
Mida teha beetatestijate funktsioonisoovidega?
Logi need, küsi, millist probleemi iga soov lahendaks, ja otsi mustreid. Enamik beetasid peaks esmalt parandama vigu ja segadust; funktsioonide lisamine beeta ajal raskendab selgitamist, kas põhitoode töötab.