Kaip atlikti programėlės beta testavimą

Norėdami atlikti beta testavimą, nuspręskite, ko reikia sužinoti, pakvieskite nedidelę grupę žmonių, atitinkančių jūsų realius naudotojus, duokite jiems aiškią pirmą užduotį ir rinkite atsiliepimus vienoje vietoje pagal nustatytą tvarkaraštį. Ištaisykite tai, kas juos stabdo, plėskite grupę etapais ir baikite beta tada, kai įvykdomi iš anksto užrašyti baigimo kriterijai – o ne tada, kai pritrūksta kantrybės.

Beta nėra švelnus paleidimas. Tai struktūruotas eksperimentas su pradžia, pabaiga ir klausimu, į kurį reikia atsakyti.

Kur tinka beta

Idėjos patikra klausia, ar problema verta spręsti. Beta klausia siauresnio klausimo: ar šita produkto versija išsprendžia problemą realiems žmonėms realiomis sąlygomis? Paleidimas ateina vėliau, kai atsakymas beveik teigiamas.

Prieš kviesdami ką nors, pirmiausia atlikite savo testavimą – kaip išbandyti programėlę prieš paleidimą aprašo, kaip. Testuotojai neturėtų būti tie, kurie atranda, kad registracija neveikia.

1 žingsnis: užrašykite, ką beta turi atsakyti

Pasirinkite du ar tris klausimus. Viskas kitas plano dalyje seka iš jų.

Išgalvotas pavyzdys: pamainų planavimo programėlė mažoms kavinėms nustato du tikslus: „Ar vadovas gali paskelbti savaitės grafiką pirmajame seanse be pagalbos?“ ir „Ar darbuotojai patys atidaro programėlę antrą savaitę?“.

2 žingsnis: pasirinkite beta tipą

Pirmam produktui dažniausiai tinka uždara beta su keliais etapais.

3 žingsnis: surinkite tinkamus testuotojus

Geriausi testuotojai turi problemą dabar, atitinka jūsų tikslinį naudotoją ir turi laiko išbandyti programėlę beta lange. Kur juos rasti:

• Jūsų laukiamųjų sąrašas ar el. pašto sąrašas – žr. kaip sukurti auditoriją prieš paleidimą.
• Žmonės, su kuriais kalbėjotės patikrindami idėją.
• Nišinės bendruomenės, kur susirenka jūsų naudotojai, laikydamiesi jų taisyklių dėl reklamos.
• Tiesioginiai kvietimai žmonėms jūsų tinkle, kurie atitinka profilį.

Užduokite keletą atrankos klausimų, kad galėtumėte pasirinkti mišinį: jų vaidmuo, kaip jie šiandien sprendžia problemą, kokį įrenginį naudotų ir kaip dažnai problema iškyla. Kvieskite žmones, kurių atsakymai atitinka jūsų tikslinį naudotoją, ir nepildykite beta kolegomis steigėjais, nebent jie yra tikslinis naudotojas.

Kvietimo šablonas

Labas, [vardas] – paminėjote [problemą], kai registravotės. Atidarau nedidelę privačią [produkto] beta, kuri [rezultatas]. Ji vyksta nuo [pradžia] iki [pabaiga]. Prašau testuotojų naudoti ją bent kartą per savaitę [tikra užduotis] ir kiekvieną penktadienį atsakyti į trumpą klausimyną. Mainais: nemokama prieiga beta metu ir [steigėjo kaina / pratęstas nemokamas laikotarpis]. Domina?

Nurodykite laiko sąnaudas sąžiningai. Žmonės, žinantys, į ką įsipareigoja, duoda geresnius atsiliepimus.

4 žingsnis: paruoškite beta rinkinį

Prieš siųsdami pirmą kvietimą, turėkite paruošta:

• Sveikinimo žinutę su nuoroda, kaip prisijungti, pirmą užduotį ir kaip pranešti apie problemas.
• Žinomų problemų sąrašą, kad testuotojai nepranešinėtų to paties dešimt kartų.
• Vieną atsiliepimų kanalą. Forma, bendra pokalbių grupė ar el. pašto adresas – viena vieta, ne penkios.
• Klaidos ataskaitos šabloną. Paprašykite, ką jie darė, ko tikėjosi, kas įvyko, įrenginio ir naršyklės, ekrano nuotraukos. Kaip parašyti gerą klaidos ataskaitą turi versiją, kurią galite pasidalinti.
• Paprastą analitiką ar žurnalus, kad matytumėte, kas įvyko, nesiremdami atmintimi.
• Aiškius lūkesčius dėl duomenų. Pasakykite testuotojams, jei duomenys beta metu gali būti iš naujo nustatyti, ir neprašykite įvesti jautrios informacijos į nebaigtą programėlę.
• Pagrindai apie sąlygas ir privatumą. Trumpas beta susitarimas ir privatumo pastaba; jei tvarkote asmens duomenis, patikrinkite vietos taisykles ar pasikonsultuokite.

5 žingsnis: vykdykite etapais

Etapai leidžia ištaisyti problemas, kol į jas nepataiko daugiau žmonių.

Pirmajame etape paprašykite dviejų ar trijų testuotojų pasidalinti ekranu, kol jie pirmą kartą bando programėlę. Tylėkite ir stebėkite, kur jie sustoja. Tai dažnai naudingiausia beta valanda.

6 žingsnis: rinkite atsiliepimus ritmu

Nestruktūruotos žinutės „ar yra atsiliepimų?“ sulaukia miglotų atsakymų. Vietoj to naudokite trumpą, reguliarų klausimyną:

Savaitinis klausimynas (išgalvoti pavyzdiniai klausimai)

1. Kam šią savaitę naudojote [produktą]?
2. Kas buvo erzinantis ar painu?
3. Ar kas nors trūko ir neleido užbaigti užduoties?
4. Kaip jaustumėtės, jei nebegalėtumėte jo naudoti? (Labai nusivylęs / šiek tiek / visai ne)
5. Kas dar?

Derinkite tai, ką žmonės sako, su tuo, ką jie daro. Žmogus, kuris sako, kad tai puiku, bet niekada neprisijungia, taip pat kažką jums sako.

7 žingsnis: sutvarkykite gaunamus atsiliepimus

Visus atsiliepimus surinkite viename sąraše ir kiekvieną savaitę surūšiuokite.

Venkitės didelių funkcijų beta viduryje. Kiekviena nauja funkcija apsunkina supratimą, ar pagrindinis produktas veikia.

8 žingsnis: uždarykite ratą

Testuotojai toliau teikia atsiliepimus, kai mato, kad jais naudojamasi.

• Po kiekvieno etapo siųskite trumpą pakeitimų žurnalą: „Pranešėte apie X; tai ištaisyta.“
• Padėkokite žmonėms vardu, privačiai, kai jų pranešimas nulėmė pataisą.
• Pasakykite testuotojams, kada baigiasi beta, kas nutiks su jų duomenimis ir paskyra ir koks yra jų steigėjo pasiūlymas.

9 žingsnis: nuspręskite, ar esate pasiruošę

Prieš beta pradžią užrašykite baigimo kriterijus, o pabaigoje sąžiningai juos patikrinkite. Šablonas:

• Nėra žinomų kliūčių ar duomenų praradimo klaidų
• Dauguma naujų testuotojų įvykdo pagrindinę užduotį be pagalbos
• Dalis testuotojų vėlesnėmis savaitėmis grįžta savarankiškai
• Pagrindiniai painiavos taškai ištaisyti ir išbandyti iš naujo
• Registracija, slaptažodžio atkūrimas ir bet koks mokėjimo srautas veikia nuo galo iki galo
• Turite aiškią žinutę, kam produktas skirtas, testuotojų žodžiais

Jei dauguma langelių pažymėta, pereikite prie įvedimo į programėlę tobulinimo ir viešo paleidimo. Jei grįžtančių naudotojų mažai, tai produkto klausimas, ne klaidų sąrašas – grįžkite prie interviu prieš paleidžiant.

Beta vykdymas su Mythex

Jei kuriate su Mythex, kelios funkcijos puikiai tinka beta:

• Peržiūros nuorodos pirmam etapui. Mygtukas Share sukuria nuorodą į jūsų gyvą peržiūrą, kuri veikia žmonėms be Mythex paskyros, todėl ankstyvas testuotojas gali išbandyti nebaigtą darbą, prieš jums paskelbiant. Sukurkite po nuorodą kiekvienai grupei ir ištrinkite ją pabaigę – Peržiūros dokumentacija paaiškina, kaip nuorodos pažadina projektą ir naudoja kreditus.
• Publikuokite ilgesniems etapams. Paskelbta programėlė veikia savo adresu, o tai tinka testuotojams, naudojantiems ją kelias savaites.
• Programėlės testavimas prieš kiekvieną etapą. Įveskite /test pokalbyje, ir agentas paspaudinės peržiūrą ir praneš apie sugedusius srautus – naudinga patikra prieš kviečiant ką nors (Programėlės testavimo dokumentacija).
• Kontroliniai taškai. Jei pataisa beta viduryje ką nors sugadina, grįžkite į ankstesnį kontrolinį tašką.

Testuotojo klaidos ataskaitą įklijuokite tiesiai į pokalbį ir paprašykite agento ją atkartoti ir ištaisyti, tada pasakykite testuotojui, kai pataisa jau veikia.

Klausimai