Как да проведете бета тест за вашето приложение

За да проведете бета тест, решете какво трябва да научите, поканете малка група хора, които съвпадат с реалните ви потребители, дайте им ясна първа задача и събирайте обратна връзка на едно място по фиксиран график. Поправяйте какво ги спира, разширявайте групата на етапи и приключвайте бетата, когато са изпълнени предварително записаните критерии за край – а не когато ви свърши търпението.

Бетата не е меко пускане. Тя е структуриран експеримент с начало, край и въпрос, на който трябва да отговори.

Къде се вписва бетата

Валидирането пита дали проблемът си заслужава решаване. Бетата задава по-тесен въпрос: решава ли тази версия на продукта проблема за реални хора, при реални условия? Пускането идва след това, когато отговорът е най-вече „да“.

Преди да поканите някого, тествайте сами – как да тествате приложението си преди пускане обхваща това. Тестерите не трябва да са тези, които откриват, че регистрацията не работи.

Стъпка 1: Запишете какво трябва да отговори бетата

Изберете два или три въпроса. Всичко останало в плана следва от тях.

Измислен пример: приложение за график на смени за малки кафенета поставя две цели: „Може ли мениджър да публикува графика за седмицата в първата си сесия без помощ?“ и „Отварят ли служителите приложението сами през втората седмица?“.

Стъпка 2: Изберете вида бета

За първи продукт затворената бета с няколко кръга обикновено е правилният избор.

Стъпка 3: Намерете правилните тестери

Най-добрите тестери имат проблема сега, съвпадат с целевия ви потребител и имат време да пробват приложението през периода на бетата. Места, където да ги намерите:

• Вашия списък за чакане или имейл списък – вижте как да изградите аудитория преди пускане.
• Хората, които сте интервюирали по време на валидирането.
• Нишови общности, в които се събират вашите потребители, спазвайки техните правила за промотиране.
• Директни покани към хора от мрежата ви, които отговарят на профила.

Задайте няколко въпроса за подбор, за да изберете смес: каква е ролята им, как решават проблема днес, какво устройство биха използвали и колко често се появява проблемът. Поканете хора, чиито отговори съвпадат с целевия ви потребител, и избягвайте да запълвате бетата с колеги основатели, освен ако не са целевият потребител.

Шаблон за покана

Здравей, [име] – спомена [проблем], когато се регистрира. Отварям малка частна бета на [продукт], който [резултат]. Тя върви от [начало] до [край]. Моля тестерите да я използват за [реална задача] поне веднъж седмично и да отговарят на кратка проверка всеки петък. В замяна: безплатен достъп през бетата и [основателска цена / удължен безплатен период]. Интересуваш ли се?

Кажете честно колко време се очаква. Хората, които знаят за какво са се записали, дават по-добра обратна връзка.

Стъпка 4: Подгответе бета комплекта

Преди да излезе първата покана, имайте готови:

• Съобщение за добре дошли с връзката, как се влиза, първата задача за пробване и как да докладват проблеми.
• Списък с известни проблеми, за да не докладват един и същ проблем десет пъти.
• Един канал за обратна връзка. Формуляр, споделен чат или имейл адрес – едно място, не пет.
• Шаблон за доклад за грешка. Попитайте какво са направили, какво са очаквали, какво се е случило, устройство и браузър и снимка на екрана. Как да напишете добър доклад за грешка има версия, която можете да споделите.
• Основна аналитика или логове, за да виждате какво се е случило, без да разчитате на паметта.
• Ясни очаквания за данните. Кажете на тестерите, ако данните може да бъдат нулирани по време на бетата, и не ги карайте да въвеждат чувствителна информация в незавършено приложение.
• Основи на условията и поверителността. Кратко споразумение за бета и бележка за поверителност; проверете местните правила или консултант, ако обработвате лични данни.

Стъпка 5: Провеждайте на кръгове

Кръговете ви позволяват да поправите проблемите, преди повече хора да ги срещнат.

В кръг 1 помолете двама или трима тестери да споделят екрана си, докато пробват приложението за първи път. Мълчете и наблюдавайте къде се колебаят. Това често е най-полезният час от цялата бета.

Стъпка 6: Събирайте обратна връзка по ритъм

Неструктурираните съобщения от типа „някаква обратна връзка?“ получават неясни отговори. Вместо това използвайте кратка, редовна проверка:

Седмична проверка (примерни въпроси, измислени)

1. За какво сте използвали [продукт] тази седмица?
2. Какво беше разочароващо или объркващо?
3. Липсваше ли нещо, което ви спря да завършите задача?
4. Колко бихте съжалявали, ако вече не можете да го използвате? (Много / донякъде / изобщо не)
5. Нещо друго?

Съчетавайте това, което хората казват, с това, което правят. Някой, който казва, че е страхотно, но никога не влиза, също ви казва нещо.

Стъпка 7: Сортирайте входящите сигнали

Поставете всяка обратна връзка в един списък и го сортирайте всяка седмица.

Устоявайте на желанието да добавяте големи функции по време на бетата. Всяка нова функция затруднява определянето дали основният продукт работи.

Стъпка 8: Затворете цикъла

Тестерите продължават да дават обратна връзка, когато виждат, че тя се използва.

• Изпращайте кратък changelog след всеки кръг: „Съобщихте за X; оправено е.“
• Благодарете на хората по име, лично, когато докладът им е довел до поправка.
• Кажете на тестерите кога бетата приключва, какво се случва с данните и акаунта им и каква е основателската им оферта.

Стъпка 9: Решете дали сте готови

Запишете критериите за край, преди бетата да започне, после ги проверете честно в края. Шаблон:

• Няма известни блокери или грешки със загуба на данни
• Повечето нови тестери завършват основната задача без помощ
• Значителна част от тестерите се връщат сами през следващите седмици
• Основните точки на объркване са поправени и тествани отново
• Регистрацията, възстановяването на парола и всеки платежен поток работят от край до край
• Имате ясно съобщение за това за кого е продуктът, с думите на тестерите

Ако повечето квадратчета са отметнати, преминете към полиране на въвеждането и публично пускане. Ако използването на връщане е ниско, това е въпрос за продукта, а не списък с грешки – върнете се към интервютата, преди да пуснете.

Провеждане на бета с Mythex

Ако строите с Mythex, някои функции се вписват добре в бета:

• Линкове за преглед за кръг 1. Бутонът Share създава връзка към живия ви преглед, която работи за хора без акаунт в Mythex, така че ранен тестер може да пробва незавършена работа, преди да публикувате. Направете по една връзка за група и я изтрийте, когато приключите – документацията за прегледа обяснява как връзките събуждат проекта и използват кредити.
• Публикуване за по-дълги кръгове. Публикувано приложение работи на собствен адрес, което подхожда на тестери, които го използват няколко седмици.
• App Testing преди всеки кръг. Напишете /test в чата и агентът премина през прегледа ви и докладва счупени потоци – полезна проверка, преди да поканите някого (документация за App Testing).
• Checkpoints. Ако поправка счупи нещо по средата на бетата, върнете се към по-ранен checkpoint.

Поставете доклада за грешка на тестер директно в чата и помолете агента да възпроизведе и поправи проблема, после уведомете тестера, когато е наличен.

Въпроси