วิธีทำการทดสอบเบต้าสำหรับแอปของคุณ
หากต้องการทำการทดสอบเบต้า ให้ตัดสินใจก่อนว่าคุณต้องการเรียนรู้อะไร เชิญกลุ่มเล็ก ๆ ที่ตรงกับผู้ใช้จริงของคุณ ให้งานแรกที่ชัดเจนแก่พวกเขา และรวบรวมความคิดเห็นไว้ที่เดียวตามกำหนดการที่แน่นอน แก้สิ่งที่ขวางพวกเขา ขยายกลุ่มเป็นรอบ ๆ และจบเบต้าเมื่อเกณฑ์การจบที่เขียนไว้ล่วงหน้าเป็นจริง ไม่ใช่เมื่อคุณหมดความอดทน
เบต้าไม่ใช่ soft launch แต่เป็นการทดลองที่มีโครงสร้าง มีจุดเริ่ม จุดจบ และคำถามที่ต้องตอบ
เบต้าอยู่ตรงไหนในกระบวนการ
การตรวจสอบไอเดีย ถามว่าปัญหานั้นคุ้มค่าที่จะแก้หรือไม่ เบต้าถามคำถามที่แคบกว่า: เวอร์ชันนี้ของผลิตภัณฑ์แก้ปัญหาให้คนจริงในสภาพการใช้งานจริงได้หรือไม่ การเปิดตัว มาหลังจากนั้น เมื่อคำตอบส่วนใหญ่เป็นใช่แล้ว
ก่อนเชิญใคร ให้ทดสอบเองก่อน วิธีทดสอบแอปก่อนเปิดตัว อธิบายส่วนนั้น ผู้ทดสอบไม่ควรเป็นคนที่พบว่าการสมัครใช้งานพัง
ขั้นตอนที่ 1: เขียนสิ่งที่เบต้าต้องตอบ
เลือกคำถามสองถึงสามข้อ ทุกอย่างในแผนจะตามมาจากคำถามเหล่านี้
| เป้าหมาย | คำถามตัวอย่าง | สิ่งที่วัด |
|---|---|---|
| การใช้งาน | ผู้ใช้ใหม่ทำงานหลักให้เสร็จได้โดยไม่ต้องช่วยหรือไม่ | จำนวนคนที่ทำเสร็จเองได้ |
| คุณค่า | คนกลับมาโดยไม่ต้องถูกเตือนหรือไม่ | การกลับเข้าใช้ในสัปดาห์ที่สองและสาม |
| ความน่าเชื่อถือ | ใช้งานได้ดีกับข้อมูลจริงและอุปกรณ์จริงหรือไม่ | บั๊กตามระดับความรุนแรง บันทึกข้อผิดพลาด |
| ความเต็มใจจ่าย | คนจะจ่ายราคาที่วางแผนไว้หรือไม่ | การแปลงเป็นลูกค้าหรือการจองล่วงหน้าเมื่อจบ |
| การ onboarding | ผู้ใช้ติดตรงไหนในเซสชันแรก | จุดที่หลุดออกไป คำถามซัพพอร์ต |
ตัวอย่างสมมติ: แอปจัดตารางเวรสำหรับร้านกาแฟขนาดเล็กตั้งเป้าหมายสองข้อ: “ผู้จัดการเผยแพร่ตารางงานหนึ่งสัปดาห์ในเซสชันแรกได้โดยไม่ต้องช่วยหรือไม่” และ “พนักงานเปิดแอปเองในสัปดาห์ที่สองหรือไม่”
ขั้นตอนที่ 2: เลือกประเภทของเบต้า
| ประเภท | ใคร | เหมาะเมื่อ | ข้อแลกเปลี่ยน |
|---|---|---|---|
| เพื่อนและอัลฟา | คนที่คุณรู้จัก | ช่วงแรกมาก เพื่อจับจุดที่พังอย่างชัดเจน | คำติชมสุภาพ แต่ไม่เป็นตัวแทน |
| เบต้าปิด | ผู้ใช้เป้าหมายที่ถูกเชิญ | ผลิตภัณฑ์ช่วงแรกส่วนใหญ่ | การคัดเลือกผู้ทดสอบต้องใช้ความพยายาม |
| เบต้าเปิด | ใครก็ตามที่สมัคร | ทดสอบการขยายและความหลากหลาย | ต้องซัพพอร์ตมากขึ้น ความลึกต่อผู้ทดสอบน้อยลง |
| เบต้าแบบจ่ายเงิน | ผู้ใช้ที่จ่ายราคาก่อตั้ง | ทดสอบความเต็มใจจ่าย | ความคาดหวังสูงขึ้น |
สำหรับผลิตภัณฑ์แรก เบต้าปิดที่มีหลายรอบมักเป็นทางเลือกที่ถูกต้อง
ขั้นตอนที่ 3: คัดเลือกผู้ทดสอบที่เหมาะสม
ผู้ทดสอบที่ดีที่สุดมีปัญหานั้นอยู่ตอนนี้ ตรงกับผู้ใช้เป้าหมายของคุณ และมีเวลาลองแอปในช่วงเบต้า แหล่งที่จะหาพวกเขาได้:
- รายชื่อรอ (waitlist) หรืออีเมลลิสต์ของคุณ ดูวิธีสร้างกลุ่มผู้ติดตามก่อนเปิดตัว
- คนที่คุณสัมภาษณ์ระหว่างการตรวจสอบ
- ชุมชนเฉพาะกลุ่มที่ผู้ใช้ของคุณรวมตัวกัน โดยทำตามกฎของชุมชนเรื่องการโปรโมต
- การเชิญโดยตรงไปยังคนในเครือข่ายของคุณที่ตรงกับโปรไฟล์
ถามคำถามคัดกรองไม่กี่ข้อเพื่อเลือกผสมผสาน เช่น บทบาทของพวกเขา วิธีที่พวกเขาแก้ปัญหาในปัจจุบัน อุปกรณ์ที่พวกเขาจะใช้ และปัญหานี้เกิดบ่อยแค่ไหน เชิญคนที่คำตอบตรงกับผู้ใช้เป้าหมายของคุณ และหลีกเลี่ยงการเติมเบต้าด้วยเพื่อนผู้ก่อตั้งด้วยกัน เว้นแต่พวกเขาคือผู้ใช้เป้าหมาย
ตัวอย่างข้อความเชิญ
สวัสดีค่ะ/ครับ [ชื่อ] คุณเคยพูดถึง [ปัญหา] ตอนที่สมัคร ฉันกำลังเปิดเบต้าส่วนตัวขนาดเล็กของ [ผลิตภัณฑ์] ซึ่ง [ผลลัพธ์] เบต้าจะดำเนินการตั้งแต่ [เริ่ม] ถึง [สิ้นสุด] ฉันขอให้ผู้ทดสอบใช้ [งานจริง] อย่างน้อยสัปดาห์ละครั้ง และตอบแบบสอบถามสั้น ๆ ทุกวันศุกร์ ตอบแทนด้วยการใช้งานฟรีระหว่างเบต้าและ [ราคาก่อตั้ง / ระยะเวลาฟรีที่ขยายออกไป] สนใจไหมคะ/ครับ
ระบุเวลาที่ต้องใช้ให้ชัดเจน คนที่รู้ว่าตัวเองสมัครอะไรไปจะให้ความคิดเห็นที่ดีกว่า
ขั้นตอนที่ 4: เตรียมชุดสำหรับเบต้า
ก่อนส่งคำเชิญแรก ให้เตรียมสิ่งเหล่านี้:
- ข้อความต้อนรับ พร้อมลิงก์ วิธีล็อกอิน งานแรกที่ควรลอง และวิธีรายงานปัญหา
- รายการปัญหาที่ทราบอยู่แล้ว เพื่อไม่ให้ผู้ทดสอบรายงานเรื่องเดิมสิบครั้ง
- ช่องทางความคิดเห็นเดียว แบบฟอร์ม กลุ่มแชทที่ใช้ร่วมกัน หรืออีเมล ที่เดียว ไม่ใช่ห้าที่
- แม่แบบรายงานบั๊ก ขอให้บอกว่าพวกเขาทำอะไร คาดหวังอะไร เกิดอะไรขึ้น อุปกรณ์และเบราว์เซอร์ และภาพหน้าจอ วิธีเขียนรายงานบั๊กที่ดี มีเวอร์ชันที่ส่งให้คนอื่นได้
- การวิเคราะห์หรือล็อกพื้นฐาน เพื่อให้คุณเห็นสิ่งที่เกิดขึ้นโดยไม่ต้องพึ่งความจำ
- ความคาดหวังที่ชัดเจนเรื่องข้อมูล บอกผู้ทดสอบหากข้อมูลอาจถูกรีเซ็ตระหว่างเบต้า และอย่าให้พวกเขาใส่ข้อมูลที่ละเอียดอ่อนลงในแอปที่ยังไม่เสร็จ
- พื้นฐานเรื่องข้อกำหนดและความเป็นส่วนตัว ข้อตกลงเบต้าสั้น ๆ และหมายเหตุความเป็นส่วนตัว ตรวจกฎท้องถิ่นหรือปรึกษาที่ปรึกษาหากคุณจัดการข้อมูลส่วนบุคคล
ขั้นตอนที่ 5: ทำเป็นรอบ
การทำเป็นรอบช่วยให้คุณแก้ปัญหาก่อนที่คนจำนวนมากขึ้นจะเจอ
| รอบ | ผู้ทดสอบ | จุดเน้น |
|---|---|---|
| รอบ 1 | ไม่กี่คน | พวกเขาสมัครและทำงานหลักเสร็จได้หรือไม่ ดูบางเซสชันสด |
| รอบ 2 | กลุ่มที่ใหญ่ขึ้น | การใช้งานจริงในช่วงสองสามสัปดาห์ แก้ปัญหาหลักระหว่างรอบ |
| รอบ 3 (ไม่บังคับ) | กว้างขึ้นหรือเปิด | onboarding โดยไม่มีคุณช่วย ความน่าเชื่อถือ การทดสอบราคา |
ในรอบ 1 ขอให้ผู้ทดสอบสองถึงสามคนแชร์หน้าจอขณะที่พวกเขาลองแอปเป็นครั้งแรก เงียบไว้และดูว่าพวกเขาลังเลตรงไหน นี่มักเป็นหนึ่งชั่วโมงที่มีประโยชน์ที่สุดของเบต้าทั้งหมด
ขั้นตอนที่ 6: เก็บความคิดเห็นตามจังหวะ
ข้อความ “มีความคิดเห็นอะไรไหม” แบบไม่มีโครงสร้างได้คำตอบที่คลุมเครือ ใช้การเช็กอินสั้น ๆ ที่สม่ำเสมอแทน:
การเช็กอินรายสัปดาห์ (คำถามตัวอย่างสมมติ)
- สัปดาห์นี้คุณใช้ [ผลิตภัณฑ์] ทำอะไร
- อะไรที่น่าหงุดหงิดหรือสับสน
- มีอะไรขาดไปจนทำให้คุณทำงานให้เสร็จไม่ได้ไหม
- หากคุณใช้ไม่ได้อีกต่อไป คุณจะรู้สึกอย่างไร (ผิดหวังมาก / ค่อนข้าง / ไม่เลย)
- มีอะไรอีกไหม
เทียบสิ่งที่คนพูดกับสิ่งที่พวกเขาทำ คนที่บอกว่าดีมากแต่ไม่เคยล็อกอินก็กำลังบอกคุณบางอย่างเช่นกัน
ขั้นตอนที่ 7: คัดแยกสิ่งที่เข้ามา
รวมความคิดเห็นทั้งหมดไว้ในรายการเดียวและจัดลำดับทุกสัปดาห์
| หมวด | ตัวอย่าง | การดำเนินการ |
|---|---|---|
| ตัวขวาง | สมัครไม่ได้ ข้อมูลหาย การชำระเงินล้มเหลว | แก้ทันที แจ้งผู้ทดสอบที่ได้รับผลกระทบ |
| บั๊กสำคัญ | ฟีเจอร์หลักเสียในอุปกรณ์ที่พบบ่อย | แก้ในรอบนี้ |
| ความสับสน | หาปุ่มไม่เจอ อ่านป้ายผิด | แก้ข้อความหรือเลย์เอาต์ ถูกและคุ้มค่า |
| บั๊กเล็ก | ความผิดพลาดทางภาพ กรณีพิเศษที่พบยาก | รวมไว้ทำทีหลัง |
| คำขอฟีเจอร์ | “ทำ X ได้ด้วยไหม” | บันทึก ถามว่าแก้ปัญหาอะไร และมองหารูปแบบ |
อย่าเพิ่มฟีเจอร์ใหญ่ระหว่างเบต้า แต่ละฟีเจอร์ใหม่ทำให้ยากขึ้นที่จะบอกได้ว่าผลิตภัณฑ์หลักทำงานได้หรือไม่
ขั้นตอนที่ 8: ปิดวงจร
ผู้ทดสอบจะให้ความคิดเห็นต่อไปเมื่อเห็นว่ามันถูกนำไปใช้
- ส่ง changelog สั้น ๆ หลังแต่ละรอบ: “คุณรายงาน X แล้ว และแก้ไขแล้ว”
- ขอบคุณผู้ทดสอบเป็นรายบุคคลแบบส่วนตัวเมื่อรายงานของพวกเขานำไปสู่การแก้ไข
- แจ้งผู้ทดสอบเมื่อเบต้าจบ ข้อมูลและบัญชีของพวกเขาจะเป็นอย่างไร และข้อเสนอก่อตั้งของพวกเขาคืออะไร
ขั้นตอนที่ 9: ตัดสินใจว่าพร้อมหรือยัง
เขียนเกณฑ์การจบไว้ก่อนเบต้าเริ่ม แล้วตรวจสอบอย่างซื่อสัตย์เมื่อจบ ตัวอย่างเทมเพลต:
- ไม่มีตัวขวางที่ทราบอยู่หรือบั๊กที่ทำให้ข้อมูลหาย
- ผู้ทดสอบใหม่ส่วนใหญ่ทำงานหลักเสร็จได้โดยไม่ต้องช่วย
- สัดส่วนที่มีนัยสำคัญของผู้ทดสอบกลับมาใช้เองในสัปดาห์หลัง ๆ
- จุดสับสนที่สำคัญที่สุดได้รับการแก้ไขและทดสอบซ้ำแล้ว
- การสมัคร การรีเซ็ตรหัสผ่าน และขั้นตอนการชำระเงินใด ๆ ทำงานครบตั้งแต่ต้นจนจบ
- คุณมีข้อความที่ชัดเจนว่าผลิตภัณฑ์นี้เพื่อใคร ในคำพูดของผู้ทดสอบ
หากส่วนใหญ่ถูกทำเครื่องหมายแล้ว ให้ไปขัดเกลาการ onboarding และเปิดตัวต่อสาธารณะ หากการใช้งานซ้ำน้อย นั่นเป็นคำถามเรื่องผลิตภัณฑ์ ไม่ใช่รายการบั๊ก ให้กลับไปสัมภาษณ์ก่อนเปิดตัว
การทำเบต้ากับ Mythex
หากคุณสร้างด้วย Mythex มีฟีเจอร์บางอย่างที่เข้ากับเบต้าได้พอดี:
- ลิงก์พรีวิวสำหรับรอบ 1 ปุ่ม Share สร้างลิงก์ไปยังพรีวิวสดของคุณที่ใช้ได้โดยไม่ต้องมีบัญชี Mythex ทำให้ผู้ทดสอบต้นทางลองงานที่ยังไม่เสร็จก่อนที่คุณจะเผยแพร่ได้ สร้างหนึ่งลิงก์ต่อกลุ่มและลบเมื่อเสร็จ เอกสารพรีวิว อธิบายว่าลิงก์ปลุกโปรเจกต์และใช้เครดิตอย่างไร
- เผยแพร่สำหรับรอบที่ยาวกว่า แอปที่เผยแพร่แล้วทำงานที่ที่อยู่ของตัวเอง เหมาะกับผู้ทดสอบที่ใช้งานหลายสัปดาห์
- การทดสอบแอป (App Testing) ก่อนแต่ละรอบ พิมพ์
/testในแชท แล้วเอเจนต์จะคลิกผ่านพรีวิวของคุณและรายงานขั้นตอนที่พัง เป็นการตรวจที่มีประโยชน์ก่อนเชิญใคร (เอกสารการทดสอบแอป) - เช็คพอยต์ หากการแก้ไขทำให้บางอย่างพังระหว่างเบต้า ให้ย้อนกลับไปยังเช็คพอยต์ก่อนหน้า
วางรายงานบั๊กของผู้ทดสอบลงในแชทโดยตรง แล้วขอให้เอเจนต์ทำซ้ำและแก้ไข จากนั้นแจ้งผู้ทดสอบเมื่อแก้ไขแล้ว
คำถาม
ฉันต้องการผู้ทดสอบเบต้ากี่คน
น้อยกว่าที่คนส่วนใหญ่คิด กลุ่มเล็ก ๆ ที่ตรงกับผู้ใช้เป้าหมายของคุณและใช้แอปจริงจะเจอปัญหาใหญ่ส่วนใหญ่ เริ่มจากไม่กี่คน แก้สิ่งที่พบ แล้วค่อยขยายไปยังกลุ่มที่ใหญ่ขึ้น
การทดสอบเบต้าควรกินเวลานานเท่าไร
นานพอให้ผู้ทดสอบใช้แอปเหมือนที่พวกเขาจะใช้ในชีวิตจริง ซึ่งสำหรับสิ่งที่ใช้ทุกสัปดาห์มักหมายถึงหลายสัปดาห์ กำหนดวันสิ้นสุดไว้ล่วงหน้า เพื่อไม่ให้เบต้ายืดออกไปเรื่อย ๆ
ผู้ทดสอบเบต้าควรจ่ายเงินหรือไม่
ขึ้นอยู่กับสิ่งที่คุณต้องการเรียนรู้ เบต้าฟรีคัดคนได้ง่ายกว่า ส่วนเบต้าแบบจ่ายเงินหรือมีส่วนลดบอกได้ว่าคนให้คุณค่ากับผลิตภัณฑ์มากพอจะจ่ายหรือไม่ ผู้ก่อตั้งหลายคนเริ่มด้วยเบต้าปิดฟรีก่อน แล้วขอให้จ่ายในรอบถัดไป
เบต้าแบบปิดกับแบบเปิดต่างกันอย่างไร
เบต้าแบบปิดเข้าร่วมได้ด้วยคำเชิญเท่านั้น มักเป็นกลุ่มเล็ก ๆ ที่คุณเลือกและพูดคุยโดยตรง ส่วนเบต้าแบบเปิดให้ใครก็สมัครได้ ได้ปริมาณและความหลากหลายมากกว่า แต่มีการติดต่อส่วนตัวน้อยลงและมีงานซัพพอร์ตมากขึ้น
ฉันควรทำอย่างไรกับคำขอฟีเจอร์จากผู้ทดสอบเบต้า
บันทึกไว้ ถามว่าแต่ละคำขอจะแก้ปัญหาอะไร และมองหารูปแบบ เบต้าส่วนใหญ่ควรแก้บั๊กและความสับสนก่อน การเพิ่มฟีเจอร์ระหว่างเบต้าทำให้ยากที่จะบอกได้ว่าผลิตภัณฑ์หลักทำงานได้หรือไม่