Thử nghiệm A/B tiêu đề, nội dung và thời điểm gửi

Một thử nghiệm A/B gửi hai hoặc ba phiên bản của chiến dịch cho một nhóm thử trong danh sách người nhận, rồi gửi phiên bản có kết quả tốt hơn cho tất cả những người còn lại. Hãy dùng tính năng này cho A/B testing tiêu đề email, nội dung email hoặc thời điểm gửi.

Trước khi bắt đầu

• Thiết lập thử nghiệm cần campaigns:edit; đọc kết quả cần reports:view.
• Thử nghiệm A/B là một phần của chiến dịch email thường. Bản tin định kỳ và chiến dịch SMS, thông báo đẩy, WhatsApp không có tính năng này.
• Hãy đặt người nhận cho chiến dịch trước: nhóm thử được lấy từ danh sách này. Thử nghiệm hiệu quả nhất với danh sách người nhận lớn; với vài trăm người nhận, nhóm thử quá nhỏ để phân biệt các phiên bản.

Cách một thử nghiệm diễn ra

1. Khi bắt đầu gửi, ReputeCast lấy phần nhóm thử từ danh sách người nhận và chia gần đều cho các biến thể. Với nhóm thử 20% và hai biến thể, khoảng 10% nhận A và 10% nhận B. Nhóm thử được chọn theo liên hệ, không ngẫu nhiên theo từng lượt gửi: với cùng cỡ nhóm thử, các liên hệ trong nhóm thử luôn giống nhau ở mọi thử nghiệm.
2. Những người còn lại phải chờ. Theo dõi trực tiếp tính họ là đang chờ.
3. Khi khung thời gian thử nghiệm kết thúc (2 giờ sau khi gửi nhóm thử), biến thể có tỷ lệ cao hơn sẽ thắng: lượt mở bởi người đọc trên mỗi thư gửi thành công, hoặc lượt nhấp trên mỗi thư gửi thành công. Lượt mở tự động, như lượt tải trước của Apple Mail Privacy Protection, không bao giờ được tính.
4. Bản thắng được gửi cho tất cả những người đang chờ.

Bản thắng là biến thể có tỷ lệ cao hơn khi hết khung thời gian, kể cả khi chênh lệch nhỏ đến mức có thể chỉ là ngẫu nhiên. Nếu hòa, biến thể đứng trước (A, rồi đến B) thắng. Sau đó, báo cáo cho bạn biết chênh lệch có ý nghĩa thống kê hay không.

Thiết lập thử nghiệm

1. Mở chiến dịch trong trình soạn thảo và chọn Xem trước. Trong bảng bên, tìm Biến thể A/B và chọn Thiết lập.

   Trên khung thiết kế, nút + cạnh Biến thể A bắt đầu một thử nghiệm tiêu đề chỉ trong một bước (Bắt đầu thử nghiệm A/B).

2. Chọn điểm khác nhau giữa các biến thể:

   • Với thử nghiệm Tiêu đề, hãy viết tiêu đề thứ hai (và thứ ba). Mọi thứ khác giữ nguyên.
   • Với thử nghiệm Nội dung, nội dung được sao chép thành biến thể B. Chuyển khung thiết kế sang B và sửa. Tuyến và người nhận vẫn dùng chung.
   • Với thử nghiệm Thời điểm gửi, các biến thể là cùng một email gửi vào các thời điểm khác nhau, mặc định là 09:00 và 14:00.

3. Chọn Thêm biến thể để thêm biến thể thứ ba, C. Một thử nghiệm có hai hoặc ba biến thể.

4. Đặt Cỡ nhóm thử: 10%, 20% (mặc định), 30%, 40% hoặc 50% danh sách người nhận. Mỗi lựa chọn hiện số người nhận tương ứng.

5. Đặt Chọn bản thắng theo: lượt mở bởi người đọc hoặc lượt nhấp sau 2 giờ.

6. Chọn Kiểm tra và gửi. Độ sẵn sàng gửi hiện thử nghiệm, ví dụ “Thử nghiệm A/B tiêu đề” với “Mẫu 20% · chọn bản thắng lúc 12:00”, và bước xác nhận liệt kê thử nghiệm trước khi bạn gửi.

Để bỏ thử nghiệm, chọn Dừng thử nghiệm. Việc thay đổi hoặc bỏ thử nghiệm được ghi vào lịch sử phiên bản. Nếu chiến dịch đã được phê duyệt, thay đổi thử nghiệm sẽ đưa chiến dịch quay lại bước phê duyệt.

Thử nghiệm thời điểm gửi

Các thời điểm của thử nghiệm thời điểm gửi tính theo múi giờ của không gian làm việc, không theo múi giờ riêng của từng người nhận, dù bảng ghi là giờ địa phương của người nhận. Thời điểm nào đã qua khi bắt đầu gửi sẽ được dời sang ngày hôm sau. Lựa chọn Dùng giờ tốt nhất cho từng người nhận thay vào đó trong bảng này chưa có tác dụng với việc gửi trong bản dựng này; để gửi cho từng liên hệ vào giờ tốt nhất của họ, hãy chọn tùy chọn đó trong lên lịch và gửi chiến dịch thay vì chạy thử nghiệm thời điểm gửi.

Chọn thủ công

Chọn thủ công giữ lại phần người nhận còn lại cho đến khi có người chọn bản thắng. Khi nhóm thử đã được gửi, trạng thái chiến dịch chuyển sang Tự tạm dừng trong lúc chờ. Ứng dụng không có nút chọn bản thắng: hãy dùng thao tác API chọn bản thắng A/B, cần quyền campaigns:send. Hãy ưu tiên lượt mở bởi người đọc hoặc lượt nhấp, trừ khi bạn đã có sẵn script để chọn.

Đọc kết quả

Mở báo cáo của chiến dịch. Thẻ A/B là thẻ cuối cùng trên trang.

Với mỗi biến thể, thẻ hiện tiêu đề (hoặc nội dung hay thời điểm gửi), số người nhận và tỷ trọng trong nhóm thử, lượt mở bởi người đọc, lượt nhấp và khiếu nại. Nhãn cho biết bạn có thể tin kết quả đến mức nào:

Nhãn	Ý nghĩa
Đang thử nghiệm · quyết định lúc …	Khung thời gian vẫn đang mở.
B thắng · độ tin cậy 98%	B thắng và chênh lệch có ý nghĩa thống kê: kiểm định z hai tỷ lệ cho p nhỏ hơn 0,05.
Đã chọn B · chưa có ý nghĩa thống kê	B có tỷ lệ cao hơn và đã được gửi, nhưng chênh lệch có thể chỉ là ngẫu nhiên.
Chưa có ý nghĩa thống kê	Chưa có bản thắng nào được lưu, ví dụ một thử nghiệm chọn thủ công mà chưa ai quyết định.

Bản thắng được chọn thế nào giải thích quyết định, ví dụ “Lượt mở bởi người đọc trong 2 giờ sau khi gửi nhóm thử, kiểm định z hai tỷ lệ, mức tăng +2,8 điểm, p = 0,02”, và thời điểm phần còn lại được gửi. Phép kiểm định so sánh biến thể dẫn đầu với biến thể đứng thứ hai, nên với ba biến thể, biến thể thứ ba không được đưa vào tính toán. Các con số tiếp tục cập nhật khi có thêm lượt mở và lượt nhấp đến muộn, nên độ tin cậy có thể thay đổi sau khi đã quyết định.

Kết quả này cũng xuất hiện trong theo dõi trực tiếp khi thử nghiệm đang chạy (“biến thể B đang dẫn đầu”), dưới tên chiến dịch trong danh sách chiến dịch, và trong tệp CSV xuất từ báo cáo.

Mặc định và giới hạn

Thiết lập	Mặc định	Cách thay đổi
Số chiến dịch mỗi trang	25	Cố định trong ứng dụng; API pageSize, 1–100
Số biến thể trong thử nghiệm A/B	2 or 3 (A, B, C)	Trình soạn thảo › Biến thể A/B
Cỡ nhóm thử của thử nghiệm A/B	20% of the audience	Trình soạn thảo › Biến thể A/B › Cỡ nhóm thử, 10–50%; API chấp nhận 5–50%
Thời gian thử nghiệm A/B trước khi bản thắng được gửi cho phần còn lại	2 hours	API durationHours, 1–72
Bản thắng A/B được chọn theo	Human opens	Trình soạn thảo › Biến thể A/B › Chọn bản thắng theo; lượt mở bởi người đọc, lượt nhấp hoặc chọn thủ công
Mức ý nghĩa thống kê hiển thị trong báo cáo (kiểm định z hai tỷ lệ)	p below 0.05	Cố định; khi hết thời gian thử nghiệm, biến thể có tỷ lệ cao hơn vẫn được gửi dù kết quả có ý nghĩa hay không
Người nhận của một lần gửi thử	Up to 10 addresses	Cố định; thành viên không có quyền campaigns:send chỉ gửi thử được cho chính mình

Kiểm tra kết quả

• Khung thiết kế hiện nút chuyển Biến thể với A và B (và C).
• Độ sẵn sàng gửi hiện thử nghiệm kèm nhóm thử và thời điểm chọn bản thắng.
• Sau khung thời gian, thẻ A/B trong báo cáo nêu tên bản thắng và số người nhận còn lại đã nhận bản đó.

Khắc phục sự cố

• Không có lựa chọn A/B. Chiến dịch là bản tin định kỳ, hoặc vai trò của bạn thiếu campaigns:edit.
• Thử nghiệm luôn chọn A. Khi hết khung thời gian, không biến thể nào có lượt mở bởi người đọc hay lượt nhấp, nên A thắng vì hòa. Hãy dùng nhóm thử lớn hơn, hoặc chọn bản thắng theo lượt nhấp nếu người nhận ít khi mở thư.
• “Hãy viết tiêu đề cho biến thể B.” Thử nghiệm tiêu đề cần có tiêu đề cho mọi biến thể.
• Báo cáo ghi chưa có ý nghĩa thống kê. Chênh lệch quá nhỏ so với cỡ nhóm thử. Lần sau hãy dùng nhóm thử lớn hơn, hoặc thử một thay đổi lớn hơn.
• Phần người nhận còn lại không bao giờ nhận được email. Thử nghiệm đang dùng chế độ chọn thủ công; hãy chọn bản thắng qua API.

Liên quan

• Đọc báo cáo chiến dịch
• Theo dõi lượt gửi và tự động tạm dừng
• Sửa cảnh báo nội dung trước khi gửi
• Lên lịch và gửi chiến dịch