Game App – Customer Behavior & Retention Dashboard

“Làm sao biết một chế độ chơi mới thật sự khiến người chơi quay lại – chứ không phải may mắn?”

Indiez muốn tăng tỷ lệ người chơi quay lại ngày hôm sau từ 30% lên 32%. Tôi thiết kế trọn vẹn một quy trình A/B test: tính cỡ mẫu (8.380 người/nhóm), sinh dữ liệu mô phỏng, dựng hệ thống cảnh báo, báo cáo tuần, mô hình dự đoán churn và báo cáo tháng – để mỗi quyết định ra mắt tính năng đều có căn cứ.

1. Bối cảnh

Đội Product, Data và Dev của Indiez chuẩn bị ra mắt một chế độ chơi mới (new_mode). Mục tiêu của tổ chức: tăng Day 1 Retention. Ban lãnh đạo yêu cầu hai việc: thiết kế thử nghiệm A/B (chỉ số, cỡ mẫu, mức ý nghĩa) và cách phân tích kết quả (ý nghĩa thống kê, mức đạt kỳ vọng, phân tích bổ sung).

Báo cáo gửi đến: Product Manager, Head of Data, Head of Development.

2. Thiết kế thử nghiệm

Thành phần	Lựa chọn
Chỉ số chính	Day 1 Retention – % người chơi quay lại ngày thứ hai sau khi cài
Chỉ số phụ	Thời lượng phiên, churn rate, tỷ lệ hoàn thành tutorial, DAU
Phân tích bổ sung	Theo thiết bị, tuổi, giới tính, vùng; win rate, lý do thua, giờ chơi; phản hồi người chơi; doanh thu
Cỡ mẫu	Kiểm định hai tỷ lệ: p₁ = 30%, p₂ = 32%, α = 0,05, power = 0,8 → 8.380 người/nhóm, tổng 16.760
Chia nhóm	Ngẫu nhiên 50/50 giữa Control (bản hiện tại) và Test (new_mode). Game ít người chơi có thể dùng tỷ lệ 80/20 hoặc 90/10 để giảm rủi ro

3. Dữ liệu

Vì chưa có dữ liệu thật, tôi dùng Python sinh dữ liệu mô phỏng để dựng và kiểm thử toàn bộ quy trình. Kết quả vì vậy minh hoạ cách đọc số liệu, không phải kết luận về game thật.

Bảng	Nội dung
game_data	5.000 người chơi, 15/03 – 16/06/2025: sự kiện, chế độ chơi, thắng/thua, lý do thua, thời gian chơi, doanh thu
player_info	Nhóm tuổi, giới tính, vùng, mức chi tiêu, tần suất chơi (Casual / Regular / Heavy)
player_feedback	Điểm đánh giá 1–5, bình luận, vấn đề gặp phải (Difficulty / Performance / Bug)

4. Hành trình xử lý dữ liệu

Extract – gom dữ liệu từ phản hồi người chơi, hệ thống game và web/app.
Transform – làm sạch, gắn nhóm Control/Test theo chế độ chơi, tính cohort và các chỉ số theo ngày.
Load – lưu vào kho dữ liệu chung, tách thành 3 bảng: A/B test, khách hàng, phản hồi.
Theo dõi hằng ngày – hệ thống cảnh báo trên Google Sheets: nếu retention dưới 30%, tự động gửi email và Telegram cho người phụ trách, chạy lúc 9:00 mỗi ngày.
Báo cáo tuần (Power BI) – so sánh Control và Test, là tài liệu chính cho họp liên phòng ban.
Dự đoán churn (Python) – mô hình Random Forest nhận diện sớm người chơi có nguy cơ rời bỏ.
Báo cáo tháng – tổng hợp cả ba nguồn trên cùng phân khúc & phản hồi, phục vụ quyết định chiến lược.

5. Dữ liệu kể gì? (trên dữ liệu mô phỏng)

Chỉ số (15/03 – 23/06/2025)	Control	Test
Retention	55,35%	56,40%
Thời lượng chơi TB	85,76	85,22
Người chơi trong kỳ	Tổng 3.302
Đánh giá TB	Tổng 2,81 / 5

Test nhỉnh hơn Control khoảng 1 điểm phần trăm retention, còn thời lượng chơi gần như không đổi – cần kiểm định thống kê trước khi kết luận.
Nhóm 25–34 tuổi đông nhất (1.958 người) và có retention cao nhất (56,60%); nhóm 35–44 thấp nhất (52,93%).
Phản hồi tập trung vào độ khó (41), tiếp theo là hiệu năng (26) và lỗi (20) – gợi ý ưu tiên cân bằng độ khó trước.
Lý do thua phân bố khá đều: hết giờ (345), bị đối thủ hạ (330), lý do khác (302).

Mô hình dự đoán churn

Phiên bản mô hình	Accuracy	Recall (churn)	Precision (churn)
Random Forest ban đầu	0,81	0,15	0,28
Sau khi oversampling lớp churn	0,72	0,47	0,27

Accuracy ban đầu cao nhưng gây hiểu lầm: mô hình gần như chỉ đoán “không churn”. Sau khi cân bằng dữ liệu, mô hình bắt được gấp 3 lần số người chơi sắp rời đi, đổi lại accuracy giảm. Với bài toán giữ chân, bắt sót ít quan trọng hơn đoán đúng tổng thể – nhưng kết quả vẫn cần cải thiện trước khi dùng thật.

6. Hệ thống tạo ra giá trị gì?

Người dùng	Nhận được gì
Người phụ trách vận hành	Cảnh báo tức thì khi retention tụt dưới ngưỡng, không cần mở dashboard
Product, Data, Dev, Marketing	Báo cáo tuần so sánh Control/Test, phát hiện sớm retention giảm hoặc churn tăng
Lãnh đạo	Báo cáo tháng: kết quả dài hạn, phân khúc, xu hướng và đề xuất triển khai hay tối ưu new_mode

7. Giới hạn

Toàn bộ số liệu là mô phỏng – quy trình dùng lại được, còn con số cần chạy lại trên dữ liệu thật.
Mô hình churn mới ở mức tham khảo (recall 0,47); nên thử thêm đặc trưng hành vi và mô hình khác.

Case study thực hiện cho Indiez. Công cụ: Python, Power BI, Google Sheets.