by Jeff Fossett, Duncan Gilchrist, and Michael Luca
Hơn bao giờ hết, các nhà quản lý đang sử dụng các thử nghiệm đối chứng ngẫu nhiên trên quy mô lớn để đưa ra các quyết định. Điều này đã dẫn đến lợi ích ấn tượng cho các tổ chức từ Amazon đến chính phủ Vương quốc Anh. Chúng tôi rất vui mừng về sự gia tăng của các thử nghiệm trong các tổ chức và đã dành phần lớn thời gian trong vài năm qua để suy nghĩ về cách thiết kế và diễn giải chúng. Đồng thời, chúng tôi nhận thấy rằng thử nghiệm vẫn không đồng đều giữa các tổ chức và trong các tổ chức và nhiều công ty phải vật lộn với các cách để bắt đầu hoặc mở rộng thử nghiệm.
Một cách đơn giản và thường bị xem nhẹ đối với các công ty lớn hơn để thử nghiệm là ngẫu nhiên giới thiệu các sản phẩm mới trên một nhóm thị trường. Để xem điều này có thể có giá trị như thế nào, hãy xem xét cách Uber triển khai dịch vụ Express Pool vào năm 2018.
Vào thời điểm đó, công ty đã cung cấp dịch vụ UberPool, một dịch vụ cho phép hành khách đi cùng lộ trình chia sẻ các chuyến đi và chi phí. Với UberPool, hành khách được đón và trả khách ở bất cứ đâu họ thích, giống như các dịch vụ khác của Uber. Nhưng với dịch vụ Express Pool, chi phí thậm chí còn thấp hơn UberPool, hành khách thường được yêu cầu đi bộ quãng đường ngắn để đáp ứng chuyến đi và đến điểm đến của họ.
Vào năm 2018, trước khi ra mắt Express Pool, Uber đã giao nhiệm vụ cho một người trong chúng tôi (Duncan, người quản lý một nhóm các nhà kinh tế và nhà khoa học dữ liệu trong công ty) đánh giá khả năng thành công của nó. Có bao nhiêu hành khách sẽ chọn tham gia và dịch vụ sẽ ảnh hưởng như thế nào đến hệ sinh thái Uber rộng lớn và phức tạp hơn?
Để trả lời những câu hỏi đó, Duncan và nhóm của ông đã tiến hành một thử nghiệm, tung ra Express Pool tại sáu thị trường lớn và sau đó so sánh các chỉ số ở các thành phố ra mắt với các chỉ số ở những nơi khác. Tận dụng những tiến bộ gần đây trong các phương pháp thử nghiệm — đặc biệt là một phương pháp thống kê cho phép Uber sử dụng kết hợp có trọng số của các thành phố khác để tạo thành một nhóm kiểm soát “tổng hợp” phù hợp hơn — nhóm đã có thể đưa ra những cách mà việc triển khai đang ảnh hưởng đến mức độ sử dụng dịch vụ Uber. Không có gì ngạc nhiên khi Express Pool đã tạo ra các cách ghép nối chuyến đi mới. Nhưng thử nghiệm cũng tính đến ảnh hưởng của Express Pool đối với các sản phẩm hiện có của Uber và chỉ ra rằng việc tung ra dịch vụ này sẽ mang lại ý nghĩa kinh doanh tốt. Do đó, Uber đã có thể tự tin giới thiệu Express Pool đến nhiều thị trường lớn của mình. Sự tự tin này, và bằng chứng truyền cảm hứng cho nó, sẽ không thể đạt được được nếu không có thử nghiệm.
Các thị trường trực tuyến hiện nay có rất nhiều, từ Uber, Airbnb đến Rover và Tinder. Và Uber không đơn độc trong số các công ty này trong việc chuyển sang thử nghiệm cấp thị trường để thử nghiệm các sản phẩm và cải tiến mới.
Airbnb (nơi Jeff từng làm nhà khoa học dữ liệu) gần đây đã chạy thử nghiệm để kiểm tra tác động của thiết kế trang đích mới đối với xếp hạng và lưu lượng truy cập của công cụ tìm kiếm. Để chạy thử nghiệm, Airbnb đã khai thác thực tế rằng nó có các trang đích với các URL khác nhau cho các thị trường khác nhau (San Francisco, Boston, New York, v.v.). Điều này có nghĩa là họ có thể ngẫu nhiên hóa các URL khác nhau để bao gồm thiết kế mới hoặc không, do đó cô lập ảnh hưởng của thiết kế mới đối với lưu lượng truy cập của công cụ tìm kiếm. Và bằng cách làm đó, họ có thể chứng minh rằng thiết kế mới là một thành công: trang đích mới, hóa ra, đã thúc đẩy lưu lượng truy cập tìm kiếm tăng 3,5%, một sự cải thiện tương ứng với hàng chục triệu khách truy cập gia tăng mỗi ngày cho nền tảng. Dựa trên những phát hiện này, Airbnb đã tung ra thiết kế mới cho tất cả các thị trường.
Không chỉ các công ty công nghệ mới có thể sử dụng các thử nghiệm quy mô lớn để kiểm tra các sản phẩm và cải tiến mới. Hãy cân nhắc xem chuỗi nhà hàng có thể làm gì khi quyết định có cung cấp món bánh mì kẹp bơ tây mới hay không. Một cách tiếp cận truyền thống để đưa ra quyết định như thế này có thể là mở bánh mì kẹp tại một số cửa hàng được lựa chọn chiến lược, điều hành một số nhóm tập trung và nghiên cứu lịch sử bán hàng của các sản phẩm khác. Nếu mọi người có vẻ thích bánh mì kẹp ở những cửa hàng đó, doanh nghiệp có thể tung nó ra ở tất cả các cửa hàng của mình và hy vọng rằng nó sẽ thành công trên toàn quốc. Loại tiếp cận này sẽ cung cấp cái nhìn sâu sắc về vấn đề, nhưng nó có những hạn chế đáng kể. Ví dụ, sẽ rất khó để biết liệu chiếc bánh mì mới có làm giảm nhu cầu mua các món khác hay không. Và sẽ là một thách thức để xem liệu điều này có làm tăng số lượng khách hàng tổng thể hay không. Nếu chuỗi bổ sung cho cách tiếp cận này bằng một thử nghiệm ngẫu nhiên quy mô lớn, bằng cách tung bánh sandwich ra một nhóm các thị trường được lựa chọn ngẫu nhiên, họ có thể tìm hiểu thêm về những tác động mà việc thêm bánh sandwich có thể có trên doanh số bán hàng (cả đối với người mới và các sản phẩm hiện có), giữ chân khách hàng và sự hài lòng của khách hàng.
Chúng tôi đã thấy các công ty bỏ lỡ các cơ hội quan trọng để thử nghiệm và chúng tôi đã thấy các thử nghiệm gặp phải những thách thức về triển khai và diễn giải kết quả. Đối với các công ty muốn thử nghiệm sản phẩm mới bằng thực nghiệm, đây là một số hướng dẫn để bắt đầu:
1) Quyết định số liệu nào quan trọng nhất đối với bạn và sau đó đưa ra các giả thuyết về cách chúng có thể hoạt động. Đầu tư vào việc thu thập dữ liệu và quyết định trước những kết quả thử nghiệm nào sẽ tạo nên thành công hay thất bại. Tạo bản đồ từ dữ liệu đến các quyết định. Hãy nhớ rằng thật tuyệt nếu nhiều người mua một sản phẩm, nhưng không quá tuyệt nếu điều này dẫn đến nhiều cuộc gọi hỗ trợ khách hàng hơn.
2) Chọn một tập hợp con ngẫu nhiên các thị trường (ví dụ: khu vực, thành phố hoặc nhượng quyền thương mại) để khởi chạy sản phẩm. Kết quả của thử nghiệm cấp thị trường thường ồn ào, vì vậy khi bạn đã có trong đầu một tập hợp các thị trường, hãy suy nghĩ cẩn thận về việc liệu bạn có thể phát hiện ra những tác động mà bạn đang hy vọng hay không. (Tính toán công suất đòi hỏi nhiều giả định nhưng có thể giúp tìm ra điều này.)
3) Đảm bảo theo dõi không chỉ sản phẩm mới của bạn có đang hoạt động hay không mà còn cả việc ra mắt ảnh hưởng đến các sản phẩm hiện có như thế nào. Bản thân Express Pool có thể trông giống như một thành công, nhưng nếu nó không đủ phát triển thị trường chung cho các chuyến đi, thì có lẽ nó sẽ kém giá trị hơn so với tưởng tượng. Tương tự như vậy, khi Airbnb ra mắt sản phẩm mới, công ty cần phải suy nghĩ về việc việc đặt chỗ thông qua các sản phẩm hiện có bị ảnh hưởng như thế nào. Và khi Starbucks tung ra món bánh trứng sous vide của mình (nếu bạn chưa thử, chúng tôi khuyên bạn nên làm như vậy!), Họ cần phải xem xét không chỉ doanh thu của món trứng mà còn xem nó có làm giảm doanh thu các món khác trên thực đơn hay không.
4) Đảm bảo rằng bạn hiểu tại sao sản phẩm của bạn thành công hay thất bại. Các chỉ số hàng đầu như doanh thu và doanh số bán hàng không nói lên toàn bộ câu chuyện. Sản phẩm mới có cải thiện kết quả cho một số loại khách hàng trong khi gây hại cho họ cho những người khác không? Sản phẩm mới có giúp được một phần trong kênh chuyển đổi của bạn nhưng lại làm tổn hại đến phần khác không? Những động thái này có phù hợp với giả thuyết trước khi thử nghiệm của bạn không? Hiểu lý do tại sao chỉ số thay đổi có thể giúp bạn không chỉ đưa ra quyết định triển khai mà còn hiểu cách đổi mới trong không gian sản phẩm.
Nguồn: Harvard Business Review
