Продакт Меменджер

результати аб-тесту app2web на Ink AI

знаю що ви довго чекали на це – і результати вас не розчарують

1. конверсія в покупку:

- тестова група А – дроп 15.2%
- тестова група B – дроп 12.6%

2. predicted ARPU (по суті це реальні гроші, наша основна цільова метрика):

- тестова група А – нема різниці
- тестова група B – апліфт 4.24%

тобто очікувано у веб2апп флоу зменшилась конверсія в оплату (хоча насправді доволі не на багато, не так як у РевенюКета).

але ставка була на те, що завдяки нижчій комісії – грошей ми заробимо все-таки більше.

і ця ставка дійсно спрацювала. але лише в тестовому варіанті B, і дуже на трохи 😪 не 30% економії 😃

можливо таким апліфтом і варто було б задовільнитись, але тут нізвідки прилітає найбільша проблема – після того як ми вперше пройшли ревʼю з таким стороннім чекаутом, на наступному ревʼю еппл нас уже зареджектив за нього. і після кількох переписок з ними мені не вдалось переконати їх, що наша реалізація стороннього чекауту через web view це ок 🗣

вони хочуть щоб девелопери редіректили юзерів в ікстьорнал браузер.

ідентична ситуація до речі недавно сталась і з Патреоном.

тому по великому рахунку бенчмарки то ми зняли цим тестом, але реалізувати його в проді на всіх юзерів легально ми не можемо ☹️

типовий еппл - спершу апрув, потім реджект. з тим самим функціоналом.

тому в наступній ітерації ми звісно все ще зробимо оплату через пейволл в ікстьорнал браузері, а не через веб-вью, але в такій реалізації я очікую, що конверсія надто сильно впаде і економії на комісії не вистачить щоб цей дроп перекрити.

такі от новини, сподіваюсь корисно для ваших планів по нереалізації апп2веб флоу.

якщо хтось вже встиг протестити апп2веб і в себе – будь ласка, діліться в коментах результатами 🙆

---

п.с. кілька дисклеймерів по моїх обрахунках тесту:

1. в нас комісія еппла 30% (не small business program)
2. комісія платіжки доволі не мала – 5% + 50 центів (юзаємо паддл)
3. ребілл рейт наших тижневих підписок я закладав на вебі такий же, як на мобілці. по конверсії в перший ребілл бачу, що дійсно десь так +- і буде. + це підтверджують результати тесту РевенюКета по їхній конверсії з траялу в пейд.

тримайте першу корисну метрику по нашому аб-тесту – розподіл покупок в нашій тестовій групі А, в якій на всіх пейволах є покупки і через веб, і через IAP:

70% / 30% (веб / IAP)

тобто доволі не мала кількість людей все ще купують через IAP, але не настільки багато, щоб зовсім втрачалась вигода від меншої комісії. можете використати цей бенчмарк у своїх прогнозах-розрахунках, чи варто запускати в себе схожий тест.

щодо конверсії в покупку – дроп очікувано є, але я ще не готовий поділитись детальніше. чекаємо більше даних, стей тюнд 😘

пройшли рев'ю 💃

постараюсь найближчим часом накидати пост, що і як тестимо 😼

хто ще не проголосував? 👆

перші результати нашого веб-фаннела без квізів

метрики по воронці насправді доволі хороші, зацініть:

1. конверсія 1st Screen → 2nd Screen – 73.4%.

тут прям гуд. бенчмарк який ми збирали перед запуском – 50%.

але для справедливості більшість воронок на першому екрані роблять вибиралку віку юзера. ми ж вирішили одразу на першому екрані розказувати про перший велью проп нашої апки і під ним зробили велику кнопку continue. думаю це і спрацювало.

2. конверсія 2nd Screen → Sign In Screen – 97.6%.

дуже мінорний дроп, можна поки не дуже зважати.

3. конверсія Sign In Screen → Sign In Success / відкриття пейволлу (багато хто про це питав в коментах) – 73.7%.

тут трохи обідно. втрачаємо 1/4 юзерів чисто через те, що нам їх треба сайн інити для коректного трекінгу аналітики.

але це надто великий дроп, тому наступним тестом зробимо сайн ін все-таки після екрану оплати, уже придумали як це технічно можна захачити щоб максимально зберегти весь трекінг.

4. конверсія з відкриття пейволлу в покупку – тут не розкажу 😁

але вона доволі хороша, вища за бенчмарки, які ми збирали. але думаю основна причина тут все-таки в тому, що ціна нашого траялу (інтро офферу) всього 1 долар.

таким чином наш САС на веб-фаннелі виходить доволі непоганим, нижчим ніж на закупці на мобілку.

тому ми зараз продовжуємо його оптимізовувати (збільшувати CR to Paid) і паралельно міряємо конверсії в кілька перших ребілів, щоб могти порахувати (насправді спрогнозувати) всю юніт-економіку.

тільки так можна буде сказати, чи промісінг наш веб-фаннел, чи ні 💀