Скачать 

[karpov.courses] Симулятор A/B тестов. Базовая версия [Валерий Бабушкин, Николай Назаров]

Цена: 265 РУБ
Организатор: Кожемяка
Список участников складчины:
  • 1. alexalexalexalex
  • 2. marry_ya
  • 3. Юлия_91
  • 4. nhiu
  • 5. ник-скрыт
  • 6. Katea_1
  • 7. rusiko
  • 8. peresmeshnik123
  • 9. Coffy
  • 10. Nadezhda_789
  • 11. Angela_V
  • 12. Kalimac
Кожемяка
Кожемяка
Не Стучи Дважды
Организатор
  • #1

[karpov.courses] Симулятор A/B тестов. Базовая версия [Валерий Бабушкин, Николай Назаров]

Ссылка на картинку
Базовая версия
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер -
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента

Разработчики провели рефакторинг кода и
:)
подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
ПРОГРАММА КУРСА ://
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики
  • Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
  • В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
  • Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
  • Узнаем, как появилась идея проверять гипотезы.
  • Создадим собственный критерий принятия решений.
  • Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
  • Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
  • Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
  • Познакомимся с методом бутстрэп.
  • Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
  • Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
  • Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
  • Выбрать метрику для эксперимента не всегда просто.
  • Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
  • Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
  • Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
  • Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
  • При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
  • Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
 
Зарегистрируйтесь , чтобы посмотреть скрытый авторский контент.

Войдите или зарегистрируйтесь, чтобы комментировать и скачивать складчины!

Учетная запись позволит вам участвовать в складчинах и оставлять комментарии

Регистрация

Создайте аккаунт на форуме. Это не сложно!

Вход

Вы уже зарегистрированы? Войдите.

Сверху