ab-group-size

    0.0.6 • Public • Published

    AB Calculator travis

    Хотите убедиться в результатах АБ-теста? Тогда этот скрипт для вас.

    Нельзя просто поделить трафик на две группы и через какое-то время объявить победителя на основе наибольшей конверсии. Результат обязан быть статистически значимым, а размер тестируемых групп удовлетворять определенным условиям. Существует несколько методов статистической проверки гипотез. Данный калькулятор использует для расчета метод z-критерия Фишера (Z-test) с несколькими изменяемыми параметрами:

    • уровень значимости (вероятность ошибки первого рода, false positive, α) — вероятность отклонить гипотезу, которая на самом деле верна.
    • вероятность ошибки второго рода, false negative, β (статистическая мощность = 1 - β) — вероятность принять гипотезу, которая на самом деле ложная.
    • минимальная разность конверсий при которой вариант считается победителем.

    Library have browser, node.js and cli versions.

    Browser

    CDN url – https://unpkg.com/ab-group-size Init script to some DOM element

    <div id="ab-calculator"
      data-abcalculator-alpha="5"
      data-abcalculator-beta="20"
      data-abcalculator-needed-delta-conversion="5"
      data-abcalculator-group-size="[10000,10000]"
      data-abcalculator-conversion="[5000, 5100]"
    ></div>
     
    <script src="ab_calculator.js"></script>
    <script>
      ab_calculator(document.getElementById('ab-calculator'));
    </script> 

    You can pass settings by:

    1. Data-attributes;
    2. ABCalculator initializer;
    3. Fill the settings fields.

    Node.js

    npm install ab-group-size

    Usage:

    let ABCalculator = require('ab-group-size');
     
    ABCalculator({
      alpha: 5,                // in percent, default = 5
      beta: 20,                // in percent, default = 20
      groupSize: [2000, 2000],
      conversion: [1000, 900]
    })

    CLI

    ab-group-size --alpha 5 --beta 20 "3, 3.2"

    TODO

    • Do nice design;
    • Extract browser.js to index.js with all methods;
    • Settings from data attribute;
    • Extract errors to const;
    • Generate html inside – html-webpack-plugin
    • Rewrite cli version;
    • Add tests;
    • test with no pass params, how it looks;
    • ability to add data throught dataset https://www.dropbox.com/s/dh3e9s3h8hqz0ml/Screenshot 2016-11-28 21.17.54.png?dl=0
    • build on npm
    • beta 100%, a 100 b 45?
    • to fix numbers;
    • output & libraryTarget;
    • add Normal readme;
    • implement t-test;
    • implement ANOVA-test;

    Install

    npm i ab-group-size

    DownloadsWeekly Downloads

    7

    Version

    0.0.6

    License

    MIT

    Last publish

    Collaborators

    • avatar