Архив за май, 2017

AGILE A/B Testing – нова парадигма в А/Б експериментите

23.05.2017

Днес представяме изцяло нов статистически подход, водещ до значително подобрение на ефективността и оттам – на възвращаемостта от провеждането на A/B и MVT тестове в редица дейности, свързани с онлайн маркетинга. Нарекохме подхода “AGILE A/B Testing” (Гъвкави А/Б Тестове) и го описахме в подробен 46-страничен white paper, който разпространяваме безплатно. Пускането на пейпъра е придружено и от новия ни софтуерен инструмент: AGILE A/B Testing Calculator, който помага на експертите по оптимизация на конверсиите, оптимизация на целеви страници, оптимизация за търсачки и специалистите по платена реклама в прилагането на този статистически метод в ежедневната им работа по дизайн, изпълнението и анализа на онлайн експерименти.

AGILE A/B Testing

Някои от основните предимства на статистическия подход AGILE са:

  • До 80% по-бързи тестове, сравнено с традиционни за индустрията подходи
  • Правила за ранно спиране както за позитивен ефект, така и при малък шанс за позитивен ефект
  • Гъвкавост в извършването на анализ и оценка на данните

По-бързи експерименти означава по-бърз процес като цяло, включително по-бързо въвеждане на доказаните победители. Статистически издържани правила за ранно прекратяване на експеримента поради малка вероятност от засичане на подобрение от посочено минимално ниво е нова функционалност в индустрията за онлайн експериментиране. Тя позволява експерименти с много слаби текущи резултати да бъдат спирани бързо, а ресурсите за тяхното провеждане и наблюдение да бъдат пренасочвани към по-обещаващи тестове. Гъвкавостта да се извършват текущи анализи на данни при постъпването им, при запазване на контрола върху толеранса за грешка, е високо търсено от повечето практици и прави така, че статистическия метод и бизнес процеса са добре напаснати един към друг.

Комбинирани, горните предимства водят до значително подобрение на възвращаемостта на инвестицията от всякакви усилия в посока А/Б или мултивариативни експерименти, които се провеждат според AGILE подхода, независимо дали се отнася за тестове в сферата на оптимизация на реализациите, оптимизация на целеви страници или на платена реклама.

Методът се прилага най-лесно и коректно с чисто новия статистически калкулатор, който вече е част от SaaS продукта на компанията: Analytics-Toolkit.com. Инструмента опростява процеса на използване на AGILE подходът към онлайн експериментите като автоматизира всички статистически процедури и ги пакетира в интерфейс, който може да бъде използван без нуждата от дълбоки познания по статистика или математика.

Според Георги Георгиев, автор на публикацията и управител на Уеб Фокус ЕООД: “Чрез пускането на нашата AGILE A/B testing публикация даваме резултата от сериозни R&D усилия и статистическа експертиза безплатно. Вярвам, че прилагането на по-точния и по-ефективен статистически подход AGILE ще помогне на цялата индустрия да направи стъпка напред, като както агенции, така и клиенти ще започнат да виждат по-добра възвращаемост от провеждането на А/Б експерименти онлайн. Наличието на надеждно измерване на ефекта от който и да е вариант при АБ тест, както и несигурността на измерването, позволява на хората, взимащи решения, да взимат интелигентни решения и да придвижат бизнеса си в правилната посока с по-голяма сигурност.”

Извадка от статистическия анализ, извършван от инструмента:

Резултати от А/Б експеримент