Кто ни будь занимался A/B – тестированием своих проектов?

[ITeshnik]

Поэтому я думаю хорошим тоном будет тестировать не более одного изменения за раз.

Мы тестировали совершенно разные страницы с карточкой товара.
Абсолютно разные.
Ту которую нарисовал дизайнер и ту которую сверстал опытный верстальщик соблюдая стилистику дизайна.
Практика показала, что опытный верстак создал более юзер ориентированную страницу.
Статистику вели внутренними сервисами и яндек "тепловой картой"(кажись так называется)
С посещением в 50-100человек в день в начале за месяц кол-во увеличилось до 200-300 человек, тестировали два месяца.
Прошло через тест порядка 10 000 юзверей, 50/50 подсовывались страницы. Покупка чаще совершалась там где кнопка "купить" была в разы больше, и больше отведено визуальному восприятию, а тех характеристики были чуть в сторонке.
Только вот интересно, клиент скрепя сердцем согласился оставить более продаваемую страницу, хотя настаивал на том что: "Людям нужны характеристики, кнопку купить кто захочет найдёт". Через пол года он решил сменить компанию и перешёл на дизайнерскую страницу... два месяца спустя вернулся)))

 

[montrey]

В начале пробовали abtest.ru, но были глюки в панели управления, решили отказаться.
Сейчас тестируем через сервис optimizely.com, он хоть и платный, но тестирование того стоит.
Пробовали менять заголовки, цвет кнопки заказать, картинки, во всех случаях разница в конверсии была, где-то в лучшую сторону, где-то в худшую.
В зависимости от тематики и трафика по ней, на А/Б текст уходит 1-2 месяца.

 

[Rudoy1488]

Мы свой сайт тестировали в офлайне ибо трафика не много и рисковать потенциальными клиентами страшно) подходили с ноутом к людям, по параметрам подходящим под нашу аудиторию. Давали три сайта ( два конкурента и наш), ставили три задачи ( найти услугу (её испытуемый выбирал перед началом тестирования из списка) Узнать цену ( иногда была другая задача) и выйти на контакт с исполнителем) Собственно сидели рядышком следили за телодвижениями испытуемого и делали себе пометки. В большинстве случаев поправки после теста положительно влияли на конверсию сайта. Ну это извращение конечно)

 

[UncleAlena]

В техническом плане Я A/B тестирование делаю вручную.
Реализовую я это таким немудреным способом (может кому-то пригодится, расписываю подробно: )

1. Разделить проект на две папки (две части) А и B. Записать их соответственно в корень сайта a и b каталоги. Настроить, чтобы запускались из этих папок корректно.
2. В корне сайта создать файл index.php
в результате корень вашего проекта должен выглядеть:

..
/a
/b
index.php

3. Пишу в index.php элементарный код разделения трафика с вероятностью 50 на 50

<?php
$date_time_array = getdate( time() );
$sec = $date_time_array['seconds'];
$bool = $sec % 2;

if ($bool == 0) {
                header("Location: /a/");
                die();
        }
else {
                header("Location: /b/");
                die();
}
?>

4. Настроить отдельно аналитику на каждую версию A B. Преимущественно лучше использовать яндекс метрику, так как там есть вебвизор.

Результат: вас случайным образом будет переадресовывать на любую из версий.

Все изменения версий делались исключительно в ручную без каких-либо редакторов. Считаю, что любые платные сервисы для такой элементарной штуки как А/Б тесты - просто не стоят того! За удобненький редатор платить денюжку не позволяет холеная жадность )) Ведь статистику можно просмотреть самостоятельно и в метрике!

 

[_sergey_]

Я так понимаю так учитываются только разовые заходы. Т.е. если человек выйдет с сайта и зайдёт повторно через час, то ему может показаться уже другой вариант оформления?

Кроме этого, есть проблема с поисковыми ботами. Если на период тестирования, надо чтобы в индексе сохранялся текущий вариант контента сайта, то непонятно как это сделать. При рандомной подгрузке, разных вариантов сайта, закрытие одного варианта в ноиндекс может привести к тому, что бот посетит именно этот вариант, со всеми вытекающими. Если контент будет различаться для 2-х вариантов, это ещё и под клоакинг попасть может. Вот ответ яндекса нашёл в подтвержедение этого: Для просмотра ссылки Войди или Зарегистрируйся

Получается что можно тестировать только разное графическое оформление, но не разный контент. А разный контент, можно тестировать только при динамической подгрузке его на страницу, когда ПС не будет видеть ни одного из вариантов.

Ещё, если это делать для уже раскрученного коммерческого сайта, то получится что для старой метрики - траф внезапно просядет вдвое, вот не знаю как это может сказаться на поведенческих и позициях.

Ещё вопрос, для какого минимального трафика на сайт/страницу в сутки имеет смысл заниматься тестирвоанием, чтобы исключить сезонные /новостные отклонения.

 

[Hannibal86]

Ну это извращение конечно)

Это грамотный шаг маркетинговой стратегии. Он-лайн А/В тестирование может дорого стоить клиенту - а так вы 90% всех проблем решаете еще на стадии планирования

 

[X-COS]

Сколько по времени (примерно) вы анализируете, чтоб принять решение, что нужно что-то добавить / изменить?

От недели до 2х, обычно это дает объективный срез между теми кто пришел первый раз и сразу сделал заказ и теми кто пришел посмотрел, ушел подумал и снова вернулся.

 

[_sergey_]

Сегодня, писал в яндекс, уточнить вопросы по А/В тестированию. Цитирую вопрос и ответ.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[UncleAlena]

Я так понимаю так учитываются только разовые заходы. Т.е. если человек выйдет с сайта и зайдёт повторно через час, то ему может показаться уже другой вариант оформления?

Всё верно. Только разовый заход. Но в принципе, можно допилить куку и присвоить ему уже один "его" вариант. Да. Это надо сделать.

Кроме этого, есть проблема с поисковыми ботами. Если на период тестирования, надо чтобы в индексе сохранялся текущий вариант контента сайта, то непонятно как это сделать. При рандомной подгрузке, разных вариантов сайта, закрытие одного варианта в ноиндекс может привести к тому, что бот посетит именно этот вариант, со всеми вытекающими. Если контент будет различаться для 2-х вариантов, это ещё и под клоакинг попасть может. Вот ответ яндекса нашёл в подтвержедение этого: Для просмотра ссылки Войди или Зарегистрируйся

Этим вопросом я не задавалась. Но бота ж вроде можно как-то обнаружить? Я прост ниразу не делала.
Думаю, к решению этого вопроса можно подойти с другой стороны — посмотреть как делают другие. Думаю, какой-то велосипед на этот счет уже изобретен или успешно ездит.

Получается что можно тестировать только разное графическое оформление, но не разный контент. А разный контент, можно тестировать только при динамической подгрузке его на страницу, когда ПС не будет видеть ни одного из вариантов.

Если делать динамическую подгрузку контента, то сайт однозначно вылетит из индекса

Ещё, если это делать для уже раскрученного коммерческого сайта, то получится что для старой метрики - траф внезапно просядет вдвое, вот не знаю как это может сказаться на поведенческих и позициях.

Ещё вопрос, для какого минимального трафика на сайт/страницу в сутки имеет смысл заниматься тестирвоанием, чтобы исключить сезонные /новостные отклонения.

Вот по этому вопросу ничего не могу сказать. Так как всю аналитику я спихивала заказчику. То есть я полноценно за тестирование не бралась, а просто реализовала возможность таковой.

Сегодня, писал в яндекс, уточнить вопросы по А/В тестированию. Цитирую вопрос и ответ.

К сожалению не могу посмотреть сообщение, я тут еще молод и зелён. А гадить форум не люблю. Хотя до коликов интересно ))

Пысы. Серж, напиши мне в лс, а то я не могу первой отсылать. Наверное пока рейтинга не хватает.

 

[_sergey_]

1.

Если делать динамическую подгрузку контента, то сайт однозначно вылетит из индекса.

Однозначно сайт останется в индексе, и ничего ему не будет. Бот, вообще такой контент не видит, поэтому как спам не идентифицирует. А если там нету никакой порнографии, то и стучать бесполезно будет вручную.

P.S. Хайд скорректировал, для молодых и ранних

2. Мне кажется, что надо тестировать разные варианты оформления для конкретного источника трафика. Так как на сайт постоянно ходят разные боты пс и соцсетей, парсеры разные, ядро посетителей, владельцы и редакторы сайта, парсеры и вообще случайные люди. Поэтому А/Б надо отдавать только тем кто пришёл скажем с поиска яндекса/гугла, и не рандомно, а чётко 50:50. Все изменяемые элементы подгружаемые: графика или текст. Для каждой версии изменений, свои варианты контактов - тогда уже по оформленным заявкам/звонкам будет ясно какой вариант оформления лучше. Куки для запоминания повторных визитов, тоже нужны.

Ещё как вариант, для А/Б вариантов отдавать урлы с параметрами, метрику настроить на отслеживание этих параметров. Для тех источников трафика которые не участвуют в тестировании, отдавать без параметров. Параметры само собой закрыть от индексации в роботсе. Такое практикуется весьма часто. Использоваться может не метрика, а своя система статистики.