Расхождение
Два настоящих исследования, разница в тридцать раз
Возьмём магазин: 100 000 визитов в месяц, конверсия 2 %, средний чек 85 $. Это 170 000 $ выручки в месяц. Спросите калькуляторы, сколько стоит одна десятая секунды, и они ответят 31 234 $ в месяц, 374 805 $ в год. Спросите рандомизированные эксперименты, и ответ будет 1 020 $ в месяц.
Обе цифры взяты из настоящих исследований. Та, что больше, возводит в степень коэффициенты корреляционного отчёта по 37 брендам. Та, что меньше, переносит результат эксперимента, в котором 10% пользователей Bing намеренно замедлили на 100 миллисекунд, а ещё 10% на 250, и держали так две недели. На одной и той же величине эти два ответа расходятся в 30,6 раза.
Это не разница округления. Это разница между измеренным эффектом и замеченной корреляцией, и ни один калькулятор в нише о ней не говорит. Страница существует ради того, чтобы вы сами решили, какую из двух цифр нести на защиту бюджета.
Градация
Что может утверждать источник каждого типа
Уровни ниже не ранжируют исследования по тому, насколько они интересны. Они определяют, что именно взятая оттуда цифра имеет право утверждать.
| Уровень | Дизайн | Что может утверждать взятая оттуда цифра |
|---|---|---|
| Уровень A | Рандомизированный контролируемый эксперимент. Скорость намеренно меняли для случайно отобранной доли пользователей. | Причинное утверждение: если ускорить, вы получите X. |
| Уровень B | Крупное наблюдение. Скорость менялась сама, а результаты коррелировали с ней. | Только перекрёстная проверка. Такой источник не отделяет «сайт стал быстрее» от «быстрый визит — и есть визит с покупкой». |
| Уровень C | Первоисточник не сохранился. Цитируют везде, а следы ведут туда, где метод не описан. | Ничего. Внесён в список, чтобы его можно было отклонить поимённо, а не ловить снова в чужом блоге. |
Схождение
Три организации на одной шкале
Каждая цифра ниже — это выручка на 100 миллисекунд, приведённая к единой шкале, чтобы четыре источника можно было читать рядом.
| Источник | Дизайн | База, от которой измеряли | Выручка на 100 мс |
|---|---|---|---|
| Vodafone, 2021 | Рандомизированный контролируемый эксперимент | LCP 8,3 с улучшили до 5,7 с | 0,31 % |
| Bing (Microsoft), KDD '13 | Рандомизированный контролируемый эксперимент, рецензировано | Меньше секунды на 95-м перцентиле | 0,60 % |
| Zalando, 2018 | Рандомизированный контролируемый эксперимент | Не опубликована | 0,70 % |
| Deloitte with Google, 2020 | Наблюдение | Не опубликована | 18,37 % |
Первые три провели три не связанные между собой организации на трёх разных бизнесах: веб-поиск, фешн-ритейл и лендинг телеком-оператора. У них нет общего дизайна, общей аудитории и общих авторов, и они укладываются в разброс в 2,3 раза. Из-за этого согласия калькулятор показывает деньги диапазоном по этим трём, а не одним числом.
Четвёртый источник стоит выше всех трёх в 26–60 раз. И он же единственный из четырёх, где никто не решал, кому достанется медленная версия.
Если вчитаться, разброс внутри первых трёх — это находка, а не шум. Bing и Zalando сообщают предельную ценность первых 100 мс на быстрой базе. Vodafone сообщает среднюю ценность 100 мс на ремонте в 2,6 секунды, который начинался с 8,3 с. Меньшее среднее на гораздо большем улучшении — и есть убывающая отдача, когда её измерили, а не предположили. Три точки по трём разным бизнесам кривую не задают, так что это согласованность, а не доказательство.
Экстраполяция
Насколько далеко можно тянуть прямую
Цифра на 100 мс полезна только тогда, когда её можно умножать. Каждый калькулятор в нише её умножает, и ни один не говорит, на каком основании. Основание есть, и оно же ставит предел.
Kohavi, Deng, Longbotham и Xu провели на Bing эксперименты с замедлением на разную величину и написали, что линейное приближение для Bing вполне разумно, тут же продлив собственный результат с 250 мс до 500 мс. В той же работе они говорят, что эффект работает в обе стороны: и на замедление, и на ускорение. Эта вторая фраза и позволяет эксперименту с намеренным замедлением вообще что-то сказать о пользе ускорения, и именно её ни один калькулятор не обосновывает.
Та же работа ставит потолок. Более ранние тесты Bing с задержками до двух секунд дали меньший эффект на выручку, чем предсказывает прямая, и приводит она это без чисел, которые за этим стоят.
Поэтому прямая честна примерно до 0,5 с и не дальше. За этой границей модель ничего не оценивает в деньгах и сообщает остаток в секундах. Разрыв втрое больше проверенного диапазона и разрыв больше него в тринадцать раз дают одну и ту же сумму, а разницу между ними страница публикует как неоценённые секунды. Там, где кончаются доказательства, кончается и инструмент.
Форма отклика, измеренная на пяти дозах
Числа, которые стоят за этим потолком, опубликованы четырьмя годами раньше, той же компанией. Эрик Шурман из Bing и Джейк Брутлаг из Google показали свои эксперименты с задержками на Velocity в июне 2009 года. O'Reilly до сих пор раздаёт эту презентацию со своего конференционного CDN, и результаты Bing — таблица внутри неё.
Это единственный источник в отрасли, который приводит выручку больше чем на одной дозе. Один размер эффекта говорит, насколько сильно. Пять говорят, какой у отклика вид, а это именно то, что любой калькулятор скорости предполагает и ни один не измеряет.
| Задержка на сервере | Distinct Queries/User | Query Refinement | Revenue/User | Any Clicks | Satisfaction | Time to Click (increase in ms) |
|---|---|---|---|---|---|---|
| 50ms | нет | нет | нет | нет | нет | нет |
| 200ms | нет | нет | нет | -0.3% | -0.4% | +500 |
| 500ms | нет | -0.6% | -1.2% | -1.0% | -0.9% | +1200 |
| 1000ms | -0.7% | -0.9% | -2.8% | -1.9% | -1.6% | +1900 |
| 2000ms | -1.8% | -2.1% | -4.3% | -4.4% | -3.8% | +3100 |
Читайте колонку выручки сверху вниз. На 50 мс ничего. На 200 мс ничего. Потом 1,2% на половине секунды, 2,8% на секунде и 4,3% на двух. Шаг от половины секунды до секунды стоит дороже, чем стоила первая половина. Шаг от секунды до двух стоит дешевле предыдущего, хотя он вдвое длиннее.
В единицах, в которых работает эта страница, предельная цена 100 мс идёт 0,24% до половины секунды, 0,32% между половиной секунды и секундой, затем 0,15% за секундой. Примерно удваивается, потом вдвое падает. Это убывающая отдача, которая приходит в конкретное место, и место это — секунда.
Авторы вынесли это на слайд с выводами, именно так: «Delays under half a second impact business metrics». Эта модель останавливается там, где остановились они.
Не каждая миллисекунда одинакова
Задержка в критическом пути и задержка ниже первого экрана — это разные события, и разницу измерили. Bing задержал элементы правой панели на 250 миллисекунд почти для 20 миллионов пользователей. Если влияние на ключевые метрики и было, зафиксировать его не удалось.
Значит, секунда не просто секунда. Калькулятор, который берёт одну цифру из полевого отчёта и оценивает каждую миллисекунду так, будто она лежит в критическом пути, оценивает то, чего не измерял.
Разбор примера
Весь расчёт на виду
Тот же бизнес, что выше, с тремя стартовыми скоростями против одной цели. Ничего не спрятано во вспомогательной функции: арифметика выписана под таблицей.
Исходные данные
- 100 000 визитов в месяц
- конверсия 2 %
- средний чек 85 $
- ритейл: это вертикаль, где исходное исследование считало именно покупку
- целевой LCP 2,5 с, порог, который Google считает хорошим
| Текущий LCP | Разрыв | Оценено | Без оценки | В год: низ, центр, верх |
|---|---|---|---|---|
| 2,8 с | 0,3 с | 0,3 с | 0,0 с | 18 831 $ · 36 720 $ · 42 840 $ |
| 4,1 с | 1,6 с | 0,5 с | 1,1 с | 31 385 $ · 61 200 $ · 71 400 $ |
| 9,0 с | 6,5 с | 0,5 с | 6,0 с | 31 385 $ · 61 200 $ · 71 400 $ |
Средняя строка целиком: 170 000 $ в месяц, умножить на 0,60 % за каждые 100 мс, умножить на 5 шага по 0,1 с. Это центральная цифра, а границы подставляют 0,31 % и 0,70 % в ту же арифметику. Больше с числом ничего не делают, и возведения в степень здесь нет нигде.
Две нижние строки совпадают намеренно. Один сайт отстоит от цели на 1,6 с, другой на 6,5 с, и доказательства оценивают в обоих одни и те же полсекунды. Остальное идёт как расстояние, в секундах, потому что про остальное известно именно расстояние.
Выброс
Почему рыночная цифра больше в тридцать раз
Milliseconds Make Millions, выпущенный Deloitte вместе с Google в 2020 году, — это настоящее исследование: 37 брендов ритейла, тревела, люкса и лидогенерации по Европе и США, четыре недели, только мобайл. Именно оттуда 8,4% конверсий и 9,2% среднего чека, которыми пользуется каждый калькулятор в нише. Четыре вещи в нём определяют, как далеко эти цифры можно нести.
Скорость не назначали.
В отчёте сказано, что колебания скорости возникали естественным образом и ни на одном сайте их не создавали искусственно. Это делает исследование корреляционным, поэтому его цифры не подтверждают, что прирост даёт именно починка.
Нулевые результаты убрали.
Там, где прирост скорости давал минимальный или нулевой эффект, отчёт прямо говорит, что эти наблюдения в него не вошли. Коэффициенты обусловлены тем, что эффект нашёлся, и завышены на величину, которую снаружи никто не оценит.
У кривой нет начала координат.
Отчёт строит логарифмическую регрессию, но не публикует базовую скорость, от которой отмеряли 0,1 с. Без этой рабочей точки кривую некуда поставить, и при калибровке по правдоподобным базам те же данные дают от +39% до +413% на одной и той же цели.
LCP он не измерял.
0,1 с — это суммарное движение четырёх метрик: Server Latency, Estimated Input Latency, First Meaningful Paint и Observer Load. LCP среди них нет, и в Lighthouse на момент исследования его не существовало.
Дальше арифметика. Каждый калькулятор возводит коэффициент в степень: 1,084 в степени числа шагов по 0,1 с. На собственном примере исходного документа, где LCP лучше на 1,6 с и значит шагов 16, выходит 263 % прироста конверсий и одновременно 309 % прироста среднего чека. Это превращает 170 000 $ месячной выручки в 2 526 269 $ и подаёт разницу, 2 356 269 $ в месяц, как деньги, которые бизнес теряет. 14 его собственных выручек.
Ошибка структурная, а не описка в формуле. У логарифмической регрессии отдача убывает. У возведения в степень отдача растёт. Это противоположные формы, и отчёт прямо говорит, какую из двух он подбирал.
Про эти 8,4% стоит знать ещё одну вещь, и она не про причинность. Shopify опубликовал ту же величину в апреле 2026 года, по своей собственной базе мерчантов и именно по LCP: 3,50 % конверсии на 100 мс. Это в 2,4 раза дальше от цифры, которой пользуется любой калькулятор, и оба это наблюдательные исследования магазинов. Наблюдательная сторона тоже не согласна сама с собой.
Отказы
Цифры, которыми эта страница не пользуется
Пять цифр, и вместе они — почти всё, что владельцу сайта рассказали по этой теме. Четырьмя из пяти сегодня отвечает собственный AI Overview Google. Каждую довели до источника, и рядом с тем, что из неё цитируют, стоит то, что говорит сам источник.
Каждые 100 мс задержки стоили Amazon 1% продаж.
Самая цитируемая цифра в отрасли. По ссылкам она приводит к слайдам 2006 года, а в одной рецензируемой статье к колонке в Forbes. Amazon никогда не публиковал этот эксперимент: ни метода, ни выборки, ни длительности, ни определения выручки. Здесь она только затем, чтобы её можно было отклонить поимённо.
Задержка в одну секунду стоит до 7% конверсий.
След ведёт к Aberdeen Group, «The Performance of Web Applications: Customers are Won or Lost in One Second», ноябрь 2008 года. Прочитано в архиве, потому что сам отчёт за логином, а на собственной странице Aberdeen этой цифры нет вообще. Что там есть — это метод: опрос более 160 организаций о корпоративных веб-приложениях. Не измерение покупателей, не измерение чего бы то ни было. Единственное публично названное число — что проблемы с производительностью могут стоить до 9% корпоративной выручки, у компаний со средней выручкой 1,3 миллиарда долларов. Восемнадцать лет спустя это цитируют как закон про чекаут.
На мобильном каждая секунда задержки стоит до 20% конверсий.
На каждой странице, где это написано, ссылаются на «данные Google Analytics», «исследование Google и SOASTA» или просто «исследование Google». Ни в одном извлекаемом документе Google этого нет, включая те два, откуда взяты остальные мобильные цифры, а они говорят другое: на 123% больше отказов между одной секундой и десятью и 53% брошенных визитов после трёх. Ничто опубликованное не подтверждает 20% конверсий за секунду. Отклоняется так же, как цифра Amazon.
Переход от одной секунды к трём поднимает вероятность отказа на 32%.
Настоящее исследование, процитированное неверно. Google опубликовал его в феврале 2017 года и обновил в 2018-м, и в тексте стоит от одной секунды к ДЕСЯТИ и 123%, а не от одной к трём и 32%. Эти 32% — с графика рядом с тем абзацем. Метод важнее обеих цифр: обе получены глубокой нейросетью, обученной на данных об отказах и конверсиях, с точностью предсказания 90%. Предсказание модели по наблюдательным данным, а не измерение и не эксперимент. Google с тех пор страницу снял, поэтому в реестре она через архивную копию.
53% мобильных посетителей уходят, если страница грузится дольше трёх секунд.
Эта настоящая, она Google, и почти всё, что несут вместе с ней, неверно. Её собственная сноска говорит: агрегированные данные Google Analytics с мобильных сайтов, которые сами согласились делиться бенчмарк-данными, n=3,7 тыс., мир, март 2016 года. Наблюдение, выборка отобрала себя сама, ей десять лет, опубликовано рекламным продуктом для издателей, и считаются брошенные визиты, а не потерянные продажи. Сегодня это цитируют как причинный факт о покупателях магазина. Эту страницу Google тоже снял.
В этом списке была вторая запись, пока не нашлись слайды.
Schurman и Brutlag, Velocity 2009, стояли здесь потому, что все доступные пересказы были из вторых рук и расходились в размере задержки у Bing: Arapakis с соавторами в 2021 году дают 1,5 секунды, большинство вторичных пересказов — 2. O'Reilly до сих пор раздаёт оригинальную презентацию со своего конференционного CDN. Результаты Bing внутри неё — векторный рисунок, текст которого читается вместе с координатами, и строка со спорными цифрами — это 2000 мс. Правы вторичные пересказы, а Arapakis с соавторами нет, и исследование теперь лучшее доказательство формы отклика в этом реестре, а не отказ.
Против
Доводы против этой страницы
Страница, которая собирает только согласные с ней исследования, — это маркетинг. Поэтому вот сильнейшая версия доводов против числа, которое она выдаёт. Два возражения из четырёх выведены из арифметики самого реестра, и ни одно из них выше не снято.
Bing не согласен с Bing
Центральная цифра здесь, 0,60 % выручки на 100 мс, — это Bing в 2013 году на дозах 100 мс и 250 мс. На 250 мс это даёт 1,50 %. Та же компания в 2009 году, тот же тип эксперимента на том же продукте, не намерила ничего статистически значимого на 200 мс и только 1,20 % на 500 мс, то есть при вдвое большей задержке. Оба результата — уровень A. Вероятное объяснение: тест 2009 года не мог различить малый эффект, а к 2013 году Bing стал быстрее, и та же задержка была большей долей. Это догадка. Опубликованного решения нет, а противоречат именно той цифре, с которой эта страница начинается.
Форма кривой не та, которую предполагает диапазон
Модель оценивает разрыв плоской ставкой на 100 мс. Единственная в отрасли таблица доз говорит, что ставка не плоская и спадает не гладко: 0,24 % на 100 мс на первых 0–500 мс, потом 0,32 % на 500–1000, потом 0,15 % на 1000–2000. Сначала растёт, потом падает. Значит, три рандомизированных результата — не обязательно три независимые оценки одной величины; это может быть одна кривая, снятая на трёх разных стартовых скоростях, а Zalando стартовую скорость вообще не опубликовал. При таком чтении диапазон — это мера того, как мало известно, а не доверительный интервал, и ошибка плоской ставки зависит от того, насколько медленный сайт у читателя. Эта страница на это не поправляет.
Четыре раза не намеряли ничего
Etsy задержал пользователей на 200 мс и обнаружил, что для них это не имеет значения. Bing задержал правую панель на 250 мс и не нашёл заметного эффекта почти на 20 миллионах пользователей. Rakuten провёл лучший по дизайну коммерческий эксперимент во всём реестре, и LCP, метрики, которую читает этот калькулятор, нет среди сдвинувшихся. Магазин косметики в собственном whitepaper Blue Triangle три месяца ускорялся на 1,5 с и не получил результата ни в конверсии, ни в выручке. Ни один из этих случаев эффект не отменяет. Вместе они говорят, что он обусловлен тем, чего никто не перечислил.
Посмотрите, кто опубликовал доказательства
Рецензирован в этом реестре один источник. Из рандомизированных коммерческих результатов, на которых держится диапазон, у Zalando — пост в инженерном блоге, у Vodafone — кейс на собственном сайте Google, и ни один не публикует ни размера выборки, ни длительности, ни процедуры распределения. Наблюдательное исследование, на котором стоит весь рынок, прямо пишет, что бренды, где эффект не был значимым, в отчёт не вошли, то есть его коэффициенты обусловлены тем, что эффект нашёлся. Читатель, который сбрасывает со счетов вендорские публикации и выброшенные нули, ведёт себя разумно, и у этой страницы останется очень немного.
Что бы это опровергло: рандомизированный эксперимент со скоростью на магазине, опубликованный с методом, выборкой и базовой скоростью, который даёт эффект заметно ниже 0,31 % на 100 мс. Такого эксперимента в публичном доступе нет ни в одну сторону — об этом два открытых вопроса ниже.
Ничто из сказанного не довод взять число побольше. Каждое возражение выше бьёт по рыночной цифре сильнее, чем по этой, потому что рыночная цифра — это один наблюдательный коэффициент, возведённый в степень на секундах, на которых его никогда не измеряли. Это довод считать результат нижней границей с указанным происхождением, чем калькулятор себя и называет.
Ограничения
Чего эта модель сказать не может
Это стоит рядом с каждым результатом калькулятора, а не в сноске под ним.
- Все причинные источники измеряли задержку на сервере. Инструмент читает LCP, потому что именно LCP есть в полевых данных. Эта подмена самое слабое место всей затеи.
- Цифра Bing из веб-поиска, Zalando из фешн-ритейла, Vodafone с лендинга телеком-оператора. Ни один из них не ваш сайт.
- Эластичность локальна. Те же авторы пишут: если меняется скорость сайта или его аудитория, эффект может быть другим.
- Не каждая миллисекунда весит одинаково. Задержка в 250 мс для элементов ниже первого экрана в Bing не дала заметного эффекта почти на 20 миллионах пользователей.
- Линейное приближение проверено примерно до половины секунды. Дальше кривая гнётся, и по дозам, которые опубликовал Bing, вторая секунда стоит примерно вдвое меньше первой. Всё, что за этой половиной секунды, указано как расстояние, а не как деньги.
- Etsy провёл эксперимент того же типа и обнаружил, что задержка в 200 мс для его пользователей значения не имела. Эффект реален, но не универсален.
Два вопроса остаются открытыми
Обе дыры известны. Аккуратность на этой странице их не закрывает.
- Ни один из 15 источников не публикует интервал на ту цифру, которую из него цитируют. 0 штук. Реестр отмечает это по каждому источнику, и ответ не меняется: одно число, без стандартной ошибки, без чего-либо, по чему читатель мог бы судить, насколько кто-то уверен. Ближе всех слайды 2009 года — они хотя бы помечают строки, где значимости не было, но и там таблицу доз можно читать как форму, а не взвешивать как измерение. Каждая цифра на этой странице — точечная оценка, а диапазон вокруг неё — это разброс между источниками, а не доверительный интервал.
- В публичном доступе нет рандомизированного эксперимента на магазине, опубликованного вместе с методом. Ближе всех Zalando, и он отводит этому одно предложение. Это самый большой пробел в отрасли, и из-за него центральная цифра на странице приходит из веб-поиска, а не из магазина.
Протокол
Как собирался этот реестр
Всё сказанное выше держится на том, какие источники существуют, — поэтому вот где их искали. Важнее всего это для того, чего здесь нет: страница вправе утверждать, что эксперимент никогда не публиковали, только если говорит, где смотрела.
| Где | Что искали | Что нашлось |
|---|---|---|
| ACM Digital Library: KDD, CHIIR, SIGIR | Рандомизированные эксперименты с задержкой или скоростью, описанные с методом | Kohavi et al. 2013, Kohavi et al. 2014, Arapakis et al. 2021 и нулевой результат Etsy, приведённый внутри первой из этих работ |
| NBER, SSRN, arXiv, рабочие статьи Гарварда и MIT | Экономические и бизнес-школьные работы о скорости страниц и коммерческих результатах | Ничего. У этого вопроса в таких площадках литературы нет |
| Management Science, Marketing Science, Information Systems Research | То же самое, в журналах, которые это опубликовали бы, если бы оно было | Ничего |
| Инженерные блоги ритейлеров и коммерческих платформ | A/B-тесты скорости магазина, опубликованные теми, кто их проводил | Zalando 2018 и Shopify 2026. Zalando отводит своему эксперименту одно предложение |
| Кейсы на web.dev | Коммерческие результаты по скорости, которые Google решил опубликовать | Vodafone 2021 и Rakuten 2022 |
| Архивы конференций и web.archive.org | Источники, которые цитируют повсюду, а их страницы больше нет | Слайды Velocity 2009 на CDN O'Reilly, две статьи Google, которые Google снял, и отчёт Aberdeen 2008 |
| Вендорские whitepaper | Опубликованные нулевые результаты, писать которые ни у кого нет стимула | Один, в собственном документе Blue Triangle |
| Три отдельные попытки, 25.09.2026 — 04.10.2026 | Эксперимент с замедлением или ускорением на магазине, опубликованный с методом, выборкой и базовой скоростью | Ничего, ни на одной площадке. Это крупнейший пробел в области и причина, по которой центральная цифра здесь взята из веб-поиска |
Чему источник должен был соответствовать
Чтобы вообще попасть в реестр, цифру надо прочитать в документе, который можно открыть. Не в пересказе, не в ссылке из блога: прочитать, с дословно приведённым предложением, которое её несёт. Это правило — то общее, что есть у всех 15 записей, и из-за него четыре из них здесь через архивную копию.
Уровень определяется только дизайном, а не тем, насколько результат интересен или свеж. Скорость назначали пользователям — уровень A, скорость менялась сама — уровень B, у цифры нет извлекаемого метода — уровень C, и денег она не несёт нигде на этой странице.
Источник исключается только за то, что его нельзя прочитать, и никогда за несогласие. Поэтому и нулевые результаты, и исследование, которое вдвое срезает центральную цифру самой этой страницы, стоят в реестре, а не остались за его пределами.
Чем это не является
Это не систематический обзор в формальном смысле. Поиск не протоколировался по ходу, поэтому нет ни счёта просмотренных записей, ни согласия двух независимых чтецов, и таблица написана по тому, что поиск вернул, а не по заранее зафиксированному протоколу. Считайте это воспроизводимым следом, а не репликацией: каждую строку можно пройти заново, и читатель, который найдёт недостающий источник, нашёл настоящий дефект.
Реестр
Все источники целиком, их 15
В каждой карточке дизайн, место публикации, кого измеряли, как проверялись цитаты и чего исследование подтвердить не может. Раскройте карточку, чтобы прочитать фразы, из которых взяты цифры.
Цитаты приведены на языке оригинала. Переведённая цитата перестаёт быть дословной, и читатель, сверяющий её с источником, нужной фразы там не найдёт.
Online Controlled Experiments at Large Scale
Kohavi, Deng, Frasca, Walker, Xu, Pohlmann (Microsoft), 2013
- Где опубликовано
- KDD '13, ACM SIGKDD
- Кого измеряли
- Пользователи Microsoft Bing; две группы воздействия: 10% замедлили на 100 мс и ещё 10% на 250 мс, в течение двух недель
- Как проверены цитаты
- Прочитано в PDF источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- dl.acm.org · doi:10.1145/2487575.2488217
Цитаты и ограничения
Словами авторов
We recently ran a slowdown experiment where we slowed 10% of users by 100msec (milliseconds) and another 10% by 250msec for two weeks. The results showed that performance absolutely matters a lot today: every 100msec improves revenue by 0.6%.Bing's server performance is now sub-second at the 95th percentile.This quantification may change over time, as the site's performance and bandwidth standards improve.Чего не подтверждает
- Веб-поиск, а не магазин. Транзакция здесь — это клик по результату, а не оформление заказа, так что на ритейл цифра переносится только по аналогии.
- Измерено от базы меньше секунды. Авторы прямо пишут, что величина меняется вместе с тем, какие стандарты скорости у сайта.
- Именно задержка на сервере, а не вес страницы, время отрисовки или стабильность вёрстки.
- Те же авторы приводят противоречащий результат: у Etsy задержка в 200 мс значения не имела.
- Одна пара доз, 100 мс и 250 мс. Форма отклика по дозам берётся из слайдов той же компании 2009 года, а не отсюда.
Seven Rules of Thumb for Web Site Experimenters
Kohavi, Deng, Longbotham, Xu (Microsoft), 2014
- Где опубликовано
- KDD '14, ACM SIGKDD
- Кого измеряли
- Пользователи Bing в нескольких экспериментах с замедлением на разную величину
- Как проверены цитаты
- Прочитано в PDF источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- exp-platform.com · doi:10.1145/2623330.2623341
Цитаты и ограничения
Словами авторов
a 250msec delay at the server impacts revenue at about 1.5% and clickthrough-rate by 0.25%. While this is a massive impact, 500msec would impact revenue about 3% not 20%, and clickthrough-rate would drop by 0.50%, not 20% (assuming a linear approximation is reasonable).Earlier tests at Bing [32] had similar click impact and smaller revenue impact with delays of up to two seconds.Using a linear approximation (1st-order Taylor expansion), we can assume that the impact of the metric is similar in both directions (slowdown and speedup) ... By running slowdown experiments with different slowdown amounts, we have confirmed that a linear approximation is very reasonable for Bing.The slowdown quantifies the impact on the metric of interest at the point today ... If the site performance changes (e.g., site is faster), or the audience changes (e.g., more international users) the impact may be different.A recent slowdown controlled experiment was run ... delaying when the right pane elements were shown by 250 milliseconds. If there was an impact on key metrics, it was not detectible, despite the experiment size of almost 20 million users.Чего не подтверждает
- Линейное приближение проверено для Bing, на скорости Bing и для аудитории Bing. В той же работе авторы пишут, что при другой скорости или другой аудитории эффект может быть иным.
- Наблюдение про две секунды приведено здесь без чисел. Они есть в слайдах Velocity 2009 той же компании, и они говорят, что предельная цена 100 мс за пределами секунды примерно вдвое меньше.
- По-прежнему веб-поиск.
Loading Time Matters
Zalando engineering, 2018
- Где опубликовано
- Zalando Engineering Blog (not peer reviewed)
- Кого измеряли
- Клиенты Zalando; сначала корреляция по всему пути, затем A/B-тест для подтверждения
- Как проверены цитаты
- Прочитано в блоге источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- engineering.zalando.com
Цитаты и ограничения
Словами авторов
100 msec loading time improvement led to a 0.7% uplift in revenue per session.We analyzed the correlations of loading time and revenue per session across every step of the user journey and for every device.An A/B test brought the final confirmation.Чего не подтверждает
- Не опубликованы ни базовое время загрузки, ни размер выборки, ни длительность, ни детали распределения, поэтому эксперимент нельзя разобрать.
- Основной анализ авторы называют корреляционным, а A/B-тест упомянут одним предложением и без собственных чисел.
- Фешн-ритейл в Европе. Один бизнес, один каталог, одна аудитория.
Vodafone: A 31% improvement in LCP increased sales by 8%
Vodafone, published by Google on web.dev, 2021
- Где опубликовано
- web.dev case study (not peer reviewed)
- Кого измеряли
- Разделение трафика 50/50 на лендинге, порядка 100 тыс. кликов и 34 тыс. визитов на группу в сутки
- Как проверены цитаты
- Прочитано в кейсе источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- web.dev
Цитаты и ограничения
Словами авторов
50% of the traffic was sent to the optimized landing page (version A), and 50% was sent to the baseline page (version B).LCP improved by 31% (from 8.3s to 5.7s)Sales increased by 8%Lead-to-visit rate improved by 15%Cart-to-visit rate improved by 11%Чего не подтверждает
- В воздействии одновременно изменили серверный рендеринг и изображения, поэтому скорость не отделена от остальных изменений. Это рандомизированное сравнение двух сборок страницы, а не двух скоростей.
- Опубликовано вендором, чью метрику оно же и подтверждает, на сайте самого Google.
- Ни длительности, ни полного объёма выборки, кроме суточного трафика, не приведено.
- 0,31% выручки на 100 мс здесь — это среднее по 2,6 с от медленной базы, и его нельзя напрямую сравнивать с предельной цифрой первых 100 мс.
Performance Related Changes and their User Impact (The User and Business Impact of Server Delays, Additional Bytes, and HTTP Chunking in Web Search)
Schurman (Microsoft Bing), Brutlag (Google), 2009
- Где опубликовано
- Velocity 2009 (conference presentation, no paper)
- Кого измеряли
- Пользователи веб-поиска Bing и Google, каждая площадка экспериментировала отдельно. Bing: небольшое число пользователей на каждый уровень задержки. Google: небольшой процент поискового трафика, случайное распределение, от четырёх до шести недель на уровень
- Как проверены цитаты
- Прочитано в оригинальных слайдах
- Что сказано о точности
- Значимость отмечена, но интервал не приведён
- Источник
- cdn.oreillystatic.com
Цитаты и ограничения
Словами авторов
Determine impact of server delaysDelay before sending resultsDifferent experiments with different delaysRandomly assign users to the experiment and control groups (A/B testing)Server-side delay: Emulates additional server processing timeVaried type of delay, magnitude (in ms), and duration (number of weeks)Strong negative impactsRoughly linear changes with increasing delayTime to Click changed by roughly double the delay- Means no statistically significant changeDelays under half a second impact business metricsThe cost of delay increases over time and persistsЧего не подтверждает
- Слайды и доклад, но не статья. Дизайн описан достаточно, чтобы его понять, и недостаточно, чтобы повторить: ни размеров выборки, ни доверительных интервалов, ни статистических тестов, кроме прочерка в значении «незначимо».
- Bing в 2009 году, от базы 2009 года, которая нигде не названа. Предельные ставки идут от 0,15% до 0,32% выручки на 100 мс, ниже 0,6%, которые та же компания измерила в 2013 году от базы меньше секунды. Так и выглядит эластичность, измеренная в другой рабочей точке.
- Веб-поиск, а не коммерция.
- Разрешено здесь, и это стоит записать: Arapakis с соавторами (2021) приписывают −1,8% запросов, −4,3% выручки и −3,8% удовлетворённости задержке в 1,5 секунды. В оригинальных слайдах эта строка — 2000 мс. Правы вторичные пересказы, которые говорят про две секунды.
A 200ms delay did not measurably matter at Etsy
McKinley (Etsy), reported in Kohavi et al. 2013, 2013
- Где опубликовано
- Reported in KDD '13
- Кого измеряли
- Пользователи Etsy
- Как проверены цитаты
- Прочитано в PDF источника
- Что сказано о точности
- Ничего. О точности цифры не сказано вообще
- Источник
- dl.acm.org · doi:10.1145/2487575.2488217
Цитаты и ограничения
Словами авторов
we were surprised to see Etsy's Dan McKinley [2] claim that a 200msec delay did not matter. It is possible that for Etsy users, performance is not criticalЧего не подтверждает
- Приведено из вторых рук внутри чужой работы, авторами, которые в это не поверили.
- Это нулевой результат, поэтому он ограничивает универсальность эффекта, а не измеряет его.
A cosmetics retailer got 1.5 seconds faster and saw no result
Blue Triangle Technologies, 2020
- Где опубликовано
- Vendor whitepaper (not peer reviewed)
- Кого измеряли
- Один анонимный магазин косметики, нигде в документе не названный
- Как проверены цитаты
- Прочитано в PDF источника
- Что сказано о точности
- Ничего. О точности цифры не сказано вообще
- Источник
- bluetriangle.com
Цитаты и ограничения
Словами авторов
They spent 3 months improving performance by 1.5 seconds on average, implementing A/B testing to ensure the site was production-ready. Upon launching the new “faster site”, they noticed no real results in conversion rates and top-line revenue because attention was given to the wrong webpages.To support the argument that there is not a “one-size-fits-all” page speed goal to best support user experience improvements and overall sales, three different eCommerce retailers were analyzed using Blue Triangle data in this study.Чего не подтверждает
- A/B-тест, о котором там говорится, запускали, чтобы проверить готовность нового магазина, а не чтобы измерить эффект скорости. То есть это «до и после» через релонч, где остальное не держали неизменным.
- Ни выборки, ни длительности измерения, ни определения, что такое «никакого результата». Магазин анонимен по соглашению о конфиденциальности.
- Опубликовано вендором производительности, и объяснение нулевого результата — это ровно то, что он продаёт.
- Там же снова приводится цифра Amazon в 1% со ссылкой на Linden 2006 — тот самый слайд-дек, из-за которого этот реестр её и отказывается брать.
Rakuten 24's investment in Core Web Vitals increased revenue per visitor by 53.37%
Hayoung Lee, Linh Duong, Ryunosuke Akiba, Shogo Kashiwase (Rakuten, published by Google on web.dev), 2022
- Где опубликовано
- web.dev case study (not peer reviewed)
- Кого измеряли
- Лендинг Rakuten 24, одновременное разделение трафика 50/50 на месяц; размер выборки не опубликован
- Как проверены цитаты
- Прочитано в кейсе источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- web.dev
Цитаты и ограничения
Словами авторов
During the test duration, 50% of the traffic was sent to the optimized landing page (version A), and 50% was sent to the original page (version B).The only difference between version A and version B was that version A was optimized for Core Web Vitals and there were no other functional or visual differences.53.37% increase in revenue per visitor33.13% increase in conversion rateCLS improved by 92.72%FID improved by 7.95%FCP improved by 8.45%TTFB improved by 18.03%Чего не подтверждает
- LCP нет среди метрик, которые, по отчёту, улучшились. Есть CLS, FID, FCP и TTFB. Значит, это цена пакета, в котором больше всего сдвинулась стабильность вёрстки, и её нельзя перевести в цифру на 100 мс LCP.
- Пакет, а не манипуляция скоростью. Это рандомизированное сравнение двух сборок страницы, как у Vodafone, только здесь самое большое движение у метрики, которая не скорость.
- Не опубликованы ни размер выборки, ни доверительные интервалы, ни статистические тесты.
- Один лендинг, один месяц, один ритейлер, опубликовано вендором метрики на сайте этого же вендора.
- Широко цитируемые цифры про LCP с этой страницы (на 61% лучше конверсия при LCP меньше секунды) — это наблюдательная сегментация полевых данных, а не результат эксперимента.
Impact of Response Latency on User Behaviour in Mobile Web Search
Arapakis (Telefónica Research), Park (Telefónica Research), Pielot (Google), 2021
- Где опубликовано
- CHIIR '21, ACM SIGIR Conference on Human Information Interaction and Retrieval
- Кого измеряли
- Пользователи мобильного веб-поиска в контролируемом исследовании с заданными уровнями задержки
- Как проверены цитаты
- Прочитано в PDF источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- arxiv.org · doi:10.1145/3406522.3446038
Цитаты и ограничения
Словами авторов
Our preliminary results indicate that mobile web search users are four times more tolerant to response latency reported for desktop web search users. However, when exceeding a certain threshold of 7-10 sec, the delays have a sizeable impact and users report feeling significantly more tensed, tired, terrible, frustrated and sluggish, all which contribute to a worse subjective user experience.Чего не подтверждает
- Измеряет субъективный опыт и поведение в поиске, а не выручку.
- Авторы называют результаты предварительными.
- Порог в 7-10 с относится именно к мобильному поиску: это доказательство того, что порог существует, а не порог, который можно переносить дальше.
Response time in man-computer conversational transactions
Miller (1968); extended by Card, Robertson & Mackinlay (1991), 1968
- Где опубликовано
- AFIPS Fall Joint Computer Conference, vol. 33, pp. 267-277
- Кого измеряли
- Восприятие времени отклика человеком; воспроизведено в работах по HCI на протяжении пяти десятилетий
- Как проверены цитаты
- Получено через статью, которая на него ссылается
- Что сказано о точности
- Ничего. О точности цифры не сказано вообще
- Источник
- dl.acm.org · doi:10.1145/1476589.1476628
Цитаты и ограничения
Словами авторов
0.1 second is about the limit for having the user feel that the system is reacting instantaneously1.0 second is about the limit for the user's flow of thought to stay uninterrupted10 seconds is about the limit for keeping the user's attention focused on the dialogueЧего не подтверждает
- Три порога цитируются по формулировке Нильсена, который ссылается на Miller 1968 и Card et al. 1991. Труды 1968 года закрыты платным доступом и из первых рук не читались.
- Это пороги восприятия, а не выручки. Они объясняют, почему у кривой отклика есть ступени, но цену ей не ставят.
Milliseconds Make Millions
Deloitte with Google, 2020
- Где опубликовано
- Industry report (not peer reviewed)
- Кого измеряли
- 37 брендов ритейла, тревела, люкса и лидогенерации по Европе и США, четыре недели, только мобайл
- Как проверены цитаты
- Прочитано в PDF источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- www.thinkwithgoogle.com
Цитаты и ограничения
Словами авторов
An 8.4% increase in conversions with retail consumers was observed, and an increase in average order value of 9.2%.A 10.1% increase in conversions with travel consumers was observed, and a slight increase in average order value of 1.9%.Once data had been collected and fed into a [l]ogarithmic regression model, we were in a position to analyse the data and extract meaning.Fluctuations in speed all occurred naturally and were not artificially created on any of the sites.The 0.1 second improvement was the cumulative impact of all four speed metrics.In some instances, the increase in speed was observed to have minimal or zero effect on funnel progression and/or the KPIs for the vertical. These observations were not included in the report.Чего не подтверждает
- Корреляция. Скорость не назначали, поэтому цифры не подтверждают причинное утверждение, что прирост даёт именно починка.
- Нулевые результаты в публикацию не вошли, поэтому коэффициенты обусловлены тем, что эффект нашёлся, и смещены вверх.
- Базовая скорость, от которой отмеряли 0,1 с, нигде не опубликована, и кривая остаётся неопознаваемой. При калибровке по правдоподобным базам те же данные дают от +39% до +413% на одном и том же примере.
- 0,1 с — это суммарное движение четырёх метрик (Server Latency, Estimated Input Latency, First Meaningful Paint, Observer Load). LCP среди них нет, и в Lighthouse на тот момент его не существовало.
- Только мобайл. Десктоп авторы смотрели и «нашли много противоречащих параметров».
- Конверсия в люксе определена как добавление в корзину или клик по «связаться с нами», так что выручку в люксе исследование не измеряло.
Store Speed and Conversion: What the Data Shows
Shopify, 2026
- Где опубликовано
- Shopify Enterprise blog (not peer reviewed)
- Кого измеряли
- Действующие магазины на Shopify, полевые данные реальных пользователей за 28 дней на стыке января и февраля 2026 года, самые медленные 5% исключены
- Как проверены цитаты
- Прочитано в блоге источника
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- www.shopify.com
Цитаты и ограничения
Словами авторов
for every 100 milliseconds slower a store loads, conversion tends to be about 3.5% lower.stores with 2.5 second LCP report roughly 30% lower conversion than stores with 1.5 second LCP.To prevent outliers from skewing the results, we excluded the slowest 5% of stores from the analysis.Largest Contentful Paint (LCP) measures how quickly your main content appears.At the individual store level, conversion depends on many factors beyond speed-product-market fit, pricing, marketing, and more.Чего не подтверждает
- Наблюдение. Магазины разложили по корзинам по той скорости, которая у них уже была, а не назначили её, поэтому цифра не подтверждает, что ускорение магазина даёт прирост.
- Группировка магазинов, чтобы усреднить товарную посадку, цены и маркетинг, разбавляет конфаундер, но не убирает его. Магазин, который вкладывается в скорость, вполне может вкладываться и во всё остальное.
- Конверсия, а не выручка. Про средний чек, который составляет половину цифры другого наблюдательного исследования, оно не говорит ничего.
- Опубликовано платформой, чьих мерчантов оно измеряет, без указания размера выборки.
- Оно расходится с другим наблюдательным исследованием в 2,4 раза на одной и той же величине: 3,5% на 100 мс здесь против 8,4% на 0,1 с в Milliseconds Make Millions.
53% of mobile site visits are abandoned after three seconds
Shellhammer (Google / DoubleClick), 2016
- Где опубликовано
- DoubleClick by Google, “The need for mobile speed” (not peer reviewed)
- Кого измеряли
- Мобильные сайты, согласившиеся делиться бенчмарк-данными Google Analytics, n=3,7 тыс., мир, март 2016
- Как проверены цитаты
- Прочитано в архивной копии, оригинал снят
- Что сказано о точности
- Одно число, без интервала и без ошибки
- Источник
- web.archive.org
Цитаты и ограничения
Словами авторов
In our new study, “The Need for Mobile Speed”, we found that 53% of mobile site visits are abandoned if pages take longer than 3 seconds to load.Google Data, Aggregated, anonymized Google Analytics data from a sample of mWeb sites opted into sharing benchmark data, n=3.7K, Global, March 2016Чего не подтверждает
- Наблюдение. Ничего не назначали, поэтому сказать, что ускорение кого-то удержало бы, оно не может.
- Выборка отобрала себя сама: это сайты, которые сами согласились делиться данными с Google.
- Визиты на мобильные сайты, опубликовано рекламным продуктом для издателей. Брошенный визит — это не потерянная продажа.
- Данные марта 2016 года, на скоростях связи и устройствах, которых больше нет.
- Google снял страницу. Осталась только архивная копия.
Bounce probability rises 123% between one and ten seconds
An (Google), 2017
- Где опубликовано
- Think with Google, “Mobile page speed: new industry benchmarks” (not peer reviewed)
- Кого измеряли
- Мобильные лендинги, проанализированные Google; редакция февраля 2018
- Как проверены цитаты
- Прочитано в архивной копии, оригинал снят
- Что сказано о точности
- Только точность модели, которая это выдала
- Источник
- web.archive.org
Цитаты и ограничения
Словами авторов
We also trained a deep neural network—a computer system modeled on the human brain and nervous system—with a large set of bounce and conversions data. The neural net, which had a 90% prediction accuracy, found that as page load time goes from one second to 10 seconds, the probability of a mobile site visitor bouncing increases 123%.Чего не подтверждает
- Это предсказание нейросети по наблюдательным данным, а не измерение и не эксперимент.
- Широко цитируемого «от одной секунды к трём, 32%» в тексте нет. В тексте — от одной секунды к десяти и 123%.
- Отказ — это не покупка. Выручку здесь не измеряют вообще.
- Ни размера выборки, ни доверительного интервала, ни описания обучающих данных.
- Google снял страницу. Осталась только архивная копия.
Every 100ms of latency cost Amazon 1% in sales
Attributed to Amazon, via Greg Linden's slides and secondary press, 2006
- Где опубликовано
- Статьи не было
- Кого измеряли
- Неизвестно. Ни метод, ни размер выборки, ни дата не публиковались.
- Как проверены цитаты
- Проверить невозможно
- Что сказано о точности
- Ничего. О точности цифры не сказано вообще
- Источник
- www.exp-platform.com
Цитаты и ограничения
Словами авторов
Greg Linden [40 p. 15] noted that 100msec slowdown at Amazon impacted revenue by 1%Чего не подтверждает
- Нет опубликованного метода, выборки, длительности и определения выручки.
- По цепочке цитирований всё заканчивается слайдами 2006 года, а в одной рецензируемой статье колонкой в Forbes.
- Исключено из всех расчётов. В интерфейсе появляется только как пример цифры, которую нельзя проверить.
Как ссылаться на эту страницу: Ссылайтесь вместе с исследованием, на котором держится цифра, а не на одну эту страницу. Каждое число ниже называет свой источник и ведёт на него.
Давайте создадим потрясающий проект вместе!
Что обычно спрашивают
Правда ли, что 100 мс задержки стоили Amazon 1% продаж?
Проверить это невозможно. По ссылкам цифра приводит к слайдам 2006 года, а одна рецензируемая статья ссылается на колонку в Forbes. Стоящий за ней эксперимент так и не опубликовали: метода не прочитать, выборку не взвесить, и что считали выручкой — неизвестно. Эта страница называет саму цифру, чтобы её можно было отклонить поимённо, и ничего из неё не берёт.
Правда ли, что 53% мобильных посетителей уходят после трёх секунд?
Само предложение настоящее, оно принадлежит Google и датируется 2016 годом. Неверно всё, что несут вместе с ним. Собственная сноска говорит: агрегированные данные Analytics с мобильных сайтов, которые сами согласились ими делиться, n=3700, март 2016 года. То есть это наблюдение, выборка отобрала себя сама, считаются брошенные визиты, а не потерянные продажи, и всему этому десять лет. Google с тех пор страницу снял.
Всегда ли более быстрый сайт приносит больше денег?
Нет, и об этом говорят четыре опубликованных результата. Задержка в 200 мс у Etsy не дала измеримого эффекта на его собственных пользователях. Bing задержал боковую панель на 250 мс и не увидел ничего почти на 20 миллионах пользователей. В лучшем по дизайну коммерческом эксперименте здесь LCP вообще нет среди сдвинувшихся метрик. А один магазин три месяца ускорялся на 1,5 секунды и не получил изменений ни в конверсии, ни в выручке.
Какую цифру нести финансистам?
Меньшую, и рядом с ней название эксперимента. Цифра из рандомизированного теста выдерживает проверку, цифра из корреляции — нет, а разрыв между ними здесь примерно в тридцать раз. Калькулятор выдаёт первую и оценивает только ту часть разрыва, которую покрывают доказательства.
Почему на этой странице нигде нет доверительного интервала?
Потому что его не публикует ни один источник. Каждая цифра в реестре — это одно число без стандартной ошибки, и это отмечено по каждому источнику, а не упомянуто один раз. Ближе всех слайды 2009 года: они хотя бы помечают, какие результаты были незначимыми. Диапазон рядом с результатом — это разброс между разными исследованиями, а не доверительный интервал.