Розходження
Два справжні дослідження, різниця в тридцять разів
Візьмімо магазин: 100 000 візитів на місяць, конверсія 2%, середній чек 85 $. Це 170 000 $ виручки на місяць. Спитайте калькулятори, скільки коштує одна десята секунди, і вони дадуть 31 234 $ на місяць, 374 805 $ на рік. Спитайте рандомізовані експерименти, і відповідь буде 1 020 $ на місяць.
Обидві цифри взяті зі справжніх досліджень. Та, що більша, підносить до степеня коефіцієнти кореляційного звіту по 37 брендах. Та, що менша, переносить результат експерименту, у якому 10% користувачів Bing навмисно сповільнили на 100 мілісекунд, а ще 10% на 250, і тримали так два тижні. На одній і тій самій величині ці дві відповіді розходяться в 30,6 раза.
Це не різниця округлення. Це різниця між виміряним ефектом і поміченою кореляцією, і жоден калькулятор у ніші про неї не говорить. Сторінка існує заради того, щоб ви самі вирішили, яку з двох цифр нести на захист бюджету.
Градація
Що може стверджувати джерело кожного типу
Рівні нижче не ранжують дослідження за тим, наскільки вони цікаві. Вони визначають, що саме взята звідти цифра має право стверджувати.
| Рівень | Дизайн | Що може стверджувати взята звідти цифра |
|---|---|---|
| Рівень A | Рандомізований контрольований експеримент. Швидкість навмисно змінювали для випадково відібраної частки користувачів. | Причинове твердження: якщо прискорити, ви отримаєте X. |
| Рівень B | Велике спостереження. Швидкість змінювалася сама, а результати корелювали з нею. | Лише перехресна перевірка. Таке джерело не відділяє «сайт став швидшим» від «швидкий візит — і є візитом з покупкою». |
| Рівень C | Першоджерело не збереглося. Цитують усюди, а сліди ведуть туди, де метод не описаний. | Нічого. Внесене до списку, щоб його можна було відхилити поіменно, а не ловити знову в чужому блозі. |
Збіг
Три організації на одній шкалі
Кожна цифра нижче — це виручка на 100 мілісекунд, зведена до єдиної шкали, щоб чотири джерела можна було читати поруч.
| Джерело | Дизайн | База, від якої вимірювали | Виручка на 100 мс |
|---|---|---|---|
| Vodafone, 2021 | Рандомізований контрольований експеримент | LCP 8,3 с покращили до 5,7 с | 0,31% |
| Bing (Microsoft), KDD '13 | Рандомізований контрольований експеримент, рецензовано | Менше секунди на 95-му перцентилі | 0,60% |
| Zalando, 2018 | Рандомізований контрольований експеримент | Не опублікована | 0,70% |
| Deloitte with Google, 2020 | Спостереження | Не опублікована | 18,37% |
Перші три провели три не пов'язані між собою організації на трьох різних бізнесах: вебпошук, фешн-рітейл і лендинг телеком-оператора. У них немає спільного дизайну, спільної аудиторії та спільних авторів, і вони вкладаються в розкид у 2,3 раза. Через цю згоду калькулятор показує гроші діапазоном по цих трьох, а не одним числом.
Четверте джерело стоїть вище за всі три в 26-60 разів. І воно ж єдине з чотирьох, де ніхто не вирішував, кому дістанеться повільна версія.
Якщо вчитатися, розкид усередині перших трьох — це знахідка, а не шум. Bing і Zalando повідомляють граничну цінність перших 100 мс на швидкій базі. Vodafone повідомляє середню цінність 100 мс на ремонті в 2,6 секунди, який починався з 8,3 с. Менше середнє на значно більшому покращенні — і є спадною віддачею, коли її виміряли, а не припустили. Три точки по трьох різних бізнесах криву не задають, тож це узгодженість, а не доказ.
Екстраполяція
Наскільки далеко можна тягнути пряму
Цифра на 100 мс корисна лише тоді, коли її можна множити. Кожен калькулятор у ніші її множить, і жоден не каже, на якій підставі. Підстава є, і вона ж ставить межу.
Kohavi, Deng, Longbotham і Xu провели на Bing експерименти зі сповільненням на різну величину й написали, що лінійне наближення для Bing цілком розумне, тут же продовживши власний результат з 250 мс до 500 мс. У тій самій роботі вони кажуть, що ефект працює в обидва боки: і на сповільнення, і на прискорення. Ця друга фраза й дозволяє експерименту з навмисним сповільненням узагалі щось сказати про користь прискорення, і саме її жоден калькулятор не обґрунтовує.
Та сама робота ставить стелю. Раніші тести Bing із затримками до двох секунд дали менший ефект на виручку, ніж передбачає пряма, і наводить вона це без чисел, які за цим стоять.
Тому пряма чесна приблизно до 0,5 с і не далі. За цією межею модель нічого не оцінює в грошах і повідомляє залишок у секундах. Розрив утричі більший за перевірений діапазон і розрив більший за нього в тринадцять разів дають ту саму суму, а різницю між ними сторінка публікує як неоцінені секунди. Там, де закінчуються докази, закінчується й інструмент.
Форма відгуку, виміряна на п'яти дозах
Числа, які стоять за цією стелею, опубліковані на чотири роки раніше, тією самою компанією. Ерік Шурман із Bing і Джейк Брутлаг із Google показали свої експерименти із затримками на Velocity у червні 2009 року. O'Reilly досі роздає цю презентацію зі свого конференційного CDN, і результати Bing — таблиця всередині неї.
Це єдине джерело в галузі, яке наводить виручку більш ніж на одній дозі. Один розмір ефекту каже, наскільки сильно. П'ять кажуть, який у відгуку вигляд, а це саме те, що будь-який калькулятор швидкості припускає і жоден не вимірює.
| Затримка на сервері | Distinct Queries/User | Query Refinement | Revenue/User | Any Clicks | Satisfaction | Time to Click (increase in ms) |
|---|---|---|---|---|---|---|
| 50ms | немає | немає | немає | немає | немає | немає |
| 200ms | немає | немає | немає | -0.3% | -0.4% | +500 |
| 500ms | немає | -0.6% | -1.2% | -1.0% | -0.9% | +1200 |
| 1000ms | -0.7% | -0.9% | -2.8% | -1.9% | -1.6% | +1900 |
| 2000ms | -1.8% | -2.1% | -4.3% | -4.4% | -3.8% | +3100 |
Читайте колонку виручки згори вниз. На 50 мс нічого. На 200 мс нічого. Потім 1,2% на половині секунди, 2,8% на секунді і 4,3% на двох. Крок від половини секунди до секунди коштує дорожче, ніж коштувала перша половина. Крок від секунди до двох коштує дешевше за попередній, хоча він удвічі довший.
В одиницях, у яких працює ця сторінка, гранична ціна 100 мс іде 0,24% до половини секунди, 0,32% між половиною секунди і секундою, потім 0,15% за секундою. Приблизно подвоюється, потім удвічі падає. Це спадна віддача, яка приходить у конкретне місце, і місце це — секунда.
Автори винесли це на слайд із висновками, саме так: «Delays under half a second impact business metrics». Ця модель зупиняється там, де зупинилися вони.
Не кожна мілісекунда однакова
Затримка в критичному шляху і затримка нижче першого екрана — це різні події, і різницю виміряли. Bing затримав елементи правої панелі на 250 мілісекунд майже для 20 мільйонів користувачів. Якщо вплив на ключові метрики й був, зафіксувати його не вдалося.
Отже, секунда не просто секунда. Калькулятор, який бере одну цифру з польового звіту й оцінює кожну мілісекунду так, ніби вона лежить у критичному шляху, оцінює те, чого не вимірював.
Розбір прикладу
Увесь розрахунок на видноті
Той самий бізнес, що вище, з трьома стартовими швидкостями проти однієї цілі. Нічого не сховано у допоміжній функції: арифметика виписана під таблицею.
Вхідні дані
- 100 000 візитів на місяць
- конверсія 2%
- середній чек 85 $
- рітейл: це вертикаль, де вихідне дослідження рахувало саме покупку
- цільовий LCP 2,5 с, поріг, який Google вважає добрим
| Поточний LCP | Розрив | Оцінено | Без оцінки | На рік: низ, центр, верх |
|---|---|---|---|---|
| 2,8 с | 0,3 с | 0,3 с | 0,0 с | 18 831 $ · 36 720 $ · 42 840 $ |
| 4,1 с | 1,6 с | 0,5 с | 1,1 с | 31 385 $ · 61 200 $ · 71 400 $ |
| 9,0 с | 6,5 с | 0,5 с | 6,0 с | 31 385 $ · 61 200 $ · 71 400 $ |
Середній рядок повністю: 170 000 $ на місяць, помножити на 0,60% за кожні 100 мс, помножити на 5 кроки по 0,1 с. Це центральна цифра, а межі підставляють 0,31% і 0,70% у ту саму арифметику. Більше з числом нічого не роблять, і піднесення до степеня тут немає ніде.
Два нижні рядки збігаються навмисно. Один сайт відстоїть від цілі на 1,6 с, другий на 6,5 с, і докази оцінюють в обох ті самі пів секунди. Решта йде як відстань, у секундах, бо про решту відомо саме відстань.
Викид
Чому ринкова цифра більша в тридцять разів
Milliseconds Make Millions, випущений Deloitte разом з Google у 2020 році, — це справжнє дослідження: 37 брендів рітейлу, тревелу, люксу й лідогенерації по Європі та США, чотири тижні, тільки мобайл. Саме звідти 8,4% конверсій і 9,2% середнього чека, якими користується кожен калькулятор у ніші. Чотири речі в ньому визначають, як далеко ці цифри можна нести.
Швидкість не призначали.
У звіті сказано, що коливання швидкості виникали природним чином і на жодному сайті їх не створювали штучно. Це робить дослідження кореляційним, тому його цифри не підтверджують, що приріст дає саме полагодження.
Нульові результати прибрали.
Там, де приріст швидкості давав мінімальний або нульовий ефект, звіт прямо каже, що ці спостереження до нього не ввійшли. Коефіцієнти зумовлені тим, що ефект знайшовся, і завищені на величину, яку ззовні ніхто не оцінить.
У кривої немає початку координат.
Звіт будує логарифмічну регресію, але не публікує базову швидкість, від якої відміряли 0,1 с. Без цієї робочої точки криву нікуди поставити, і при калібруванні за правдоподібними базами ті самі дані дають від +39% до +413% на одній і тій самій цілі.
LCP він не вимірював.
0,1 с — це сумарний рух чотирьох метрик: Server Latency, Estimated Input Latency, First Meaningful Paint і Observer Load. LCP серед них немає, і в Lighthouse на момент дослідження його не існувало.
Далі арифметика. Кожен калькулятор підносить коефіцієнт до степеня: 1,084 у степені числа кроків по 0,1 с. На власному прикладі вихідного документа, де LCP кращий на 1,6 с і отже кроків 16, виходить 263% приросту конверсій і одночасно 309% приросту середнього чека. Це перетворює 170 000 $ місячної виручки на 2 526 269 $ і подає різницю, 2 356 269 $ на місяць, як гроші, які бізнес втрачає. 14 його власних виручок.
Помилка структурна, а не описка у формулі. У логарифмічної регресії віддача спадає. У піднесення до степеня віддача зростає. Це протилежні форми, і звіт прямо каже, яку з двох він підбирав.
Про ці 8,4% варто знати ще одну річ, і вона не про причиновість. Shopify опублікував ту саму величину у квітні 2026 року, по своїй власній базі мерчантів і саме по LCP: 3,50% конверсії на 100 мс. Це в 2,4 раза далі від цифри, якою користується будь-який калькулятор, і обидві це спостережні дослідження магазинів. Спостережна сторона теж не згодна сама із собою.
Відмови
Цифри, якими ця сторінка не користується
П'ять цифр, і разом вони — майже все, що власнику сайту розповіли на цю тему. Чотирма з п'яти сьогодні відповідає власний AI Overview Google. Кожну довели до джерела, і поруч з тим, що з неї цитують, стоїть те, що каже саме джерело.
Кожні 100 мс затримки коштували Amazon 1% продажів.
Найцитованіша цифра в галузі. За посиланнями вона приводить до слайдів 2006 року, а в одній рецензованій статті до колонки у Forbes. Amazon ніколи не публікував цей експеримент: ні методу, ні вибірки, ні тривалості, ні визначення виручки. Тут вона лише для того, щоб її можна було відхилити поіменно.
Затримка в одну секунду коштує до 7% конверсій.
Слід веде до Aberdeen Group, «The Performance of Web Applications: Customers are Won or Lost in One Second», листопад 2008 року. Прочитано в архіві, бо сам звіт за логіном, а на власній сторінці Aberdeen цієї цифри немає взагалі. Що там є — це метод: опитування понад 160 організацій про корпоративні вебзастосунки. Не вимірювання покупців, не вимірювання чого б то не було. Єдине публічно назване число — що проблеми з продуктивністю можуть коштувати до 9% корпоративної виручки, у компаній із середньою виручкою 1,3 мільярда доларів. Вісімнадцять років по тому це цитують як закон про чекаут.
На мобільному кожна секунда затримки коштує до 20% конверсій.
На кожній сторінці, де це написано, посилаються на «дані Google Analytics», «дослідження Google і SOASTA» або просто «дослідження Google». У жодному видобувному документі Google цього немає, включно з тими двома, звідки взяті решта мобільних цифр, а вони кажуть інше: на 123% більше відмов між однією секундою і десятьма та 53% покинутих візитів після трьох. Ніщо опубліковане не підтверджує 20% конверсій за секунду. Відхиляється так само, як цифра Amazon.
Перехід від однієї секунди до трьох піднімає ймовірність відмови на 32%.
Справжнє дослідження, процитоване хибно. Google опублікував його в лютому 2017 року й оновив у 2018-му, і в тексті стоїть від однієї секунди до ДЕСЯТИ і 123%, а не від однієї до трьох і 32%. Ці 32% — з графіка поруч із тим абзацом. Метод важить більше за обидві цифри: обидві отримані глибокою нейромережею, навченою на даних про відмови й конверсії, з точністю передбачення 90%. Передбачення моделі за спостережними даними, а не вимірювання і не експеримент. Google відтоді сторінку зняв, тому в реєстрі вона через архівну копію.
53% мобільних відвідувачів ідуть, якщо сторінка вантажиться довше за три секунди.
Ця справжня, вона Google, і майже все, що несуть разом із нею, хибне. Її власна виноска каже: агреговані дані Google Analytics з мобільних сайтів, які самі погодилися ділитися бенчмарк-даними, n=3,7 тис., світ, березень 2016 року. Спостереження, вибірка відібрала себе сама, їй десять років, опубліковано рекламним продуктом для видавців, і рахуються покинуті візити, а не втрачені продажі. Сьогодні це цитують як причинний факт про покупців магазину. Цю сторінку Google теж зняв.
У цьому списку був другий запис, доки не знайшлися слайди.
Schurman і Brutlag, Velocity 2009, стояли тут тому, що всі доступні перекази були з других рук і розходилися в розмірі затримки в Bing: Arapakis зі співавторами у 2021 році дають 1,5 секунди, більшість вторинних переказів — 2. O'Reilly досі роздає оригінальну презентацію зі свого конференційного CDN. Результати Bing усередині неї — векторний малюнок, текст якого читається разом із координатами, і рядок зі спірними цифрами — це 2000 мс. Мають рацію вторинні перекази, а Arapakis зі співавторами ні, і дослідження тепер найкращий доказ форми відгуку в цьому реєстрі, а не відмова.
Проти
Докази проти цієї сторінки
Сторінка, яка збирає лише згодні з нею дослідження, — це маркетинг. Тож ось найсильніша версія доводів проти числа, яке вона видає. Два заперечення з чотирьох виведені з арифметики самого реєстру, і жодне з них вище не зняте.
Bing не згоден з Bing
Центральна цифра тут, 0,60% виручки на 100 мс, — це Bing у 2013 році на дозах 100 мс і 250 мс. На 250 мс це дає 1,50%. Та сама компанія у 2009 році, той самий тип експерименту на тому самому продукті, не наміряла нічого статистично значущого на 200 мс і лише 1,20% на 500 мс, тобто при вдвічі більшій затримці. Обидва результати — рівень A. Імовірне пояснення: тест 2009 року не міг розрізнити малий ефект, а до 2013-го Bing став швидшим, і та сама затримка була більшою часткою. Це здогад. Опублікованого розв'язання немає, а суперечать саме тій цифрі, з якої ця сторінка починається.
Форма кривої не та, яку припускає діапазон
Модель оцінює розрив пласкою ставкою на 100 мс. Єдина в галузі таблиця доз каже, що ставка не пласка і спадає не плавно: 0,24% на 100 мс на перших 0–500 мс, потім 0,32% на 500–1000, потім 0,15% на 1000–2000. Спершу росте, потім падає. Отже, три рандомізовані результати — не обов'язково три незалежні оцінки однієї величини; це може бути одна крива, знята на трьох різних стартових швидкостях, а Zalando стартову швидкість узагалі не опублікував. За такого читання діапазон — це міра того, як мало відомо, а не довірчий інтервал, і похибка пласкої ставки залежить від того, наскільки повільний сайт у читача. Ця сторінка на це не виправляє.
Чотири рази не наміряли нічого
Etsy затримав користувачів на 200 мс і виявив, що для них це не має значення. Bing затримав праву панель на 250 мс і не знайшов помітного ефекту майже на 20 мільйонах користувачів. Rakuten провів найкращий за дизайном комерційний експеримент у всьому реєстрі, і LCP, метрики, яку читає цей калькулятор, немає серед зрушених. Крамниця косметики у власному whitepaper Blue Triangle три місяці прискорювалася на 1,5 с і не отримала результату ні в конверсії, ні у виручці. Жоден із цих випадків ефект не скасовує. Разом вони кажуть, що він обумовлений тим, чого ніхто не перелічив.
Подивіться, хто опублікував докази
Рецензоване в цьому реєстрі одне джерело. З рандомізованих комерційних результатів, на яких тримається діапазон, у Zalando — допис в інженерному блозі, у Vodafone — кейс на власному сайті Google, і жоден не публікує ні розміру вибірки, ні тривалості, ні процедури розподілу. Спостережне дослідження, на якому стоїть увесь ринок, прямо пише, що бренди, де ефект не був значущим, до звіту не ввійшли, тобто його коефіцієнти обумовлені тим, що ефект знайшовся. Читач, який відкидає вендорські публікації й викинуті нулі, поводиться розумно, і в цієї сторінки лишиться дуже небагато.
Що б це спростувало: рандомізований експеримент зі швидкістю на магазині, опублікований з методом, вибіркою і базовою швидкістю, який дає ефект помітно нижчий за 0,31% на 100 мс. Такого експерименту в публічному доступі немає в жоден бік — про це два відкриті питання нижче.
Ніщо зі сказаного не є доводом узяти число більше. Кожне заперечення вище б'є по ринковій цифрі сильніше, ніж по цій, бо ринкова цифра — це один спостережний коефіцієнт, піднесений до степеня на секундах, на яких його ніколи не міряли. Це довід вважати результат нижньою межею з указаним походженням, чим калькулятор себе й називає.
Обмеження
Чого ця модель сказати не може
Це стоїть поруч з кожним результатом калькулятора, а не у виносці під ним.
- Усі причинові джерела вимірювали затримку на сервері. Інструмент читає LCP, бо саме LCP є в польових даних. Ця підміна найслабше місце всієї затії.
- Цифра Bing з вебпошуку, Zalando з фешн-рітейлу, Vodafone з лендингу телеком-оператора. Жоден з них не ваш сайт.
- Еластичність локальна. Ті самі автори пишуть: якщо змінюється швидкість сайту або його аудиторія, ефект може бути іншим.
- Не кожна мілісекунда важить однаково. Затримка в 250 мс для елементів нижче першого екрана в Bing не дала помітного ефекту майже на 20 мільйонах користувачів.
- Лінійне наближення перевірене приблизно до пів секунди. Далі крива гнеться, і за дозами, які опублікував Bing, друга секунда коштує приблизно вдвічі менше за першу. Усе, що за цією половиною секунди, вказане як відстань, а не як гроші.
- Etsy провів експеримент того самого типу й виявив, що затримка в 200 мс для його користувачів значення не мала. Ефект реальний, але не універсальний.
Два питання лишаються відкритими
Обидві діри відомі. Акуратність на цій сторінці їх не закриває.
- Жодне з 15 джерел не публікує інтервал на ту цифру, яку з нього цитують. 0 штук. Реєстр позначає це по кожному джерелу, і відповідь не змінюється: одне число, без стандартної похибки, без нічого, за чим читач міг би судити, наскільки хтось упевнений. Найближче слайди 2009 року — вони хоча б позначають рядки, де значущості не було, але й там таблицю доз можна читати як форму, а не зважувати як вимірювання. Кожна цифра на цій сторінці — точкова оцінка, а діапазон навколо неї — це розкид між джерелами, а не довірчий інтервал.
- У публічному доступі немає рандомізованого експерименту на магазині, опублікованого разом з методом. Найближче Zalando, і він відводить цьому одне речення. Це найбільша прогалина в галузі, і через неї центральна цифра на сторінці приходить з вебпошуку, а не з магазину.
Протокол
Як збирався цей реєстр
Усе сказане вище тримається на тому, які джерела існують, — тож ось де їх шукали. Найважливіше це для того, чого тут немає: сторінка має право стверджувати, що експеримент ніколи не публікували, лише якщо каже, де дивилася.
| Де | Що шукали | Що знайшлося |
|---|---|---|
| ACM Digital Library: KDD, CHIIR, SIGIR | Рандомізовані експерименти із затримкою чи швидкістю, описані з методом | Kohavi et al. 2013, Kohavi et al. 2014, Arapakis et al. 2021 і нульовий результат Etsy, наведений усередині першої з цих робіт |
| NBER, SSRN, arXiv, робочі статті Гарварда і MIT | Економічні та бізнес-школярські роботи про швидкість сторінок і комерційні результати | Нічого. У цього питання на таких майданчиках літератури немає |
| Management Science, Marketing Science, Information Systems Research | Те саме, у журналах, які це опублікували б, якби воно було | Нічого |
| Інженерні блоги рітейлерів і комерційних платформ | A/B-тести швидкості магазину, опубліковані тими, хто їх проводив | Zalando 2018 і Shopify 2026. Zalando відводить своєму експерименту одне речення |
| Кейси на web.dev | Комерційні результати зі швидкості, які Google вирішив опублікувати | Vodafone 2021 і Rakuten 2022 |
| Архіви конференцій і web.archive.org | Джерела, які цитують усюди, а їхніх сторінок більше немає | Слайди Velocity 2009 на CDN O'Reilly, дві статті Google, які Google зняв, і звіт Aberdeen 2008 |
| Вендорські whitepaper | Опубліковані нульові результати, писати які ні в кого немає стимулу | Один, у власному документі Blue Triangle |
| Три окремі спроби, 25.09.2026 — 04.10.2026 | Експеримент із сповільненням чи прискоренням на магазині, опублікований з методом, вибіркою і базовою швидкістю | Нічого, на жодному майданчику. Це найбільша прогалина в галузі і причина, чому центральна цифра тут узята з вебпошуку |
Чому джерело мало відповідати
Щоб узагалі потрапити до реєстру, цифру треба прочитати в документі, який можна відкрити. Не в переказі, не в посиланні з блогу: прочитати, з дослівно наведеним реченням, яке її несе. Це правило — те спільне, що є в усіх 15 записів, і через нього чотири з них тут через архівну копію.
Рівень визначається тільки дизайном, а не тим, наскільки результат цікавий чи свіжий. Швидкість призначали користувачам — рівень A, швидкість змінювалася сама — рівень B, у цифри немає видобувного методу — рівень C, і грошей вона не несе ніде на цій сторінці.
Джерело виключається лише за те, що його не можна прочитати, і ніколи за незгоду. Тому і нульові результати, і дослідження, яке вдвічі зрізає центральну цифру самої цієї сторінки, стоять у реєстрі, а не лишилися за його межами.
Чим це не є
Це не систематичний огляд у формальному сенсі. Пошук не протоколювався по ходу, тому немає ні лічби переглянутих записів, ні згоди двох незалежних читачів, і таблиця написана за тим, що пошук повернув, а не за наперед зафіксованим протоколом. Вважайте це відтворюваним слідом, а не реплікацією: кожен рядок можна пройти наново, і читач, який знайде відсутнє джерело, знайшов справжній дефект.
Реєстр
Усі джерела повністю, а їх 15
У кожній картці дизайн, місце публікації, кого вимірювали, як перевірялися цитати і чого дослідження підтвердити не може. Розкрийте картку, щоб прочитати фрази, з яких узяті цифри.
Цитати наведені мовою оригіналу. Перекладена цитата перестає бути дослівною, і читач, який звіряє її з джерелом, потрібної фрази там не знайде.
Online Controlled Experiments at Large Scale
Kohavi, Deng, Frasca, Walker, Xu, Pohlmann (Microsoft), 2013
- Де опубліковано
- KDD '13, ACM SIGKDD
- Кого вимірювали
- Користувачі Microsoft Bing; дві групи впливу: 10% сповільнили на 100 мс і ще 10% на 250 мс, протягом двох тижнів
- Як перевірені цитати
- Прочитано в PDF джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- dl.acm.org · doi:10.1145/2487575.2488217
Цитати й обмеження
Словами авторів
We recently ran a slowdown experiment where we slowed 10% of users by 100msec (milliseconds) and another 10% by 250msec for two weeks. The results showed that performance absolutely matters a lot today: every 100msec improves revenue by 0.6%.Bing's server performance is now sub-second at the 95th percentile.This quantification may change over time, as the site's performance and bandwidth standards improve.Чого не підтверджує
- Вебпошук, а не магазин. Транзакція тут — це клік по результату, а не оформлення замовлення, тож на рітейл цифра переноситься лише за аналогією.
- Виміряно від бази менше секунди. Автори прямо пишуть, що величина змінюється разом з тим, які стандарти швидкості має сайт.
- Саме затримка на сервері, а не вага сторінки, час відмальовування чи стабільність верстки.
- Ті самі автори наводять суперечливий результат: у Etsy затримка в 200 мс значення не мала.
- Одна пара доз, 100 мс і 250 мс. Форма відгуку за дозами береться зі слайдів тієї самої компанії 2009 року, а не звідси.
Seven Rules of Thumb for Web Site Experimenters
Kohavi, Deng, Longbotham, Xu (Microsoft), 2014
- Де опубліковано
- KDD '14, ACM SIGKDD
- Кого вимірювали
- Користувачі Bing у кількох експериментах зі сповільненням на різну величину
- Як перевірені цитати
- Прочитано в PDF джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
Цитати й обмеження
Словами авторів
a 250msec delay at the server impacts revenue at about 1.5% and clickthrough-rate by 0.25%. While this is a massive impact, 500msec would impact revenue about 3% not 20%, and clickthrough-rate would drop by 0.50%, not 20% (assuming a linear approximation is reasonable).Earlier tests at Bing [32] had similar click impact and smaller revenue impact with delays of up to two seconds.Using a linear approximation (1st-order Taylor expansion), we can assume that the impact of the metric is similar in both directions (slowdown and speedup) ... By running slowdown experiments with different slowdown amounts, we have confirmed that a linear approximation is very reasonable for Bing.The slowdown quantifies the impact on the metric of interest at the point today ... If the site performance changes (e.g., site is faster), or the audience changes (e.g., more international users) the impact may be different.A recent slowdown controlled experiment was run ... delaying when the right pane elements were shown by 250 milliseconds. If there was an impact on key metrics, it was not detectible, despite the experiment size of almost 20 million users.Чого не підтверджує
- Лінійне наближення перевірене для Bing, на швидкості Bing і для аудиторії Bing. У тій самій роботі автори пишуть, що за іншої швидкості чи іншої аудиторії ефект може бути іншим.
- Спостереження про дві секунди наведене тут без чисел. Вони є у слайдах Velocity 2009 тієї самої компанії, і вони кажуть, що гранична ціна 100 мс за межами секунди приблизно вдвічі менша.
- Як і раніше вебпошук.
Loading Time Matters
Zalando engineering, 2018
- Де опубліковано
- Zalando Engineering Blog (not peer reviewed)
- Кого вимірювали
- Клієнти Zalando; спершу кореляція по всьому шляху, потім A/B-тест для підтвердження
- Як перевірені цитати
- Прочитано в блозі джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- engineering.zalando.com
Цитати й обмеження
Словами авторів
100 msec loading time improvement led to a 0.7% uplift in revenue per session.We analyzed the correlations of loading time and revenue per session across every step of the user journey and for every device.An A/B test brought the final confirmation.Чого не підтверджує
- Не опубліковані ні базовий час завантаження, ні розмір вибірки, ні тривалість, ні деталі розподілу, тому експеримент не можна розібрати.
- Основний аналіз автори називають кореляційним, а A/B-тест згаданий одним реченням і без власних чисел.
- Фешн-рітейл у Європі. Один бізнес, один каталог, одна аудиторія.
Vodafone: A 31% improvement in LCP increased sales by 8%
Vodafone, published by Google on web.dev, 2021
- Де опубліковано
- web.dev case study (not peer reviewed)
- Кого вимірювали
- Розподіл трафіку 50/50 на лендингу, близько 100 тис. кліків і 34 тис. візитів на групу за добу
- Як перевірені цитати
- Прочитано в кейсі джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- web.dev
Цитати й обмеження
Словами авторів
50% of the traffic was sent to the optimized landing page (version A), and 50% was sent to the baseline page (version B).LCP improved by 31% (from 8.3s to 5.7s)Sales increased by 8%Lead-to-visit rate improved by 15%Cart-to-visit rate improved by 11%Чого не підтверджує
- У впливі одночасно змінили серверний рендеринг і зображення, тому швидкість не відділена від решти змін. Це рандомізоване порівняння двох збірок сторінки, а не двох швидкостей.
- Опубліковано вендором, чию метрику воно ж і підтверджує, на сайті самого Google.
- Ні тривалості, ні повного обсягу вибірки, крім добового трафіку, не наведено.
- 0,31% виручки на 100 мс тут — це середнє по 2,6 с від повільної бази, і його не можна напряму порівнювати з граничною цифрою перших 100 мс.
Performance Related Changes and their User Impact (The User and Business Impact of Server Delays, Additional Bytes, and HTTP Chunking in Web Search)
Schurman (Microsoft Bing), Brutlag (Google), 2009
- Де опубліковано
- Velocity 2009 (conference presentation, no paper)
- Кого вимірювали
- Користувачі вебпошуку Bing і Google, кожен майданчик експериментував окремо. Bing: невелика кількість користувачів на кожен рівень затримки. Google: невеликий відсоток пошукового трафіку, випадковий розподіл, від чотирьох до шести тижнів на рівень
- Як перевірені цитати
- Прочитано в оригінальних слайдах
- Що сказано про точність
- Значущість позначено, але інтервалу не наведено
- Джерело
- cdn.oreillystatic.com
Цитати й обмеження
Словами авторів
Determine impact of server delaysDelay before sending resultsDifferent experiments with different delaysRandomly assign users to the experiment and control groups (A/B testing)Server-side delay: Emulates additional server processing timeVaried type of delay, magnitude (in ms), and duration (number of weeks)Strong negative impactsRoughly linear changes with increasing delayTime to Click changed by roughly double the delay- Means no statistically significant changeDelays under half a second impact business metricsThe cost of delay increases over time and persistsЧого не підтверджує
- Слайди й доповідь, але не стаття. Дизайн описаний достатньо, щоб його зрозуміти, і недостатньо, щоб повторити: ні розмірів вибірки, ні довірчих інтервалів, ні статистичних тестів, крім прочерку у значенні «незначущо».
- Bing у 2009 році, від бази 2009 року, яка ніде не названа. Граничні ставки йдуть від 0,15% до 0,32% виручки на 100 мс, нижче за 0,6%, які та сама компанія виміряла у 2013 році від бази менше секунди. Так і виглядає еластичність, виміряна в іншій робочій точці.
- Вебпошук, а не комерція.
- Вирішено тут, і це варто записати: Arapakis зі співавторами (2021) приписують −1,8% запитів, −4,3% виручки і −3,8% задоволеності затримці в 1,5 секунди. В оригінальних слайдах цей рядок — 2000 мс. Мають рацію вторинні перекази, які кажуть про дві секунди.
A 200ms delay did not measurably matter at Etsy
McKinley (Etsy), reported in Kohavi et al. 2013, 2013
- Де опубліковано
- Reported in KDD '13
- Кого вимірювали
- Користувачі Etsy
- Як перевірені цитати
- Прочитано в PDF джерела
- Що сказано про точність
- Нічого. Про точність цифри не сказано взагалі
- Джерело
- dl.acm.org · doi:10.1145/2487575.2488217
Цитати й обмеження
Словами авторів
we were surprised to see Etsy's Dan McKinley [2] claim that a 200msec delay did not matter. It is possible that for Etsy users, performance is not criticalЧого не підтверджує
- Наведено з других рук усередині чужої роботи, авторами, які в це не повірили.
- Це нульовий результат, тому він обмежує універсальність ефекту, а не вимірює його.
A cosmetics retailer got 1.5 seconds faster and saw no result
Blue Triangle Technologies, 2020
- Де опубліковано
- Vendor whitepaper (not peer reviewed)
- Кого вимірювали
- Одна анонімна крамниця косметики, ніде в документі не названа
- Як перевірені цитати
- Прочитано в PDF джерела
- Що сказано про точність
- Нічого. Про точність цифри не сказано взагалі
- Джерело
- bluetriangle.com
Цитати й обмеження
Словами авторів
They spent 3 months improving performance by 1.5 seconds on average, implementing A/B testing to ensure the site was production-ready. Upon launching the new “faster site”, they noticed no real results in conversion rates and top-line revenue because attention was given to the wrong webpages.To support the argument that there is not a “one-size-fits-all” page speed goal to best support user experience improvements and overall sales, three different eCommerce retailers were analyzed using Blue Triangle data in this study.Чого не підтверджує
- A/B-тест, про який там ідеться, запускали, щоб перевірити готовність нової крамниці, а не щоб виміряти ефект швидкості. Тобто це «до і після» через релонч, де решту не тримали незмінною.
- Ні вибірки, ні тривалості вимірювання, ні визначення, що таке «жодного результату». Крамниця анонімна за угодою про конфіденційність.
- Опубліковано вендором продуктивності, і пояснення нульового результату — це рівно те, що він продає.
- Там же знову наведено цифру Amazon у 1% з посиланням на Linden 2006 — той самий слайд-дек, через який цей реєстр її й відмовляється брати.
Rakuten 24's investment in Core Web Vitals increased revenue per visitor by 53.37%
Hayoung Lee, Linh Duong, Ryunosuke Akiba, Shogo Kashiwase (Rakuten, published by Google on web.dev), 2022
- Де опубліковано
- web.dev case study (not peer reviewed)
- Кого вимірювали
- Лендинг Rakuten 24, одночасний розподіл трафіку 50/50 на місяць; розмір вибірки не опубліковано
- Як перевірені цитати
- Прочитано в кейсі джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- web.dev
Цитати й обмеження
Словами авторів
During the test duration, 50% of the traffic was sent to the optimized landing page (version A), and 50% was sent to the original page (version B).The only difference between version A and version B was that version A was optimized for Core Web Vitals and there were no other functional or visual differences.53.37% increase in revenue per visitor33.13% increase in conversion rateCLS improved by 92.72%FID improved by 7.95%FCP improved by 8.45%TTFB improved by 18.03%Чого не підтверджує
- LCP немає серед метрик, які, за звітом, покращилися. Є CLS, FID, FCP і TTFB. Отже, це ціна пакета, в якому найбільше зрушилася стабільність верстки, і її не можна перевести в цифру на 100 мс LCP.
- Пакет, а не маніпуляція швидкістю. Це рандомізоване порівняння двох збірок сторінки, як у Vodafone, тільки тут найбільший рух у метрики, яка не швидкість.
- Не опубліковано ні розміру вибірки, ні довірчих інтервалів, ні статистичних тестів.
- Один лендинг, один місяць, один рітейлер, опубліковано вендором метрики на сайті того самого вендора.
- Широко цитовані цифри про LCP із цієї сторінки (на 61% краща конверсія при LCP менше секунди) — це спостережна сегментація польових даних, а не результат експерименту.
Impact of Response Latency on User Behaviour in Mobile Web Search
Arapakis (Telefónica Research), Park (Telefónica Research), Pielot (Google), 2021
- Де опубліковано
- CHIIR '21, ACM SIGIR Conference on Human Information Interaction and Retrieval
- Кого вимірювали
- Користувачі мобільного вебпошуку в контрольованому дослідженні із заданими рівнями затримки
- Як перевірені цитати
- Прочитано в PDF джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- arxiv.org · doi:10.1145/3406522.3446038
Цитати й обмеження
Словами авторів
Our preliminary results indicate that mobile web search users are four times more tolerant to response latency reported for desktop web search users. However, when exceeding a certain threshold of 7-10 sec, the delays have a sizeable impact and users report feeling significantly more tensed, tired, terrible, frustrated and sluggish, all which contribute to a worse subjective user experience.Чого не підтверджує
- Вимірює суб'єктивний досвід і поведінку в пошуку, а не виручку.
- Автори називають результати попередніми.
- Поріг у 7-10 с стосується саме мобільного пошуку: це доказ того, що поріг існує, а не поріг, який можна переносити далі.
Response time in man-computer conversational transactions
Miller (1968); extended by Card, Robertson & Mackinlay (1991), 1968
- Де опубліковано
- AFIPS Fall Joint Computer Conference, vol. 33, pp. 267-277
- Кого вимірювали
- Сприйняття часу відгуку людиною; відтворено в роботах з HCI упродовж п'яти десятиліть
- Як перевірені цитати
- Отримано через статтю, яка на нього посилається
- Що сказано про точність
- Нічого. Про точність цифри не сказано взагалі
- Джерело
- dl.acm.org · doi:10.1145/1476589.1476628
Цитати й обмеження
Словами авторів
0.1 second is about the limit for having the user feel that the system is reacting instantaneously1.0 second is about the limit for the user's flow of thought to stay uninterrupted10 seconds is about the limit for keeping the user's attention focused on the dialogueЧого не підтверджує
- Три пороги цитуються за формулюванням Нільсена, який посилається на Miller 1968 і Card et al. 1991. Праці 1968 року закриті платним доступом і з перших рук не читалися.
- Це пороги сприйняття, а не виручки. Вони пояснюють, чому в кривої відгуку є сходинки, але ціни їй не ставлять.
Milliseconds Make Millions
Deloitte with Google, 2020
- Де опубліковано
- Industry report (not peer reviewed)
- Кого вимірювали
- 37 брендів рітейлу, тревелу, люксу й лідогенерації по Європі та США, чотири тижні, тільки мобайл
- Як перевірені цитати
- Прочитано в PDF джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- www.thinkwithgoogle.com
Цитати й обмеження
Словами авторів
An 8.4% increase in conversions with retail consumers was observed, and an increase in average order value of 9.2%.A 10.1% increase in conversions with travel consumers was observed, and a slight increase in average order value of 1.9%.Once data had been collected and fed into a [l]ogarithmic regression model, we were in a position to analyse the data and extract meaning.Fluctuations in speed all occurred naturally and were not artificially created on any of the sites.The 0.1 second improvement was the cumulative impact of all four speed metrics.In some instances, the increase in speed was observed to have minimal or zero effect on funnel progression and/or the KPIs for the vertical. These observations were not included in the report.Чого не підтверджує
- Кореляція. Швидкість не призначали, тому цифри не підтверджують причинове твердження, що приріст дає саме полагодження.
- Нульові результати до публікації не ввійшли, тому коефіцієнти зумовлені тим, що ефект знайшовся, і зміщені вгору.
- Базова швидкість, від якої відміряли 0,1 с, ніде не опублікована, і крива лишається невпізнаваною. При калібруванні за правдоподібними базами ті самі дані дають від +39% до +413% на одному й тому самому прикладі.
- 0,1 с — це сумарний рух чотирьох метрик (Server Latency, Estimated Input Latency, First Meaningful Paint, Observer Load). LCP серед них немає, і в Lighthouse на той момент його не існувало.
- Тільки мобайл. Десктоп автори дивилися і «знайшли багато суперечливих параметрів».
- Конверсія в люксі визначена як додавання в кошик або клік по «зв'язатися з нами», тож виручку в люксі дослідження не вимірювало.
Store Speed and Conversion: What the Data Shows
Shopify, 2026
- Де опубліковано
- Shopify Enterprise blog (not peer reviewed)
- Кого вимірювали
- Діючі магазини на Shopify, польові дані реальних користувачів за 28 днів на стику січня і лютого 2026 року, найповільніші 5% виключені
- Як перевірені цитати
- Прочитано в блозі джерела
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- www.shopify.com
Цитати й обмеження
Словами авторів
for every 100 milliseconds slower a store loads, conversion tends to be about 3.5% lower.stores with 2.5 second LCP report roughly 30% lower conversion than stores with 1.5 second LCP.To prevent outliers from skewing the results, we excluded the slowest 5% of stores from the analysis.Largest Contentful Paint (LCP) measures how quickly your main content appears.At the individual store level, conversion depends on many factors beyond speed-product-market fit, pricing, marketing, and more.Чого не підтверджує
- Спостереження. Магазини розклали по кошиках за тією швидкістю, яка в них уже була, а не призначили її, тому цифра не підтверджує, що прискорення магазину дає приріст.
- Групування магазинів, щоб усереднити товарну посадку, ціни й маркетинг, розбавляє конфаундер, але не забирає його. Магазин, який вкладається в швидкість, цілком може вкладатися й у все інше.
- Конверсія, а не виручка. Про середній чек, який складає половину цифри іншого спостережного дослідження, воно не каже нічого.
- Опубліковано платформою, чиїх мерчантів воно вимірює, без зазначення розміру вибірки.
- Воно розходиться з іншим спостережним дослідженням у 2,4 раза на одній і тій самій величині: 3,5% на 100 мс тут проти 8,4% на 0,1 с у Milliseconds Make Millions.
53% of mobile site visits are abandoned after three seconds
Shellhammer (Google / DoubleClick), 2016
- Де опубліковано
- DoubleClick by Google, “The need for mobile speed” (not peer reviewed)
- Кого вимірювали
- Мобільні сайти, які погодилися ділитися бенчмарк-даними Google Analytics, n=3,7 тис., світ, березень 2016
- Як перевірені цитати
- Прочитано в архівній копії, оригінал знято
- Що сказано про точність
- Одне число, без інтервалу і без похибки
- Джерело
- web.archive.org
Цитати й обмеження
Словами авторів
In our new study, “The Need for Mobile Speed”, we found that 53% of mobile site visits are abandoned if pages take longer than 3 seconds to load.Google Data, Aggregated, anonymized Google Analytics data from a sample of mWeb sites opted into sharing benchmark data, n=3.7K, Global, March 2016Чого не підтверджує
- Спостереження. Нічого не призначали, тож сказати, що прискорення когось утримало б, воно не може.
- Вибірка відібрала себе сама: це сайти, які самі погодилися ділитися даними з Google.
- Візити на мобільні сайти, опубліковано рекламним продуктом для видавців. Покинутий візит — це не втрачений продаж.
- Дані березня 2016 року, на швидкостях зв'язку й пристроях, яких більше немає.
- Google зняв сторінку. Лишилася тільки архівна копія.
Bounce probability rises 123% between one and ten seconds
An (Google), 2017
- Де опубліковано
- Think with Google, “Mobile page speed: new industry benchmarks” (not peer reviewed)
- Кого вимірювали
- Мобільні лендинги, проаналізовані Google; редакція лютого 2018
- Як перевірені цитати
- Прочитано в архівній копії, оригінал знято
- Що сказано про точність
- Лише точність моделі, яка це видала
- Джерело
- web.archive.org
Цитати й обмеження
Словами авторів
We also trained a deep neural network—a computer system modeled on the human brain and nervous system—with a large set of bounce and conversions data. The neural net, which had a 90% prediction accuracy, found that as page load time goes from one second to 10 seconds, the probability of a mobile site visitor bouncing increases 123%.Чого не підтверджує
- Це передбачення нейромережі за спостережними даними, а не вимірювання і не експеримент.
- Широко цитованого «від однієї секунди до трьох, 32%» у тексті немає. У тексті — від однієї секунди до десяти і 123%.
- Відмова — це не покупка. Виручку тут не вимірюють узагалі.
- Ні розміру вибірки, ні довірчого інтервалу, ні опису навчальних даних.
- Google зняв сторінку. Лишилася тільки архівна копія.
Every 100ms of latency cost Amazon 1% in sales
Attributed to Amazon, via Greg Linden's slides and secondary press, 2006
- Де опубліковано
- Статті не було
- Кого вимірювали
- Невідомо. Ні метод, ні розмір вибірки, ні дата не публікувалися.
- Як перевірені цитати
- Перевірити неможливо
- Що сказано про точність
- Нічого. Про точність цифри не сказано взагалі
- Джерело
- www.exp-platform.com
Цитати й обмеження
Словами авторів
Greg Linden [40 p. 15] noted that 100msec slowdown at Amazon impacted revenue by 1%Чого не підтверджує
- Немає опублікованого методу, вибірки, тривалості й визначення виручки.
- За ланцюжком цитувань усе закінчується слайдами 2006 року, а в одній рецензованій статті колонкою у Forbes.
- Виключено з усіх розрахунків. В інтерфейсі з'являється лише як приклад цифри, яку не можна перевірити.
Як посилатися на цю сторінку: Посилайтеся разом з дослідженням, на якому тримається цифра, а не на саму лише сторінку. Кожне число нижче називає своє джерело і веде на нього.
Створімо разом вражаючий проєкт!
Що зазвичай питають
Чи правда, що 100 мс затримки коштували Amazon 1% продажів?
Перевірити це неможливо. За посиланнями цифра приводить до слайдів 2006 року, а одна рецензована стаття посилається на колонку у Forbes. Експеримент, що стоїть за нею, так і не опублікували: методу не прочитати, вибірку не зважити, і що рахували виручкою — невідомо. Ця сторінка називає саму цифру, щоб її можна було відхилити поіменно, і нічого з неї не бере.
Чи правда, що 53% мобільних відвідувачів ідуть після трьох секунд?
Саме речення справжнє, воно належить Google і датується 2016 роком. Хибне все, що несуть разом із ним. Власна виноска каже: агреговані дані Analytics із мобільних сайтів, які самі погодилися ними ділитися, n=3700, березень 2016 року. Тобто це спостереження, вибірка відібрала себе сама, рахуються покинуті візити, а не втрачені продажі, і всьому цьому десять років. Google відтоді сторінку зняв.
Чи завжди швидший сайт приносить більше грошей?
Ні, і про це кажуть чотири опубліковані результати. Затримка в 200 мс в Etsy не дала вимірюваного ефекту на його власних користувачах. Bing затримав бічну панель на 250 мс і не побачив нічого майже на 20 мільйонах користувачів. У найкращому за дизайном комерційному експерименті тут LCP узагалі немає серед зрушених метрик. А одна крамниця три місяці прискорювалася на 1,5 секунди і не отримала змін ні в конверсії, ні у виручці.
Яку цифру нести фінансистам?
Меншу, і поруч із нею назву експерименту. Цифра з рандомізованого тесту витримує перевірку, цифра з кореляції — ні, а розрив між ними тут приблизно в тридцять разів. Калькулятор видає першу й оцінює лише ту частину розриву, яку покривають докази.
Чому на цій сторінці ніде немає довірчого інтервалу?
Бо його не публікує жодне джерело. Кожна цифра в реєстрі — це одне число без стандартної похибки, і це позначено по кожному джерелу, а не згадано один раз. Найближче слайди 2009 року: вони хоча б позначають, які результати були незначущими. Діапазон поруч із результатом — це розкид між різними дослідженнями, а не довірчий інтервал.