Что такое поправка на множественное тестирование?

Что такое поправка на множественное тестирование и почему без неё легко «найти эффект из воздуха»

Поправка на множественное тестирование — это статистическое правило, которое защищает от ложных находок, когда исследователь проверяет сразу много гипотез. Проблема проста. Если мы заранее договорились считать результат «значимым» при p < 0.05, то это означает, что даже при полном отсутствии реального эффекта примерно в 5 % случаев тест случайно даст «значимый» результат. Если сделать 1 тест, риск ошибки невелик. Но если сделать 7 тестов, как в примере с мармеладными мишками разных цветов, вероятность того, что хотя бы один тест случайно окажется «значимым», резко растёт. Это и называется проблемой множественного тестирования. История с мармеладными мишками хорошо это иллюстрирует. Сначала проверили общий вопрос — влияет ли употребление мармеладных мишек на зрение. Получили p = 0.45. Это означает, что различие легко объясняется случайными колебаниями данных и никакого значимого эффекта нет. При таком p говорить о влиянии нельзя. Но затем исследователи решили проверить не мармелад вообще, а каждый цвет отдельно. Оранжевый, фиолетовый, розовый, красный, синий, зелёный, жёлтый — всего 7 отдельных тестов. И тут вдруг у одного цвета нашлось p = 0.04. Формально это меньше 0.05, и без дополнительных правил можно было бы сказать «нашли эффект». Проблема в том, что этот результат ожидаем даже при полном отсутствии влияния. Если сделать 7 независимых проверок, один «красивый» p меньше 0.05 почти гарантирован случайно. Это не открытие, а статистическая ловушка. Чтобы избежать таких ложных выводов, применяют поправки на множественное тестирование. Самая простая и жёсткая — поправка Бонферрони. Её смысл очень простой. Общий допустимый уровень ошибки 0.05 делят на число тестов. В нашем случае 0.05 / 7 ≈ 0.0072. Это и есть новый порог значимости для каждого отдельного цвета. После такой поправки p = 0.04 уже не считается значимым, потому что 0.04 намного больше 0.0072. Значит, никакого надёжного эффекта влияния цвета мармеладных мишек на зрение не обнаружено. Вывод здесь принципиальный. Значимый результат при множественных проверках без поправки — это не доказательство, а почти гарантированный способ получить ложноположительный вывод. Именно поэтому корректные исследования заранее фиксируют число тестов и применяют поправки на множественное тестирование. Без этого можно «доказать» что угодно — от вреда жёлтых мишек до пользы фиолетовых, просто перебирая варианты, пока статистика случайно не подмигнёт. https://pubmed.ncbi.nlm.nih.gov/11159626/