Почему низкая статистическая мощность исследований приводит к ложным открытиям?

Низкая статистическая мощность исследований — это не просто риск «ничего не найти». Это прямой путь к ложным открытиям. Даже при формально «значимом» p≈0.05 в условиях низкой мощности доля ложных результатов среди опубликованных «положительных» находок может достигать 50–70%. Это не ошибка статистики — это следствие плохой способности исследования отличать реальный эффект от шума.

При низкой мощности настоящие эффекты почти всегда теряются. Они слишком слабы, чтобы пробиться сквозь шум. А вот случайные ложные срабатывания никуда не исчезают: те самые ~5% при p=0.05 продолжают возникать. В итоге, когда реальный сигнал пропадает, именно ошибки начинают выглядеть как «основной результат».

Это похоже на слабый металлоискатель. Он почти не реагирует на настоящее золото — сигнал слишком слабый. Зато иногда всё равно пищит на ржавую гайку. Если ориентироваться только на писк, можно сделать вывод, что вокруг одно «золото», хотя это не так.

Именно поэтому недомощные исследования не обязательно чаще дают ложноположительные результаты в абсолютных числах, но резко увеличивают долю ложных открытий среди всех «значимых» находок. Это ключевое различие, которое часто не понимают.

Неудивительно, что до 75% доклинических исследований не воспроизводятся. Более 70% исследователей сообщают, что пытались воспроизвести эксперименты коллег и не смогли. Даже автоматизированный «учёный-робот» Ева показал, что воспроизводима лишь меньшая часть опубликованных результатов.

Причина во многом системная. В доклинике мощность исследований обычно низкая: размер выборки редко рассчитывается заранее. В пяти из шести систематических обзоров 0% публикаций сообщали расчёт размера выборки, и лишь в одном — около 8%.

Когда исследования массово недомощны, наука начинает тонуть не в отсутствии эффектов, а в иллюзии открытий. Формально «значимые» результаты накапливаются, но большая их часть оказывается шумом. И проблема здесь не в p-значениях, а в архитектуре исследований, которые изначально не способны отличить правду от случайности.

https://pubmed.ncbi.nlm.nih.gov/26064558
https://stats.stackexchange.com/questions/176384/do-underpowered-studies-have-increased-likelihood-of-false-positives
https://nplus1.ru/material/2021/12/10/project-reproducibility-cancer-biology
https://pubmed.ncbi.nlm.nih.gov/27225100
https://techxplore.com/news/2022-04-robot-scientist-eve-one-third-scientific.html
https://pubmed.ncbi.nlm.nih.gov/21956292