Что такое мощность исследования?

Когда-то один английский учёный, Рональд Фишер, хотел понять, действительно ли удобрение помогает растениям. На одном поле урожай вырос, на другом — нет. Тогда он понял: одного поля недостаточно, ведь может быть, просто на первом чаще шёл дождь. Чтобы узнать правду, нужно проверять на множестве полей и случайным образом распределять, где будет удобрение, а где нет. Так и родился подход, который отличает настоящие эффекты от простых совпадений.

Сегодня учёные делают то же самое, только вместо полей — мыши, а вместо удобрения — препараты, которые, как им кажется, продлевают жизнь. Берут десяток животных, дают часть из них «чудо-средство», и если эти мыши живут чуть дольше, появляется громкий заголовок: «Учёные продлили жизнь!». Но стоит повторить эксперимент — и эффект пропадает. Почему? Потому что животных было слишком мало, чтобы результат можно было считать достоверным.

Здесь и вступает в игру понятие мощности исследования.
Мощность — это вероятность заметить настоящий эффект, если он действительно существует. Например, если препарат реально продлевает жизнь, мощность показывает, какова вероятность, что эксперимент это обнаружит. В нормальной науке мощность должна быть не меньше 80% — то есть исследование должно быть спланировано так, чтобы в восьми случаях из десяти мы действительно увидели существующий эффект.

Чтобы достичь такой мощности, нужно заранее рассчитать размер выборки, то есть сколько животных должно участвовать в опыте. Если их слишком мало, вероятность «поймать» настоящий эффект падает почти до нуля, и всё, что остаётся, — случайные колебания, которые выглядят как открытия. Но в реальности в доклинических экспериментах расчёт мощности и размера выборки выполняют менее чем в одном проценте исследований. Всё остальное делается «на глазок».

А потом мы удивляемся: почему ничего не воспроизводится? Почему результаты «о продлении жизни» исчезают даже при повторении в той же лаборатории? Всё просто: когда мощность низкая, мы не можем надёжно отличить реальный эффект от шумов. И поэтому с большой вероятностью всё, что мы принимаем за открытия, — это просто случайные шумы, выданные за закономерности.

И вот на основе этих шумов мы сегодня строим «карты старения»: стрелочки, связи, пути, молекулы, «включения» и «выключения» процессов. Красиво, сложно, убедительно. Но если учесть, что достоверных данных — менее одного процента, то получается, что вся эта система держится на песке.

Большая часть того, что сегодня называется «механизмами старения», с огромной вероятностью просто не существует. Это иллюзии, родившиеся из маленьких выборок и недосчитанных мощностей. Мы строим научные теории из случайных колебаний и верим в них с серьёзным лицом.

И вот на конференциях звучат слова о «новых сигнальных путях» и «открытых мишенях для долголетия». Но если убрать презентации и пафос, останется одно — мы просто рассказываем красивые истории о том, чего, скорее всего, нет. Мы превратили биологию старения в сказку, где роль волшебства играет статистическая ошибка.

Пока мы не научимся считать мощность, планировать выборку и проверять свои результаты честно, наука о старении так и будет выглядеть как литература — красивая, умная и почти целиком выдуманная.

https://msed.vse.cz/files/2013/224-Keskin-Burak-paper.pdf