Правда ли, что на борьбу со старением выделяется недостаточно денег?

В последние годы всё чаще можно услышать вроде бы логичную мысль. Чтобы добиться прорыва в исследованиях старения, нужно просто больше денег. Больше грантов, больше лабораторий, больше экспериментов.

На самом деле в США на медицину выделяется беспрецедентное количество финансовых ресурсов - около 18,3% от ВВП страны (American Medical Association, AMA). А медицина – это все, что продлевает жизнь. Так как продолжительность жизни – это следствие лучшего здоровья. Проблема не в недостатке денег, а в системных недостатках, которые мешают достигать реальных результатов.

Интуитивно кажется, что это неизбежно приведёт к большему числу настоящих открытий. К сожалению, статистика показывает обратное. При текущем устройстве научных исследований рост финансирования почти неизбежно приводит прежде всего к росту ложных открытий, а число настоящих открытий при этом растёт слабо или не растёт вовсе (Katherine S Button, 2013).

Чтобы это не выглядело как оценочное суждение, нужно сначала понять, как вообще в биомедицине появляются «открытия». В подавляющем большинстве исследований результат считается значимым, если p-значение < 0.05. Это означает, что даже если в реальности никакого эффекта не существует, примерно в 5% случаев (при p = 0.05) исследование всё равно покажет «статистически значимый» результат просто из-за случайных колебаний данных. Это не ошибка учёного и не злоупотребление, а заранее известное свойство метода (David Colquhoun, 2014). Теперь второй ключевой элемент, без которого невозможно понять проблему, это статистическая мощность. Для исследований мощность должна быть не ниже 80%, но на практике она оказывается всего 10 - 40 % (Andrew D Higginson, 2016). Мощность показывает, с какой вероятностью исследование способно обнаружить реальный эффект, если он действительно существует. Если мощность низкая, то даже настоящие эффекты в большинстве случаев не достигают статистической значимости. То есть реальные открытия просто не фиксируются и не доходят до публикации. В биомедицине и особенно в сложных областях вроде старения низкая мощность является распространённой проблемой. Это подробно показано в обзоре Button и соавторов (Katherine S Button, 2016). Теперь можно перейти к главному вопросу. Что происходит, если мы увеличиваем финансирование, но не меняем типичный дизайн исследований и не повышаем их мощность. В этом случае дополнительные деньги почти всегда превращаются в большее число отдельных экспериментов и проверок гипотез. А каждая проверка гипотезы при пороге p<0.05 неизбежно приносит около 5% ложных значимых результатов. Поэтому при росте числа исследований число ложных открытий растёт автоматически и почти линейно (David Colquhoun, 2014). А вот число настоящих открытий при этом растёт гораздо слабее или не растёт вовсе. Причина проста. Низкая мощность никуда не исчезает. Реальные эффекты по-прежнему чаще всего не достигают статистической значимости. Как если бы вы искали на всё большей территории золото металлоискателем, который не может детектировать золото, но он находит всё больше и больше ржавых гаек (John P A Ioannidis, 2005). В результате среди всех опубликованных «значимых» результатов начинает увеличиваться доля ложных открытий. Это не метафора, а формально вычисляемая вероятность того, что значимый результат действительно отражает реальный эффект. В статье Дэвида Колкухуна показано, что при p около 0.05 и типичных значениях мощности доля ложных открытий может достигать 50 - 70% (David Colquhoun, 2014). Важно понимать, что здесь нет обвинений в адрес исследователей. Проблема не в недобросовестности и не в «плохой статистике», а в самой архитектуре системы. При низкой мощности настоящие эффекты редко проходят порог значимости, а ложные значимые результаты продолжают появляться с предсказуемой частотой. В результате именно ложные открытия начинают доминировать среди опубликованных положительных результатов. Это хорошо объяснено и в прикладных статистических разборах (Cross Validated (Stack Exchange Network), ответ на вопрос «Do underpowered studies have increased likelihood of false positives?», опубликовано онлайн в 2015 (обсуждение от участников сообщества). Ситуация усугубляется тем, что при низкой мощности опубликованные значимые результаты почти всегда завышают размер эффекта. Это так называемый эффект победителя. В публикации попадают не типичные оценки, а статистически крайние. Поэтому даже те результаты, которые не являются полностью ложными, часто создают иллюзию гораздо более сильного эффекта, чем существует в реальности (David Colquhoun, 2014). Дополнительный вклад в рост ложных открытий вносит гибкость анализа данных. Когда исследование не имеет жёстко зафиксированного плана анализа, выбор исходов, подгрупп, ковариат и моментов остановки набора данных резко увеличивает вероятность ложного значимого результата. Это показано экспериментально в работе Simmons, Nelson и Simonsohn (Joseph P Simmons, 2011). Именно поэтому простое увеличение финансирования исследований старения без изменения научных правил почти неизбежно масштабирует проблему. Мы получаем больше публикаций, больше «прорывов» и больше значимых результатов, но доля настоящих открытий среди них не растёт, а часто даже снижается. Деньги в такой системе действительно уходят как в бездонную бочку, потому что они усиливают производство ложных открытий быстрее, чем производство знаний (Katherine S Button, 2013). Если мы действительно хотим прогресса в науке о старении, фокус должен быть не на суммах, а на архитектуре. На обязательной достаточной мощности исследований, на предварительной регистрации протоколов, на контроле множественных проверок и на поощрении репликаций и отрицательных результатов. Без этого любые новые миллиарды будут покупать нам прежде всего новые статистические иллюзии, а не новые реальные открытия (David Colquhoun, 2014). https://www.ama-assn.org/about/ama-research/trends-health-care-spending https://pubmed.ncbi.nlm.nih.gov/23571845/ https://pubmed.ncbi.nlm.nih.gov/26064558/ https://pubmed.ncbi.nlm.nih.gov/27832072/ https://pubmed.ncbi.nlm.nih.gov/23571845/ https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124 https://stats.stackexchange.com/questions/176384/do-underpowered-studies-have-increased-likelihood-of-false-positives https://pubmed.ncbi.nlm.nih.gov/22006061/