Значительная часть молекулярных путей старения может быть статистической иллюзией, поэтому искусственному интеллекту почти не на чем учиться

Заголовки обещают прорыв, спасение, революцию. Проходит время — и почти всё рассыпается. Но зачем великим и умным людям системно обманывать мир. И именно в этом замешательстве и есть главный прикол. Никто не злодей. Просто система поощряет не правду, а сенсацию.

Современная наука о старении выглядит впечатляюще. Перед нами тысячи исследований, цветные схемы сигнальных путей, стрелки между белками, перечни активированных генов и молекулярные сети, которые якобы объясняют, почему организм стареет. На этих схемах одни молекулы включают другие, какие-то процессы ускоряются, какие-то подавляются, а в конце возникает стройная история о механизме старения. Затем эту историю пересказывают обзорные статьи, учебники, популяризаторы и искусственный интеллект.

Но существует фундаментальная проблема. Значительная часть этих убедительных молекулярных историй может быть не реальностью, а статистической иллюзией.

История современной статистической науки началась не с молекулярных сетей, генов или искусственного интеллекта. Она началась с полей, растений и удобрений.

С 1919 года Рональд Фишер работал на экспериментальной станции в Ротамстеде в течение 14 лет и придумал, как проверить, действительно ли удобрение помогает растениям давать хороший урожай, или разница в урожае просто случайность. Мощность — это вероятность заметить настоящий эффект, если он действительно существует.

В нормальной науке мощность должна быть не меньше 80%.

Архивные фотографии Ротамстедской экспериментальной станции в Хартфордшире, Великобритания, примерно начала ХХ века, 1910–1920-е годы, показывают именно тот период, когда там работал Рональд Эйлмер Фишер. За внешне простым вопросом об урожае скрывался главный вопрос всей экспериментальной науки. Как отличить настоящий эффект от случайного шума.

Спустя более 100 лет этот вопрос оказался особенно важным для исследований старения. В молекулярной биологии одновременно измеряют тысячи генов, белков, метаболитов и связей между ними. При таком количестве измерений случайность неизбежно начинает создавать убедительные результаты. Если исследование имеет низкую статистическую мощность, настоящий сигнал часто остается незамеченным, но случайные совпадения никуда не исчезают.

При p≈0.05 доля ложных открытий может достигать ~50–70%, если статистическая мощность исследований 20–30%, что характерно для доклиники. Дэвид Колкухон, Университетский колледж Лондона [pubmed.ncbi.nlm.nih.gov/26064558]. Значение p = 0,05 не означает, что вероятность ошибки равна только 5%. Оно показывает вероятность получить такие или более выраженные данные при условии, что реального эффекта нет, но ничего напрямую не говорит о вероятности того, что сам опубликованный вывод верен. Эта вероятность зависит от статистической мощности, количества проверяемых гипотез, распространенности настоящих эффектов и множества решений, принятых исследователями во время анализа. При низкой мощности реальные эффекты почти всегда теряются, а вот случайные ложные срабатывания, те самые 5% при p = 0.05, никуда не деваются. Когда система плохо ловит настоящий сигнал, он исчезает, а случайные ошибки остаются, поэтому ошибки начинают выглядеть как «основной результат». Слабый металлоискатель почти не реагирует на настоящее золото — сигнал слишком слабый. Зато иногда он всё равно пищит на ржавую гайку или крышку от пива [stats.stackexchange.com/questions/176384/do-underpowered-studies-have-increased-likelihood-of-false-positives]. Именно так могут возникать предполагаемые молекулярные пути старения. Настоящий биологический эффект оказывается слишком слабым для небольшой выборки. Он теряется среди индивидуальных различий животных, людей, клеток и тканей. Но один из тысяч случайных сигналов пересекает границу p = 0,05. После этого он превращается в красивую публикацию, а затем в часть общепринятой схемы старения.

Проблема становится еще серьезнее, когда результаты исследования помещают на готовую карту сигнального пути (рисунок). Схема создает ощущение порядка. Узлы соединены линиями, белки распределены по цветным группам, а различия между здоровым состоянием и болезнью выглядят почти очевидными. Однако точность самой карты может быть недостаточной, чтобы отличить болезнь от ошибки.

Невозможно понять, что именно вы видите на схеме – болезнь или ошибку, так как доля (9.5%) возможных ошибок связей в сигнальных путях сопоставима с долей (< 9.5%) наблюдаемых изменений при болезни. Цзин Ма, Мичиганский университет, США.

На картинке слева показана норма, справа показана болезнь. Красные пунктирные линии - это связи, которые отличаются между верхним и нижним рисунком (норма vs болезнь). Перед нами две почти одинаковые сети. В одной показана норма, в другой болезнь. Различия между ними существуют, но возможная доля ошибочных связей достигает 9,5%, тогда как доля наблюдаемых изменений при болезни составляет менее 9,5%. Ошибка модели может быть такого же масштаба, как и предполагаемый биологический эффект.

Это значит, что исследователь может смотреть на красную пунктирную линию и видеть предполагаемый механизм болезни, хотя на самом деле перед ним неточная или ошибочно добавленная связь. При изучении старения возникает та же проблема. Если различия между молодым и старым организмом невелики, а ошибка карты сопоставима с этими различиями, невозможно уверенно определить, что именно изменилось с возрастом, а что возникло из-за несовершенства модели.

Даже если все элементы схемы были измерены правильно, результат анализа пути может радикально зависеть от того, каким статистическим методом пользовались исследователи. Примерно 55% из ваших выводов могут быть ошибочными. Выводы по готовым схемам сигнальных и метаболических путей часто дают ложные находки, а не реальные причины болезней.

Выводы по схемам молекулярных путей могут меняться из-за выбранного метода, размера выборки, размер самого пути, способ расчета p-value и того, как сделана поправка на множественные сравнения. Если метод предполагает, что гены независимы, он часто дает много ложноположительных результатов и плохо воспроизводится, потому что в реальности гены работают согласованно и коррелируют между собой. Поэтому «значимость» пути на такой схеме может отражать не болезнь, а просто корреляцию генов. Сара Мубин, Университет Бонна, Германия [arxiv.org/abs/2201.05593]. Это особенно важно для науки о старении. Активность генов не меняется независимо. Гены работают группами, регулируются общими факторами и реагируют на одни и те же изменения среды. Если несколько сотен генов становятся активнее из-за одного общего процесса, статистический метод может интерпретировать это как множество независимых доказательств участия целого сигнального пути.

На самом деле все эти сигналы могут происходить из одного общего источника. Это может быть изменение состава клеток ткани, воспалительная реакция, стресс клеток, изменение питания, время суток или техническая особенность измерения. Однако на готовой схеме результат выглядит как подтверждение сложного механизма старения. Один метод может назвать значимым путь воспаления. Другой на тех же данных обнаружит путь восстановления ДНК. Третий выделит обмен веществ. Четвертый не найдет ничего. Изменение размера выборки, числа генов в пути, способа расчета p-value или поправки на множественные сравнения способно изменить весь вывод.

Поправка на множественные сравнения нужна потому, что при одновременной проверке тысяч гипотез некоторые результаты неизбежно станут статистически значимыми случайно. Если проверяются 1000 независимых гипотез при p = 0,05 и настоящих эффектов нет, в среднем около 50 результатов могут пересечь эту границу просто из-за случайности. При анализе генов, белков и метаболитов количество проверок нередко исчисляется тысячами или десятками тысяч. Но даже корректная статистика не спасает, если сама карта биологических путей является сильно упрощенной.

Рисунок. Обычная схема слева — это сильно упрощённая модель, а реальная биология справа.

Классические схемы путей полезны для наглядности, но они часто вводят в заблуждение, если по ним пытаться делать практические выводы о болезни. Пути в схемах изолированы, но в реальности между ними много перекрестных связей Одна и та же схема в разных базах может отличаться по числу элементов в 2–26 раз. Вы не видите большую часть системы.

Стрелки в схемах некорректны. Один белок не активирует другой или ингибирует. Связь может быть фосфорилированием, убиквитинированием, гликозилированием, переносом, расщеплением, физическим связыванием, участием в комплексе и так далее.

Часть прямых связей на схемах не прямые, а опосредованные. «Прямая связь вместо непрямой» может полностью поменять понимание механизма. Болезнь почти никогда не идет по одному пути, как на схеме. Путь почти всегда встроен в сеть перекрёстных сигналов с другими путями. Марк Б. Герштейн, Йельский университет, США [https://arxiv.org/abs/0706.0194].

На простой схеме белок А воздействует на белок Б, затем белок Б воздействует на белок В. Кажется, что механизм понятен. Но в клетке белок А может участвовать одновременно в десятках процессов. Он может физически связываться с другими белками, перемещаться между частями клетки, расщепляться, входить в состав молекулярного комплекса и менять активность в зависимости от типа клетки, возраста организма и состояния окружающей среды. Стрелка на схеме скрывает всю эту неопределенность. Она может обозначать прямое взаимодействие, цепочку из нескольких промежуточных событий или всего лишь статистическую ассоциацию. Иногда два белка вообще не взаимодействуют друг с другом, а одновременно изменяются под действием третьего фактора.

Если одна и та же схема в разных базах данных отличается по числу элементов в 2–26 раз, то исследователи фактически анализируют не один и тот же биологический путь, а разные его версии. Один вариант может содержать 20 элементов, другой 100, а третий 520. От того, какую базу выбрали авторы, зависит, какие гены попадут в анализ и какой путь окажется статистически значимым.

Так возникает опасная иллюзия законченного знания. Несколько статистически связанных генов наносят на неполную карту. На карте появляются стрелки. Стрелки интерпретируют как механизм. Механизм включают в обзор. Обзор цитируют сотни раз. Через несколько лет этот путь уже выглядит не как предположение, а как установленная часть биологии старения.

Затем на сцену выходит искусственный интеллект.

Многие считают, что искусственный интеллект сможет решить проблему человеческих ошибок, потому что способен прочитать миллионы статей. Но модель не наблюдает реальную клетку, не проводит эксперимент и не видит биологию непосредственно. Она учится на текстах, созданных людьми. Если в этих текстах закреплены статистические иллюзии, искусственный интеллект изучает и воспроизводит именно их.

«Мусор на входе, мусор на выходе». Мусор лежит в обычной научной публикации с DOI, журналом, авторами и цитатами.

Ошибочная статья может выглядеть полностью научно. У нее есть авторы, университет, журнал, цифровой идентификатор объекта, таблицы, графики и список литературы. Внешне она ничем не напоминает мусор. Но если исследование имело низкую статистическую мощность, множественное тестирование без достаточной поправки, систематические ошибки или неверно выбранную модель, его основной вывод может быть ложным.

Такая статья попадает в научную литературу, индексируется поисковыми системами, цитируется другими авторами и становится обучающим материалом для языковых моделей.

Ошибочные статьи, которые журналы оставили в литературе, теперь сбивают языковые модели и людей — написал биохимик Charles Brenner [https://x.com/CharlesMBrenner/status/2050221340217770455].

Искусственный интеллект не всегда способен понять, что статья была опровергнута, подверглась критике или даже официально отозвана. Заголовок и основной текст продолжают существовать в цифровом пространстве. Другие статьи продолжают ее цитировать. Ошибка становится частью статистической структуры научного языка [nature.com/articles/d41586-026-00969-z].

ChatGPT-5.0 часто использует отозванные научные статьи [https://link.springer.com/article/10.1007/s11192-025-05484-y].

Даже официальное отозвание публикации не гарантирует, что она исчезнет из информационной среды. Ее могут продолжать цитировать, использовать в обзорах и включать в базы данных. Языковая модель видит множество взаимосвязанных текстов, подтверждающих друг друга, но не знает, что исходная точка всей цепочки была ошибочной. К уже существующим ошибкам науки добавляется новая проблема. Искусственный интеллект сам начинает производить несуществующие источники. ИИ всё чаще генерирует вымышленные ссылки в научных работах. Это уже приводит к десяткам тысяч публикаций с ложными ссылками и создаёт риск кризиса воспроизводимости науки. Вымышленная ссылка может выглядеть убедительно. У нее есть правдоподобное название, фамилии авторов, название журнала, год и номер выпуска. Человек может не заметить подмену. Если такой текст попадает в публикацию, следующая модель может обучаться уже на статье, содержащей вымышленный источник. Ошибка начинает размножаться без первоначального реального исследования.

Возникает замкнутый круг. Научная система публикует слабое исследование. Искусственный интеллект использует его как достоверный источник. Затем искусственный интеллект создает новый текст, основанный на старой ошибке. Этот текст публикуется и становится частью обучающего материала для следующего поколения моделей.

Учёные из Техасского университета, США решили проверить, тупеют ли ИИ-модели, если кормить их тем же мусором, что и нас — вирусными твитами, хайпом и бессмысленными постами [arxiv.org/pdf/2510.13928]. Тупеют (рисунок). Они назвали это цифровой деменцией ИИ.

На представленном графике показано, что до обучения на мусорных интернет-текстах модель правильно выполняла 74,9% заданий на решение задач. После такого обучения показатель снизился до 57,2%. Способность понимать длинный текст снизилась еще сильнее, с 84,4% до 52,3%.

При решении задач абсолютное снижение составило 17,7 процентного пункта. При понимании длинного текста снижение составило 32,1 процентного пункта. Относительно исходного уровня способность решать задачи уменьшилась примерно на 23,6%, а способность понимать длинные тексты примерно на 38%.

Это уже не просто отдельная ложная ссылка. Информационный мусор способен менять работу самой модели. Когда в обучающих данных накапливаются вирусные твиты, бессмысленные публикации, сенсационные утверждения и научные ошибки, модель начинает хуже рассуждать и хуже удерживать смысл длинного текста.

Но человек не защищен от этой проблемы.

Если учёный обучился на большом объёме научных работ, где до 70 % результатов оказываются неверными, то при чтении новых исследований он невольно интерпретирует их через накопленные ошибки и ставит неверную гипотезу.

У человека есть слепое пятно на сетчатке глаза, но мы его не замечаем, потому что мозг дорисовывает изображение [sciencedirect.com/science/article/pii/S0042698906003932]. Таких примеров много и они показывают, что восприятие человека - это не фотография реальности, а её реконструкция.

Когда учёный читает научные статьи, то новые данные занимают лишь часть восприятия, а остальное – это тоже реконструкция. Учёный видит не саму реальность, а её версию, которая предсказана мозгом с помощью реконструкции на основе 70% ложных открытий с небольшим процентом новых данных. Мозг не пассивно принимает информацию. Он постоянно предсказывает, что должен увидеть, и достраивает недостающие фрагменты на основе предыдущего опыта. Это позволяет быстро понимать мир, но создает опасность. Если предыдущий опыт наполнен ошибочными молекулярными путями, недостоверными ассоциациями и неподтвержденными механизмами, новые данные будут интерпретироваться через старую ошибочную картину. Исследователь может видеть активацию нескольких генов и сразу узнавать знакомый путь старения. Но это узнавание не обязательно означает, что путь действительно является причиной. Мозг просто сопоставляет новые результаты с теми схемами, которые раньше многократно встречались в статьях. Так научная ошибка перестает быть отдельной ошибкой. Она становится способом восприятия.

ИИ-модель делает нечто похожее. Она предсказывает следующий элемент ответа на основе накопленных текстовых закономерностей. Если в литературе тысячи раз повторяется, что определенный путь вызывает старение, модель будет уверенно воспроизводить это утверждение, даже если исходные исследования были маломощными, невоспроизводимыми или основанными только на статистической корреляции.

Проблема не решается простым увеличением количества данных. Если добавить еще больше плохих данных, модель не обязательно станет умнее. Она может лишь увереннее выучить ошибку.

Причина такого положения лежит не только в статистике. Она заложена в устройстве научной карьеры.

Карьера ученого зависит от количества публикаций, поэтому ученому выгоднее делать много небольших статистически недостоверных исследований, чем больших, но статистически достоверных. Небольшие, но сенсационные исследования почти всегда имеют низкую статистическую мощность.

В модели Эндрю Д. Хиггинсона из Университета Эксетера (Великобритания) выгодная для карьеры статистическая мощность таких исследований составляет всего 10 - 40 % [pubmed.ncbi.nlm.nih.gov/27832072]. При такой (рисунок) статистической мощности значительная часть выводов в таких публикациях - это ошибка.

Исследование с мощностью 80% требует достаточного количества участников, животных, образцов или повторных измерений. Это увеличивает стоимость и продолжительность работы. Результат при этом может оказаться отрицательным и не дать сенсационного заголовка.

Небольшое исследование с мощностью 10–40% провести быстрее и дешевле. Настоящий эффект оно часто не обнаружит. Но если одновременно проверить множество генов, белков, дозировок, тканей и временных точек, какой-нибудь статистически значимый результат почти неизбежно появится.

Именно такой результат легче опубликовать. Он позволяет написать, что найден новый механизм, новый путь или потенциальная мишень для лечения старения. Отрицательные результаты остаются в лаборатории, а случайное положительное срабатывание выходит в журнал.

Чем больше средств тратится на карьерно-выгодные исследования с низкой мощностью, множественными тестированиями и высоким риском bias, тем больше денег уходит на результаты, которые с высокой вероятностью окажутся ложными. Джон П. А. Иоаннидис, Стэнфордский университет, США [journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124].

Bias означает систематическую ошибку. Это не обычная случайность, которая иногда отклоняет результат в одну сторону, а иногда в другую. Систематическая ошибка постоянно смещает результат определенным образом. Она может возникнуть из-за отбора животных или пациентов, отсутствия ослепления, выбора удобного способа анализа, исключения неудобных данных или публикации только положительных результатов.

Когда низкая статистическая мощность сочетается с множественными проверками и систематическими ошибками, научная литература начинает наполняться яркими, но ненадежными выводами. Для отдельного автора каждая публикация может быть рациональным карьерным шагом. Но для науки в целом результат оказывается разрушительным.

Никто не обязан сознательно фальсифицировать данные. Достаточно выбрать маленькую выборку, измерить тысячи показателей, применить несколько методов анализа и опубликовать наиболее интересный результат. Система сама выберет сенсацию.

Так появляется огромный каталог предполагаемых молекулярных путей старения. Один путь связан с воспалением, другой с чувствительностью к питательным веществам, третий с восстановлением ДНК, четвертый с митохондриями, пятый с межклеточной коммуникацией. Каждый из них может содержать реальные элементы биологии. Но степень их причинной роли нередко неизвестна, а статистическая значимость не равна доказательству механизма.

Особенно опасно превращать наблюдаемую корреляцию в причинную цепочку. Если активность белка изменяется с возрастом, это еще не означает, что он вызывает старение. Изменение может быть следствием старения, защитной реакцией организма, маркером другой причины или отражением изменения клеточного состава ткани.

Однако на схеме стрелка почти всегда направлена в одну сторону. Она визуально превращает одновременное изменение 2 показателей в историю о том, что первый показатель управляет вторым. Затем эта история становится текстом, текст становится обзором, обзор становится обучающими данными.

В результате искусственный интеллект получает огромную библиотеку молекулярных механизмов, но не имеет надежной разметки, какие из них являются подтвержденными, какие остаются гипотезами, какие воспроизведены независимо, а какие возникли из статистического шума.

Поэтому утверждение, что искусственному интеллекту достаточно прочитать всю научную литературу, чтобы понять старение, может быть ошибочным. Прочитать все еще не означает узнать правду. Иногда это означает собрать все ошибки одновременно.

Я (автор этой статьи) размечаю каждое исследование на достоверное и недостоверное, поэтому мой мозг строит картину мира на проверенных данных и правильно понимает новые исследования Я не читаю исследования подряд. Сначала оцениваю их достоверность. В результате вся информация у меня в голове размечена. Когда я читаю новое исследование, мозг опирается на эту размеченную базу. Поэтому я не просто читаю науку. Я обучаю мозг отличать правду от ошибок. Это позволяет точнее понимать исследования и лучше формулировать гипотезы. Это соответствует подходу эффективного способа анализа новых данных, описанного в следующих исследованиях.

Такой подход принципиально отличается от обычного накопления информации. Важно не только знать вывод исследования, но и одновременно хранить сведения о его надежности. Какой был дизайн. Сколько было участников или животных. Какова статистическая мощность. Проводилось ли ослепление. Была ли предварительная регистрация. Сколько гипотез проверяли. Применялась ли поправка на множественные сравнения. Был ли результат воспроизведен независимой группой.

Без такой разметки мозг человека и искусственный интеллект видят все публикации почти на одном уровне. Большое воспроизведенное исследование и маленький эксперимент с мощностью 10% могут стать 2 текстами, которые одинаково участвуют в построении ответа.

Но научная достоверность не определяется количеством страниц, престижем журнала или красотой схемы. Она определяется тем, насколько исследовательский дизайн защищает результат от случайности и систематических ошибок.

Для искусственного интеллекта это означает, что недостаточно просто увеличить объем обучающего корпуса. Необходима база, в которой каждое исследование размечено по качеству, дизайну, мощности, риску систематической ошибки, воспроизводимости и силе причинных выводов.

Модель должна различать статистическую ассоциацию, гипотезу механизма и экспериментальное доказательство причинной цепочки. Она должна знать, что изменение экспрессии гена не доказывает его причинную роль, значимость пути не подтверждает механизм, а цветная схема не является фотографией реальной биологии.

Пока такой разметки нет, искусственный интеллект вынужден обучаться на смеси правды, ошибок, преувеличений, отозванных публикаций и вымышленных ссылок. Он может красиво объединять эти сведения, но красота текста не превращает слабое доказательство в надежное.

Именно поэтому значительная часть молекулярных путей старения может быть статистической иллюзией. Не обязательно потому, что все измерения выдуманы. Отдельные изменения генов и белков могут быть настоящими. Иллюзия возникает в момент, когда набор корреляций превращается в единую причинную историю.

Сначала маломощное исследование обнаруживает случайный сигнал. Затем сигнал наносится на неполную схему. Стрелки скрывают неизвестные промежуточные этапы. Статистический путь объявляется значимым. Обзорная статья соединяет его с другими такими же результатами. Механизм многократно цитируется. Искусственный интеллект видит повторение и принимает его за согласие науки.

Но повторение одной ошибки в 1000 текстах не создает 1000 независимых доказательств. Это все еще может быть одна ошибка, размноженная системой цитирования.

Наука о старении оказывается внутри информационного лабиринта. Каждая дверь подписана названием сигнального пути. За каждой дверью находится еще одна схема, еще одна статистическая ассоциация и еще одна статья, обещающая объяснить механизм старения. Но часть дверей ведет не к биологической реальности, а к отражениям других публикаций.

Искусственный интеллект движется по этому лабиринту с невероятной скоростью. Он способен прочитать больше статей, чем любой человек. Но скорость не помогает, если карта ошибочна. Он быстрее проходит по тем же ложным маршрутам и увереннее сообщает, что путь найден.

Главная проблема искусственного интеллекта в науке состоит не только в том, что модель может ошибаться. Главная проблема в том, что сама научная литература не дает ей достаточно надежного материала для обучения.

Чтобы искусственный интеллект действительно помог понять старение, ему нужна не просто вся наука. Ему нужна наука, очищенная и размеченная по степени достоверности. Нужны крупные исследования с мощностью не менее 80%, независимые повторения, предварительная регистрация анализа, корректные поправки на множественные сравнения и четкое разделение между ассоциацией и причинностью.

До тех пор искусственный интеллект будет стоять перед гигантской стеной молекулярных схем. Он будет видеть тысячи стрелок, миллионы связей и бесконечное количество статистически значимых результатов. Но он не сможет надежно определить, где перед ним реальный механизм старения, а где ржавый болт, на который случайно запищал слабый металлоискатель.