Могут ли менделевская рандомизация и естественные эксперименты давать доказательства как РКИ?

Адекватные и хорошо контролируемые исследования. Управление по контролю за продуктами и лекарствами США.

В научной медицине доказательство эффективности лечения — это не просто статистическая связь между фактором и исходом. Нужно показать, что эффект вызван именно лечением, а не другими причинами. Главная задача клинического исследования — убрать влияние смешивающих факторов, то есть любых обстоятельств, которые могут исказить причинно-следственную связь.

Именно поэтому регулирующие органы, такие как FDA США, требуют, чтобы исследование позволяло отделить реальный эффект препарата от естественного течения болезни, эффекта плацебо, регрессии к среднему и ошибок измерения. Только хорошо спланированные и адекватно контролируемые исследования считаются достаточной базой для признания лечения эффективным.

Чтобы снизить риск систематических ошибок, пациентов делят на группы лечения и контроля так, чтобы эти группы были сопоставимы по всем важным характеристикам. Самый надёжный способ — рандомизация, то есть случайное распределение участников.

Параллельная контрольная группа — это группа пациентов, которые участвуют в том же исследовании в то же самое время, что и группа лечения, но получают плацебо или стандартную терапию. Они наблюдаются в тех же условиях, теми же врачами, по тем же протоколам. Это позволяет максимально корректно сравнить результаты.

Историческая контрольная группа — это пациенты из прошлого, например из старых исследований или архивных данных, с которыми сравнивают текущую группу лечения. Проблема в том, что такие пациенты лечились в другое время, в других условиях, могли отличаться по тяжести заболевания, диагностике или сопутствующей терапии. Поэтому их невозможно так же точно сопоставить по значимым переменным, как параллельные группы внутри одного исследования.

Именно поэтому неконтролируемые или частично контролируемые исследования, а также исследования с историческим контролем, не могут служить единственным и достаточным основанием для утверждения, что лечение доказано эффективно.

С точки зрения интерпретации, это положение важно, поскольку такие методы как наблюдательные исследования, регистры пациентов, естественная история заболевания или менделевская рандомизация не включают назначения лечения исследователем и, следовательно, относятся к частично контролируемым дизайнам. Это означает, что согласно позиции FDA они не могут являться единственным источником окончательных доказательств эффективности.

https://www.ecfr.gov/current/title-21/chapter-I/subchapter-D/part-314/subpart-D/section-314.126

Усиление стандартов отчётности наблюдательных исследований в эпидемиологии с использованием менделевской рандомизации

Следующий важный вопрос — как сами научные руководства классифицируют менделевскую рандомизацию (MR).

В официальном консенсус-документе STROBE-MR, опубликованном в журнале JAMA, менделевская рандомизация описывается как разновидность наблюдательного исследования, в котором генетические варианты используются в качестве инструментов для оценки причинной связи между фактором и исходом.

В этом же документе прямо говорится, что MR — это метод, направленный на усиление причинных выводов в рамках наблюдательной эпидемиологии.

То есть с точки зрения международных методологических стандартов менделевская рандомизация не относится к экспериментальным дизайнам, таким как рандомизированные контролируемые исследования. Это инструмент, который делает наблюдательные данные более устойчивыми к смешивающим факторам, но он не превращает их в полноценный клинический эксперимент.

Следовательно, по официальному консенсус-документу JAMA менделевская рандомизация относится к наблюдательной эпидемиологии.

https://pure.rug.nl/ws/portalfiles/portal/190721449/JAMA2021_326_1614Skrivankova.pdf

Использование и интерпретация квазиэкспериментальных исследований в медицинской информатике

Квази-эксперименты в научных руководствах классифицируются сходным образом. Это исследования, которые оценивают эффект вмешательства, но при этом не используют случайное распределение участников по группам.

И здесь возникает принципиальная проблема. Когда нет рандомизации, невозможно гарантировать, что группы действительно сопоставимы по всем значимым характеристикам. Часть смешивающих факторов можно измерить и статистически учесть, но всегда остаётся риск, что какие-то важные переменные либо не были измерены, либо вообще неизвестны исследователям.

Такие неизмеренные или не поддающиеся измерению факторы нельзя надёжно устранить в нерандомизированном дизайне. Единственный метод, который системно распределяет как известные, так и неизвестные факторы между группами, — это рандомизация в РКИ.

Поэтому даже если квази-эксперимент показывает связь между вмешательством и исходом, всегда остаётся вероятность, что наблюдаемый эффект частично или полностью объясняется неучтённым фактором. Именно по этой причине такие исследования не дают той же степени уверенности в причинной связи, какую обеспечивает рандомизированное контролируемое исследование.

https://pubmed.ncbi.nlm.nih.gov/16221933

Введение в типы квазиэкспериментальных дизайнов исследований

Исследования последствий, например, стихийного бедствия для здоровья обычно относятся к наблюдательным квази-экспериментальным дизайнам, в которых исследователи не назначают вмешательство участникам.

То есть так называемые естественные эксперименты чаще всего не являются настоящими экспериментами в строгом смысле. Исследователь не распределяет людей по группам, а анализирует уже произошедшие события.

Главная их методологическая слабость в том, что участники не рандомизируются в группы воздействия и контроля. А это означает, что группы могут изначально различаться по важным характеристикам.

Следствие этого принципиально важно: любые различия в исходах между группами могут быть обусловлены неизмеренным смешивающим фактором. Даже если часть переменных учтена статистически, остаётся риск, что какой-то неизвестный или не измеренный фактор повлиял на результат.

Вывод авторов состоит в том, что естественные и квази-экспериментальные исследования способны выявлять ассоциации и усиливать аргументы в пользу причинной связи, но из-за отсутствия рандомизации они не могут с той же степенью уверенности исключить влияние неизвестных факторов, как это делает рандомизированное контролируемое исследование.

https://pubmed.ncbi.nlm.nih.gov/39446515

Перенос менделевской рандомизации от традиционных факторов риска к молекулярным мишеням для разработки лекарств и клинических испытаний в нефрологии

Препараты, для которых есть генетические данные в пользу их действия, могут иметь примерно в 2 раза более высокую вероятность успешного прохождения клинических испытаний. Речь идёт о так называемом «генетическом подтверждении», в том числе на основе менделевской рандомизации.

Это важный момент. Такие данные показывают, что MR может повысить вероятность того, что будущие рандомизированные исследования окажутся успешными. То есть она помогает лучше выбирать мишени для разработки лекарств и снижает риск провала на этапе клинических испытаний. Но это не означает, что MR сама по себе уже доказывает клиническую эффективность препарата.

В той же статье отмечается, что совпадение между оценками, полученными в менделевской рандомизации, и результатами клинических испытаний поддерживает точку зрения, что MR может предсказывать направление эффекта в будущих исследованиях.

Иными словами, MR может достаточно надёжно показать, увеличит или снизит вмешательство риск определённого исхода. Однако предсказать направление эффекта — это не то же самое, что доказать его клиническую значимость, величину эффекта и баланс пользы и риска у реальных пациентов. Эти вопросы по-прежнему требуют рандомизированных контролируемых исследований.

https://www.sciencedirect.com/science/article/pii/S2468024926025817

Систематическое сравнение исследований с использованием менделевской рандомизации и рандомизированных контролируемых испытаний с применением электронных баз данных

Менделевская рандомизация может помогать в планировании рандомизированных контролируемых исследований. В частности, она позволяет уточнять критерии включения и отбирать те группы пациентов, которые с наибольшей вероятностью получат пользу от вмешательства. Кроме того, MR может заранее указать на потенциальные побочные эффекты.

Также отмечается, что MR позволяет проводить причинные сравнения в ситуациях, где прямой эксперимент на людях был бы неэтичен. Например, невозможно рандомизировать людей к курению или к воздействию вредного фактора, но можно изучать генетические варианты, связанные с этим воздействием.

Таким образом, менделевская рандомизация является полезным инструментом предварительного причинного анализа. Она помогает выбирать терапевтические мишени, оптимизировать дизайн будущих РКИ и оценивать риски. Однако её роль — направлять и усиливать последующие клинические исследования, а не заменять их как окончательное доказательство эффективности лечения.

https://pubmed.ncbi.nlm.nih.gov/37751957

Различия в дизайне объясняют вариации результатов между рандомизированными испытаниями и их нерандомизированными эмуляциями

Выводы менделевской рандомизации и рандомизированных контролируемых исследований нередко плохо совпадают. То есть результаты MR не всегда подтверждаются в реальных клинических испытаниях.

Более того, авторы прямо указывают, что в настоящее время невозможно построить количественную модель, которая позволила бы точно оценить, насколько надёжен MR-анализ при прогнозировании исходов будущего РКИ.

Это означает следующее. Менделевская рандомизация может давать предварительные причинные сигналы и быть полезным инструментом отбора гипотез. Однако её способность предсказывать реальные клинические эффекты — их величину и воспроизводимость в условиях рандомизированного вмешательства — остаётся количественно неопределённой. Поэтому MR усиливает причинную аргументацию, но не заменяет клинические испытания как окончательный критерий эффективности.

https://pubmed.ncbi.nlm.nih.gov/37502999

Оценки менделевской рандомизации, выполненные в выборках неродственных людей, могут быть смещены из-за так называемых семейных эффектов. Речь идёт о ситуациях, когда генетические варианты связаны не только с изучаемым фактором, но и с особенностями среды в семье или популяционной структурой, которые не полностью контролируются.

Авторы показали это и на симуляциях. В моделях, где на самом деле причинного эффекта между воздействием и исходом не было, MR-оценки всё равно демонстрировали отклонения от нуля и давали высокий уровень ложноположительных результатов. То есть метод «обнаруживал» эффект там, где его в реальности не существовало.

Далее подчёркивается, что такие механизмы теоретически способны приводить к ложным причинным выводам. Это означает, что если не учтены семейные, социальные или популяционные факторы, MR может показать причинную связь даже при её отсутствии. Поэтому интерпретация результатов менделевской рандомизации требует осторожности и строгой проверки допущений метода.

https://www.repository.cam.ac.uk/bitstreams/45b2ce2d-21a8-4dd3-8ccd-deef8f696262/download

Оценка потенциальной роли плейотропии в исследованиях менделевской рандомизации

Менделевская рандомизация усиливает причинные выводы, используя генетические варианты как инструментальные переменные, что при определённых допущениях частично имитирует логику рандомизации. То есть генетические различия между людьми применяются как инструмент, который частично имитирует принципы РКИ. Однако авторы сразу оговаривают, что MR не является универсальным решением всех проблем причинного анализа.

Отмечается важный момент: MR не устраняет необходимость предположений — она просто заменяет одни эпидемиологические допущения другими. В классических наблюдательных исследованиях мы предполагаем, что смогли корректно учесть все смешивающие факторы. В MR мы предполагаем, что выбранные генетические инструменты связаны только с изучаемым фактором и не влияют на исход другими путями.

Среди ограничений метода ключевым является именно это непроверяемое допущение. Его невозможно полностью подтвердить эмпирически.

В отличие от РКИ, где факт рандомизации можно напрямую проверить и документировать, в MR «рандомизация» является статистической моделью и теоретическим предположением о поведении генетических вариантов. Поэтому, несмотря на усиление причинной аргументации, MR не достигает той же степени методологической надёжности, что рандомизированное контролируемое исследование.

https://research-information.bris.ac.uk/ws/files/163362603/ddy163.pdf

Руководство по проведению исследований с использованием менделевской рандомизации: обновление на лето 2023 года

В этом исследовании подчёркивается, что «рандомизация» в менделевской рандомизации — это не настоящая экспериментальная рандомизация. Речь идёт о квази-случайном распределении генетических вариантов от родителей к ребёнку при зачатии.

Однако эта случайность действует только в пределах конкретной родительской пары и зависит от их генотипа. Иными словами, распределение генетических вариантов случайно внутри семьи, но на уровне популяции на него могут влиять структура родственных связей, социальные факторы и другие особенности.

Также прямо говорится, что любые причинные выводы из наблюдательных данных основаны на непроверяемых предположениях. Это относится и к MR. Если ключевые допущения метода нарушены, оценки могут быть ненадёжными.

Таким образом, менделевская рандомизация не является полноценным рандомизированным экспериментом. Она лишь частично имитирует его принципы и остаётся наблюдательным методом, основанным на статистических предположениях, которые невозможно полностью проверить.

https://pubmed.ncbi.nlm.nih.gov/32760811

Эффекты лечения в рандомизированных и нерандомизированных исследованиях фармакологических вмешательств

В крупном мета-эпидемиологическом анализе, опубликованном в JAMA Network Open, показано, что оценки эффекта, полученные в нерандомизированных исследованиях, систематически отличались от результатов РКИ. В среднем такие исследования завышали эффект лечения примерно на 19% по сравнению с рандомизированными испытаниями.

Кроме того, в 37,6% метаанализов РКИ и нерандомизированные исследования приводили к разным статистическим выводам — то есть один тип исследований мог показывать значимый эффект, а другой нет.

Авторы также отмечают, что нерандомизированные исследования не только переоценивали эффект, но в ряде случаев и недооценивали его по сравнению с РКИ. В целом они вносили дополнительную неопределённость в оценку эффективности.

Это означает, что даже при изучении одного и того же вмешательства разные дизайны могут приводить к противоположным выводам. И нерандомизированные исследования не просто иногда ошибаются в сторону преувеличения эффекта — они в целом дают менее стабильные и менее предсказуемые оценки по сравнению с рандомизированными контролируемыми исследованиями.

https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2824166

Концептуализация естественных и квазиэкспериментов в общественном здравоохранении

В методологическом анализе естественных и квази-экспериментов подчёркивается, что именно эксперимент, и особенно рандомизированное контролируемое исследование, считается дизайном, наименее подверженным систематическим ошибкам. Причина проста — в РКИ исследователь сам контролирует распределение вмешательства между группами.

Естественные эксперименты отличаются тем, что распределение воздействия происходит вне контроля исследователей. Оно формируется внешними событиями или социальными процессами. Поэтому возникает ключевая проблема: невозможно быть полностью уверенным, что различия между группами не связаны с другими факторами.

Авторы отмечают, что доказать, что в таких условиях имела место настоящая или «как бы» рандомизация, крайне трудно, а часто и невозможно. Поэтому концепцию «as-if randomization» предлагают рассматривать не как установленный факт, а как степень правдоподобия — от более убедительной до менее убедительной.

Кроме того, естественные эксперименты остаются основанными на наблюдательных данных. А это означает, что полностью исключить систематические ошибки при формировании групп нельзя.

В итоге авторы формулируют иерархию уверенности: наибольшее доверие вызывают хорошо проведённые РКИ, затем идут естественные эксперименты, и только потом — другие наблюдательные исследования. Это отражает современную логику доказательной медицины: естественные эксперименты полезны и информативны, но уровень уверенности в их причинных выводах ниже, чем в рандомизированных контролируемых исследованиях.

https://link.springer.com/article/10.1186/s12874-021-01224-x