Что мы должны думать, когда медицинские данные не согласен?

Для того, чтобы понять, если новый метод лечения болезни действительно лучше, чем старшие лечение, врачи и исследователи смотрят на наилучших имеющихся фактических данных. Специалисты в области здравоохранения хотят "последнее слово" в качестве доказательства, чтобы урегулировать вопросы о том, что лучшие способы лечения.

Но не все медицинские доказательства создаются равными. И есть четкая иерархия доказательств: экспертное заключение и отчеты о случаях отдельных событий находятся на самом низком уровне, а хорошо проведенные рандомизированные контролируемые испытания находятся в верхней части. На самой вершине этой иерархии находятся метаанализы - исследования, которые объединяют результаты нескольких исследований, которые задавали один и тот же вопрос. И самое, очень вершиной этой иерархии являются метаанализы, выполняемые группой, называемой Cochrane Collaboration.

Чтобы быть членом Cochrane Collaboration, отдельные исследователи или исследовательские группы должны придерживаться очень строгих указаний о том, как следует сообщать и проводить метаанализы. Вот почему обзоры Cochrane, как правило, считаются лучшими метаанализами.

Однако никто никогда не спрашивал, отличаются ли результаты метаанализа, проведенного Кокрановским Сотрудничеством, от метаанализа из других источников. Теоретически, если вы сравните мета-анализ Кокрейна и не-Кокрейна, оба из которых опубликованы за один и тот же период времени, вы склонны ожидать, что они выбрали бы для анализа одни и те же исследования, и что их результаты и интерпретация более или меньше совпадают.

Наша команда в Школе общественного здравоохранения Бостонского университета решила выяснить. И удивительно, что это не что мы нашли.


графика подписки внутри себя


Во всяком случае, что такое метаанализ?

Представьте, что у вас есть пять небольших клинических испытаний, которые все нашли в целом положительную пользу, скажем, для приема аспирина для предотвращения сердечных приступов. Но поскольку в каждом из исследований было только небольшое количество предметов исследования, никто не мог уверенно заявить, что положительные эффекты были не просто из-за случайности. При статистическом учете такие исследования будут считаться «недостаточными».

Существует хороший способ повысить статистическую мощность этих исследований: объединить эти пять небольших исследований в один. Это то, что делает мета-аниейс. Сочетание нескольких небольших исследований с одним анализом и усреднение этих исследований могут иногда опрокидывать масштабы, и пусть медицинское сообщество с уверенностью знает, работает ли данное вмешательство или нет.

Мета-анализы эффективны и дешевы, потому что они не требуют новых испытаний. Скорее, это вопрос поиска всех соответствующих исследований, которые уже были опубликованы, и это может быть удивительно сложно. Исследователи должны быть настойчивыми и методичными в своих поисках. Поиск исследований и определение того, насколько они достаточно хороши, чтобы доверять, - это то, что искусство и ошибка - этой науки становится критической проблемой.

Это на самом деле главная причина, по которой было создано Кокрановское сотрудничество. Арчи Кокрейн, исследователь службы здравоохранения, признал силу метаанализов, но также огромное значение для их правильного решения. Мета-анализ Cochrane Collaboration должен соответствовать очень высоким стандартам прозрачности и методологической строгости и воспроизводимости.

К сожалению, мало кто может совершить время и усилия, чтобы присоединиться к Cochrane Collaboration, и это означает, что подавляющее большинство мета-анализов не проводятся в сотрудничестве, и не обязаны придерживаться своих стандартов. Но действительно ли это на самом деле имеет значение?

Насколько различны могут быть два метаанализа?

Чтобы выяснить это, мы начали путем выявления 40 пары мета-анализов, один из Cochrane и один нет, что касается того же вмешательства (например, аспирин) и исход (например, сердечные приступы), а затем сравниваться и противопоставляться их.

Во-первых, мы обнаружили, что почти 40 процент мета-анализов Кокрановского и не кокрановского языков не соглашался на их итоговые статистические ответы. Это означает, что типичные читатели, врачи или политики в области здравоохранения, например, придумали бы принципиально различную интерпретацию того, действовало ли вмешательство или нет, в зависимости от того, какие метаанализы они случайно прочитали.

Во-вторых, эти различия оказались систематическими. Не-Кокрановских обзоров, в среднем, как правило, свидетельствуют о том, что вмешательства они были тестирования были более мощными, более вероятно, вылечить состояние или предотвратить некоторые медицинские осложнения, чем обзоры Cochrane предложил. В то же время, не-Cochrane обзоры были менее точны в их точности, а это означает, что существует высокая вероятность, что результаты были просто из-за случайности.

Мета-анализ - это не более, чем просто средневзвешенная оценка его компонентных исследований. Мы были удивлены, обнаружив, что примерно 63 процентов включенных исследований были уникальны для того или иного набора мета-анализов. Другими словами, несмотря на тот факт, что два набора метаанализов, по-видимому, будут искать одни и те же документы, с использованием схожих критериев поиска, в течение аналогичного периода времени и из аналогичных баз данных, только около трети документов, представленных в двух наборах включены были одинаковыми.

Похоже, что большинство или все эти различия сводятся к тому, что Кокрейн настаивает на более жестких критериях. Мета-анализ настолько же хорош, как и исследования, которые он включает, а средний уровень плохих исследований может привести к плохим результатам. Как говорится, «мусор, мусор».

Интересно, что анализы, которые сообщили о гораздо более высокие величины эффекта, как правило, чтобы снова цитируются в других работах на гораздо более высокими темпами, чем анализы, указавших на меньший размер эффекта. Это статистический вариант старой журналистской поговорке "Если она кровоточит, она ведет." Большие и смелые эффекты получить больше внимания, чем результаты, показывающие маргинальных или неоднозначные результаты. Медицинское сообщество, в конце концов, просто человек.

Почему это важно?

На самом базовом уровне это показывает, что Арчи Кокранов был абсолютно прав. Важна методологическая последовательность, строгость и прозрачность. Без этого существует риск заключить, что что-то работает, когда это не так, или даже просто чрезмерные возможности.

Но на более высоком уровне это еще раз показывает нам, как очень сложно создать единую интерпретацию медицинской литературы. Мета-анализы часто используются в качестве окончательного слова для данного предмета, как арбитры двусмысленности.

Очевидно, что роль оспаривается тот факт, что два мета-анализов, якобы по той же теме, может достигать различные выводы. Если мы рассматриваем мета-анализ в качестве «золотого стандарта» в нынешнюю эпоху "доказательной медицины", как это средний врач или даже Политик пациента реагировать, когда два стандарта золота противоречат друг другу? Пусть покупатель будет бдителен.

Об автореБеседа

Кристофер Дж. Гилл, доцент кафедры глобального здравоохранения; Специалист по инфекционным заболеваниям, Бостонский университет.

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.


Связанные книги:

at Внутренний рынок самовыражения и Amazon