С. Малроу, П. Лэнгхорн, Дж. Гримшоу
Обобщение неоднородных данных в
систематических обзорах
Translated, with permission of the ACP — ASIM, from: Cyntia Mulrow, Peter Langhorne, and Jeremy Grimshaw. Integrating heterogenous pieces of evidence in systematic reviews. Ann Intern Med 1997;127:989—95.
При подготовке систематических обзоров часто приходится сталкиваться с данными разных типов, которые в целом можно разделить на две группы: прямые и косвенные. Прямые данные позволяют непосредственно связать воздействие какого-либо фактора, применение диагностического метода или лечебного вмешательства с развитием истинного клинического исхода. Если же для выявления подобной связи требуется определенная цепь доказательств, такие данные считаются косвенными.
Неоднородность как прямых, так и косвенных данных затрудняет их объединение. Неоднородность может быть обусловлена различиями в степени исходного риска, социально-демографических и культурных характеристиках больных, характере и интенсивности воздействия изучаемого фактора, характеристиках диагностических методов и лечебных вмешательств, а также в способах формирования и отбора контрольных групп. Могут различаться и критерии оценки исходов, вследствие чего могут быть получены разные результаты. Кроме того, неоднородность может быть связана с различиями в структуре исследований, а исследования одного и того же типа могут различаться по методологичес ким особенностям, а следовательно, и по методологическому качеству. Для успешного объединения прямых и косвенных данных необходимо разработать четкие аналитические модели, которые позволили бы связать все эти данные в единое целое. С помощью такой модели изучаемую проблему можно представить в виде ряда более узких вопросов, по каждому из которых стоит провести систематический обзор. Для обобщения данных применяют несколько качественных (субъективных) и количественных (объективных) методов. Представление основных результатов и степени их доказательности в виде таблицы может помочь авторам обзора, больным и врачам при обобщении существующих данных и принятии решений. Кроме того, могут оказаться полезными различные количественные методы, например анализ принятия решений или метод сравнения диапазонов доверительных интервалов. Единственного оптимального метода анализа объединен ных данных не существует. Ни один из этих методов не позволяет устранить неопределенность, во всех случаях требуется принятие тщательно взвешенных решений.
В предыдущих статьях этой серии обсуждается, что такое систематические обзоры и как их найти [1, 2], каково значение этих обзоров для клинической практики и обучения [3—6], а также рассматриваются наиболее важные вопросы методологии их проведения [7—9]. Данная статья посвящена одной из самых сложных методологических проблем — обобщению данных различного типа в одном обзоре. Мы предлагаем методы объединения данных, которые были получены в ходе оригинальных исследований, проведенных с разными целями, по разным протоколам, имеющих разную структуру. Эти методы могут оказаться полезными в тех случаях, когда приходится использовать неоднородные данные (например, при принятии клинических решений и их анализе, экономическом анализе, разработке клинических рекомендаций, определении политики здравоохранения). В первую очередь эти методы предназначены для проведения обзоров, посвященных достаточно широким клиническим вопросам (например, для выработки научно обоснованных клинических рекомендаций), но могут пригодиться и тем, кто изучает более узкую проблему и сталкивается при этом со значительной неоднородностью исходных данных.
В статье обсуждаются следующие вопросы: 1) к какому типу можно отнести неоднородные данные и как их структурировать; 2) какие факторы затрудняют обобщение неоднородных данных; 3) какие методы можно использовать для обобщения неоднородных данных?
Определение типа данных и их структурирование
Любое научное исследование предполагает переход от конкретных наблюдений к построению абстрактных гипотез. Не являются исключением и систематические обзоры, в которых на основании анализа отдельных групп исходных данных делаются обобщающие выводы [10]. Обобщение данных происходит путем их классификации и упорядочивания [11]. Важный первый этап этого процесса — разделение доказательств на прямые и косвенные.
Прямые данные непосредственно связывают воздействие какого-либо фактора, применение диагностического метода или лечебного вмешательства с развитием истинного клинического исхода. [12]. Истинными клиническими исходами считают исходы, жизненно важные для больных, например изменение клинической симптоматики, утрата функции какого-либо органа, смерть [13]. Какие данные будут получены в ходе исследования, прямые или косвенные, зависит от его методологических характерис тик и изучаемых исходов. Например, некоторые рандомизированные контролируемые испытания, в которых эффективность лечения артериальной гипертонии у взрослых b-блокаторами и диуретиками сравнивали с эффективностью плацебо или с отсутстви ем лечения, позволили получить прямые доказатель ства снижения заболеваемости и смертности от сердечно-сосудистых болезней при использовании указанных лекарственных препаратов [14]. В других испытаниях гипотензивных средств выявлено снижение артериального давления (косвенный критерий оценки), однако не показано, как влияет лечебное вмешательство непосредственно на заболеваемость и смертность от сердечно-сосудистых болезней (истинные клинические исходы).
Адрес для корреспонденции: Cynthia D. Mulrow, MD, Audie L. Murphy Memorial Veterans Hospital, 7400 Merton Minter Boulevard (11C6), San Antonio, TX 78284, USA; http://www.acponline.org.
Если для выявления связи между изучаемым воздействием или лечебным вмешательством и развитием истинного клинического исхода требуется определенная цепь доказательств, такие данные считаются косвенными [12]. Примером могут служить данные о связи между физической нагрузкой (вмешательство) и силой нижних конечностей (косвенный критерий оценки) и данные о связи между силой нижних конечностей и вероятностью падений (истинный клинический исход): ни те, ни другие данные в отдельности не позволяют непосредственно связать физическую нагрузку с риском падений. Другой пример — сравнение результатов лечения несколькими аналогичными препаратами, особенно если эти препараты изучались в исследованиях разных типов. Так, было показано, что применение ингибитора 3-гидрокси-3 -метилглутарил-коэнзим А-редуктазы правастатина снижает уровень холестерина липопротеинов низкой плотности, а также заболеваемость и смертность от сердечно-сосудистых болезней среди мужчин с умеренной гиперхолестеринемией без инфаркта миокарда в анамнезе (первичная профилактика) [15]. С другой стороны, при использовании ряда ингибиторов 3-гидрокси-3-метилглутарил-коэнзим А-редуктазы, в том числе правастатина, симвастатина и флувастати на, отмечено снижение заболеваемости и смертности от сердечно-сосудистых болезней среди лиц с гиперхолестеринемией и инфарктом миокарда в анамнезе (вторичная профилактика) [16, 17, а также устное сообщение о результатах исследования Lipoprotein and Coronary Atherosclerosis Study, сделанное в ноябре 1996 г. на собрании Американской кардиологической ассоциации, Anaheim, California]. Рассматриваемые вместе, эти данные представляют собой косвенное доказательство того, что все ингибиторы 3-гидрокси-3 -метилглутарил-коэнзим А-редуктазы эффективны в качестве средства первичной профилактики сердечно-сосудистых заболеваний.
В медицине большинство данных оказываются косвенными. Для обобщения таких данных или различных групп прямых данных необходимо разрабатывать модели, позволяющие связать воздействие какого-либо фактора, применение диагностическо го метода или лечебного вмешательства с клиническими исходами. Для этого следует: 1) выявить все связи между воздействием какого-либо фактора, применением диагностического метода или лечебного вмешательства, с одной стороны, и истинными клиническими исходами — с другой; 2) проанализировать данные, относящиеся к каждой из выявленных связей; 3) объединить эти связи [12]. Важно отметить, что таким образом сложная проблема разбивается на ряд более узких вопросов, между которыми и устанавливаются возможные связи. Такие модели часто называют доказательными. Они представляют собой аналитические схемы, с помощью которых можно прояснить причину или естествен ное течение болезни; выявить последовательность промежуточных событий, которые должны произойти в результате воздействия какого-либо фактора либо применения диагностического или лечебного метода, чтобы развился определенный клинический исход; определить возможные побочные эффекты, требующие дальнейшего изучения [18, 19].
Факторы, затрудняющие обобщение данных
Неоднородность данных затрудняет их обобщение независимо от того, какие данные нужно объединить — прямые или косвенные. На взаимодей ствие этиологических и прогностических факторов, точность диагностики и эффективность лечения влияют множество различных параметров. В исследованиях часто изучают разные популяции больных с различными социально-демографичес кими и культурными характеристиками, степенью исходного риска, тяжестью заболевания. Могут не совпадать природа и интенсивность воздействия изучаемого фактора, характеристики диагности ческих методов и лечебных вмешательств, а также способы формирования контрольных групп. В разных исследованиях применяют различные критерии оценки исходов, в результате чего один и тот же исход может быть описан и оценен по-разному. Существуют различия в структуре исследований (табл. 1), а в исследованиях одного и того же типа могут не совпадать методологические характерис тики (табл. 2).
Данные разных исследований могут различаться по одному или нескольким параметрам. Так, в обзоре нескольких рандомизированных контролируемых испытаний, в которых изучалось влияние препаратов определенного класса на выживаемость в сходных группах больных, неоднородность данных может быть обусловлена только различиями в эффективности отдельных препаратов этого класса. На практике подобная неоднородность данных встречается редко, источников неоднородности обычно бывает несколько. Например, в недавно проведенный систематический обзор, посвященный эффективности работы специализированных инсультных отделений, были включены данные, полученные в ходе как нерандомизированных, так и рандомизированных контролируемых испытаний. В этих испытаниях оценивалась работа различных типов инсультных отделений, использовались разные критерии включения больных и оценки исходов [20]. В систематических обзорах, посвященных эффективности внедрения в практику клинических рекомендаций, рассматрива лись различные методы лечения разных заболеваний; в систематических обзорах, посвященных эффективности системы повышения квалификации медицинских работников, — разные методы обучения, применяемые в разных группах медицинских работников, работающих в разных клинических центрах [21, 22]. В обзор по выявлению связи между курением и раком легкого следует включать как результаты генетического анализа мутаций, так и данные исследований случай—контроль и проспективных исследований, проводимых на животных и человеке.
Неоднородность данных имеет не только отрицательные, но и положительные стороны. Она позволяет оценить согласованность результатов исследований разных типов, а также применимость этих результатов к разным группам больных и разным клиническим условиям (т.е. повышает обобщаемость данных). Кроме того, складывается более полное представление о практической значимости, достоинствах и недостатках тех или иных вариантов диагностичес ких или лечебных методик. Однако обобщение неоднородных данных вносит элемент неопределеннос ти. При проведении систематических обзоров авторы должны оценить значение выявленной неоднород ности, обоснованность или, наоборот, сомнительность результатов отдельных исследований, значимость не включенных в обзор данных, надежность модели, использованной для обобщения различных данных, и необходимость применения количествен ных методов анализа.
Методы обобщения неоднородных данных
Установление связей между отдельными группами данных
Для ответа на сложные вопросы, требующие установления связей между множеством отдельных групп прямых и косвенных данных, следует применять строгие модели. На рис. 1 представлена модель, которая была использована в систематическом обзоре, посвященном эффективности скрининговой диагностики нарушений слуха у пожилых [23]. Модель основана на заранее разработанных критериях оценки скрининговых методов [24]. Существуют также схемы создания моделей для оценки причинных связей, прогноза, эффективности методов диагностики и лечения, определения взаимосвязей между косвенными критериями оценки и истинными клиническими исходами [12, 13, 18, 25, 26]. На рис. 2 представлена модель оценки благоприятных и неблагоприятных последствий медикаментозной терапии ожирения.
Рис.1. Модель, разработанная для оценки обоснованности скрининговой диагностики нарушений слуха.
Рис.2. Модель, разработанная для оценки эффективности медикаментозной терапии ожирения.
Ниже приведены вопросы, относящиеся к некоторым представленным на рисунке связям. Связь 2— какова точность скрининговой диагностики нарушений слуха у пожилых (с помощью анкет, определения порога восприятия звуков при произнесении слов шепотом, щелчке пальцами, при использовании камертона или аудиоскопа)? Связь 3 — каковы нежелательные последствия ошибочных результатов скрининга у пожилых без нарушений слуха в анамнезе? Связь 4 — повышается ли острота слуха у пожилых больных при использовании слухового аппарата? Связь 7— приводит ли уменьшение отложений жира в области живота или внутренних органов, наблюдаемое под действием лекарственных препаратов, к улучшению липидного профиля крови? Связь 8 — влияет ли уменьшение отложений жира в области живота или внутренних органов, наблюдаемое под действием лекарственных препаратов, на эффективность гипогликемической терапии? Связь 9 — влияет ли уменьшение отложений жира в области живота или внутренних органов, наблюдаемое под действием лекарственных препаратов, на эффективность гипотензивной терапии? Связь 10 — является ли влияние медикаментозной терапии ожирения на эффективность гипотензивной терапии независимым от изменений массы тела и количества жира в области живота или внутренних органов?
Каждая связь в модели отражает более узкий вопрос в рамках изучаемой проблемы; каждому из таких вопросов можно посвятить отдельный систематический обзор. Иногда имеются прямые данные, позволяющие не анализировать некоторые промежуточные связи. Авторы обзора должны выбрать наиболее важные связи и провести соответствующие систематические обзоры, в каждом случае тщательно формулируя основной клинический вопрос, определяя критерии включения, используя четкие методы поиска и отбора оригинальных исследований и способы критической оценки данных. По каждому из этих вопросов можно составить сводную таблицу (табл. 3). Такую таблицу можно сопроводить кратким резюме, содержащим сведения о направленности и величине эффекта, статистической значимости и степени неопределенности его оценки, а также достоверности и практической значимости полученных результатов. В некоторых случаях можно провести мета-анализ. Аналогичным образом для некоторых более узких вопросов, касающихся прогноза, диагностики или лечения, степень обоснованности доказательств можно оценить с помощью критериев, отражающих методологическое качество исследова ний и вероятность наличия в них систематических ошибок [27—32].
Способы обобщения и интерпретации неоднород ных данных постоянно совершенствуются. В настоящее время для этой цели используют как качествен ные (субъективные), так и количественные (объективные) методы [33]. Один из качественных методов— основных результатов (например, направлен ности и величины эффекта, степени неопределен ности его оценки, а также обоснованности доказательств) по каждому из более узких вопросов в виде таблицы. Такое представление более наглядно и позволяет осмыслить информацию в целом [34]. Затем эти таблицы используют в качестве основы для обобщения данных различных исследований и выработки заключений. Больным и врачам такие таблицы могут помочь обобщить данные из разных источников и принять взвешенное решение. Однако нужно помнить о возможных ошибках, связанных с обобщением и интерпретацией данных, представленных в виде таблиц. Исследователи могут придавать чрезмерное значение определенным исходам, использовать статистическую значимость оценки исхода вместо его клинической значимости (величины эффекта), не учитывать истинную величину эффекта и степень неопределенности его оценки, смешивать косвенные критерии оценки с истинными клинически ми исходами, а в результате — подменять важные с клинической точки зрения события общими рассуждениями типа "рак — это опасное заболевание, поэтому полезно применение любого вмешательства, помогающего в борьбе с ним" [18].
Примечание . * — пример гипотетического исследования эффективности применения слуховых аппаратов у пожилых; ** HHIE (Hearing Handicap Inventory in the Elderly Questionnaire) — анкета, разработанная для оценки эмоциональных и социальных последствий снижения слуха у пожилых по шкале с диапазоном суммарного показателя от 0 до 100 баллов.
Другой качественный, но достаточно точный способ — обобщение данных на основе ограниченного числа параметров, имеющих большое значение. Например, Американская экспертная комиссия по профилактической медицине обобщила результаты исследований, посвященных профилактике, на основании трех критериев: 1) социальной значимости изучаемого заболевания и его влияния на качество жизни; 2) особенностей отдельных методов профилактики (например, возможность практического применения); 3) подтвержденной с помощью анализа достоверности существующих доказательств эффективности отдельных методов профилактики. В результате был сделан вывод о высокой степени обоснованности скрининговой диагностики рака шейки матки с помощью мазка по Папаниколау, хотя прямых доказательств эффективности этого скрининго вого метода в рандомизированных контролируемых испытаниях не получено [35].
Существуют и другие способы обобщения данных в зависимости от методологического качества исследований и степени доказательности их результатов [29]. При этом важно не впасть в заблуждение и не спутать отсутствие убедительных доказательств в пользу применения определенного вмешательства с данными, свидетельствующими против такого применения. Отсутствие доказательств, подтверждающих эффект, не означает, что на самом деле он отсутствует. Более того, множество косвенных доказательств в пользу альтернативных методов диагности ки или лечения могут перевешивать одно убедительное прямое доказательство в пользу изучаемого вмешательства.
Чтобы связать различные данные в единое целое, применяют ряд количественных моделей. При анализе принятия решений разрабатывают количествен ные модели, в которых клинические решения связаны с косвенными критериями оценки и с истинными клиническими исходами с помощью дерева решений. Дерево решений — это последовательность различных действий и исходов, начиная с перечисления всех возможных альтернатив и заканчивая важными исходами, которым придается определенный вес в соответствии с их клинической значимостью [36—38]. Для выбора оптимального решения оценивают вероятность всех возможных исходов. В идеале эти оценки получают на основании отдельных систематических обзоров. При анализе некоторых сложных многофакторных взаимоотношений можно использовать методы стохастического (вероятностно го) моделирования, например цепи Маркова, модели переходных состояний, дифференциальные уравнения [39]. Разработанный относительно недавно метод сравнения диапазонов доверительных интервалов позволяет анализировать смешанные сравнения (например, заключение относительно сравнения вмешательств A и B можно сделать на основании данных о сравнении вмешательств A и C и вмешательств C и B) [40]. В количественных моделях можно учитывать такие характеристики, как неопределенность данных, априорные вероятности изучаемых явлений и вероятность систематических ошибок. Все перечисленные количественные методы анализа имеют ограничения, поскольку основаны на множестве предположений. Кроме того, при использовании подобных методов требуются привлечение специалистов по статистике, применение средств вычислительной техники и компьютерных программ, а для тех, кому придется пользоваться полученными результатами, эти методы остаются непонятными.
Оценка неоднородности данных
Даже при тщательно сформулированном клиническом вопросе авторам систематического обзора приходится сталкиваться с неоднородностью данных. Один из способов решения этой проблемы — применение более узких критериев включения, например включение только тех оригинальных исследований, в которых изучается определенный исход. В результате данные оказываются более однородными. Однако сужение критериев включения может привести к потере важной информации и повышению вероятности систематической ошибки [41]. Иногда авторы обзора рассматривают оригинальные исследования только одного типа или, более того, исследования одного типа с определенными методологи ческими характеристиками (например, включают только рандомизированные контролируемые испытания, в которых применялся двойной слепой метод). С одной стороны, такой подход позволяет снизить вероятность систематической ошибки. С другой стороны — еще не до конца изучены факторы, влияющие на достоверность того или иного типа исследований, поэтому ограничения, накладываемые на тип включаемых исследований, могут вызвать ложное чувство уверенности в достоверности результатов обзора. Кроме того, исследования с высоким уровнем доказательности, но проведенные недостаточно тщательно, могут быть менее надежными, чем тщательно проведенные исследования с меньшим уровнем доказательности.
К количественным методам, применяемым в случае выявления неоднородных данных, относится анализ чувствительности. Он позволяет определить, от каких факторов зависит обобщенная оценка эффекта [9]. Хорошим примером может служить недавно проведенный мета-анализ, посвященный связи между приемом пероральных контрацептивов и развитием рака молочной железы; при этом анализ чувствительности проводился по нескольким параметрам [42]. Было выявлено, что при приеме пероральных контрацептивов наблюдается небольшое увеличение риска развития рака молочной железы, которое не зависит ни от типа оригинальных исследова ний, ни от характеристик изучаемой популяции (возраст, национальность, уровень образования, гинекологический анамнез), ни от условий проведения исследований (страна), ни от схемы приема контрацептивов (тип препарата и продолжительность приема). Однако анализ данных в подгруппах следует проводить с осторожностью, учитывая множество ограничений, в том числе возможность выявления ложных связей [43]. И, наконец, для учета неоднородности и дополнительных факторов, которые способны повлиять на изучаемые исходы, можно применять специализированные мета-анализы, в которых рассматриваются данные о каждом больном, полученные непосредственно от исследователей [9, 44, 45]. Этот способ может оказаться весьма эффективным, но требует больших ресурсов и поэтому во многих случаях неприменим.
В исследованиях, посвященных одному и тому же вопросу, часто используют разные критерии оценки исходов. Например, в контролируемых испытаниях эффективности вмешательств, позволяющих снизить потребление алкоголя, в качестве исходов могут рассматриваться биохимические показатели, данные врачебных осмотров, сообщения самих больных. В таких случаях можно провести отдельные мета-анализы для каждого исхода либо определить стандартизованную величину эффекта или взвешенную разность средних (т.е. отношение разницы средних в группе лечения и в группе контроля к стандартному отклонению в группе контроля) [46]. Стандартизован ная величина эффекта помогает определить, оказывает ли вмешательство один и тот же эффект на различные связанные между собой исходы. Однако применение стандартизованной величины эффекта имеет и отрицательные стороны: 1) всем исходам присваивается одинаковый вес, независимо от их клинического значения; 2) при рассмотрении не связанных между собой исходов или в случае, когда вмешательство оказывает разный эффект на разные исходы, можно получить ошибочные результаты; 3) если исследователи сообщали только о положитель ных результатах, может возникнуть систематическая ошибка. Другой способ решения проблемы — разработка стандартизованных критериев оценки исходов. Например, при создании обзора по гериатрическому обследованию от исследователей были получены неопубликованные данные, касающиеся исходов (таких как функциональный статус), которые можно было стандартизировать [47]. В обзоре, посвященном инсультным отделениям, пользовались стандартизованным описанием различных вмешательств при инсульте и заранее разработанным определением степени нетрудоспособности, вычисляемой с помощью нескольких шкал [20]. Стандартизованные данные использовали также в обзоре, посвященном побочному действию нестероидных противовоспалительных средств на желудочно-кишечный тракт [48].
Выводы
При обобщении результатов, полученных в разных исследованиях, приходится сталкиваться с проблемой неоднородности данных. Неоднородность может быть обусловлена различиями в изучаемых воздействиях, диагностических или лечебных вмешательствах, характеристиках изучаемых популяций, контрольных группах, критериях оценки исходов, типах и методологическом качестве исследований. С одной стороны, неоднородность повышает достоверность результатов, так как позволяет оценить их согласованность и возможность практического применения. С другой стороны, неоднородность вносит дополнительный элемент неопределенности. Следовательно, нужно оценить значение неоднород ности, обоснованность и относительную неопределенность различных данных, надежность способа их связывания, необходимость применения количественных методов анализа, а также значение невключенных данных. Таким образом, обобщение данных — сложная задача, требующая умения, терпения и некоторой доли скептицизма. Вначале нужно разделить данные на прямые и косвенные, разработать четкие модели, разбивающие сложную проблему на ряд более узких вопросов и содержащие возможные связи между ними. По самым важным из более узких вопросов следует провести систематические обзоры. Затем для обобщения данных в единое целое можно использовать любой из качественных или количественных методов анализа. Единственного оптимального метода анализа объединенных данных не существует, ни один из таких методов не позволяет устранить неопределенность, все они основаны на предположени ях, во всех случаях требуется принятие тщательно взвешенных решений.
Основные положения статьи
Авторское примечание. Все концепции и примеры, приведенные в этой статье, получены из разных источников. Основная их часть взята из базы данных Cochrane Methodology Database. Кроме того, для получения информации были использованы неформальные подходы, например обсуждение с коллегами, и материалы проводившихся на различных международных симпозиумах семинаров по проблемам планирования и выполнения систематических обзоров.
Литература
1. Cook D.J., Mulrow C.D., Haynes R.B. Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med 1997;126: 376—80.
2. Hunt D.L., McKibbon K.A. Locating and appraising systematic reviews. Ann Intern Med 1997;126:532—8.
3. McQuay H.J., Moore A. Using numerical results from systematic reviews in clinical practice. Ann Intern Med 1997;126:712—20.
4. Badgett R.G., O'Keefe M., Henderson M.C. Using systematic reviews in clinical education. Ann Intern Med 1997;126:886—91.
5. Веrо L.A., Jadad A.R. How consumers and policymakers can use systematic reviews for decision making. Ann Intern Med 1997;127:37—42.
6. Cook O.J., Greengold N.L., Ellrodt A.G., Weingarten S.R. The relation between systematic reviews in practice guidelines. Ann Intern Med 1997;127:210—6.
7. Counsell С. Formulating questions and locating primary studies for inclusion in systematic reviews. Ann Intern Med 1997;127: 380—7.
8. Meade М.О., Richardson W.S. Selecting and appraising studies for a systematic review. Ann Intern Med 1997;127:531—7.
9. Lau J., Ioannidis J.P., Schmid C.H. Quantitative synthesis in systematic reviews. Ann Intern Med 1997;127:820—6.
10. Cooper H.M. The analysis and interpretation stage. In: The Integrative Research Review: A Systematic Approach. Beverly Hills, CA: Sage; 1984;79—113.
11. Kerlinger F.N. Foundations of Behavioral Research. 2d ed. New York: Holt, Rinehart, and Winston; 1973.
12. Eddy D.M., Hasselblad V., Shachter R. Meta-Analysis by the Confidence Profile Method: The Statistical Synthesis of Evidence. San Diego: Academic Pr; 1992.
13. Fleming T.R., DeMets D.L. Surrogate end points in clinical trials: are we being misled? Ann Intern Med 1996;125:605—13.
14. Collins R., Peto R., MacMahon S., Hebert P., Fiebach N.H., Eberlein K.A., et al. Blood pressure, stroke, and coronary heart disease. Part 2, Short-term reductions in blood pressure: overview of randomised drug trials in their epidemiological context. Lancet 1990;335:827—38.
15. Shepherd J., Cobbe S.M., Ford I., Isles C.G., Lorimer A.R., MacFarlane P.W., et al. Prevention of coronary heart disease with pravastatin in men with hypercholesterolemia. West of Scotland Coronary Prevention Study Group. N Engl J Med 1995;333:1301—7.
16. Sacks F.M., Pfeffer M.A., Moye L.A., Rouleau J.L., Rutherford J.D., Cole T.G., et al. The effect of pravastatin on coronary events after myocardial infarction in patients with average cholesterol levels. Cholesterol and Recurrent Events Trial Investigators. N Engl J Med 1996;335:1001—9.
17. Randomised trial of cholesterol lowering in 4444 patients with coronary heart disease: the Scandinavian Simvastatin Survival Study (4S). Lancet 1994;344:1383—9.
18. Wolff S.H. Manual for Clinical Practice Guideline Development. Rockville, MD: Agency for Health Care Policy and Research: 1991. AHCPR publication no. 91—0007.
19. Battista R.N., Fletcher S.W. Making recommendations on preventive practices: methodological issues. Am J Prev Med 1988;4(4 Suppl):53—67.
20. A systematic review of specialist multidisciplinary (stroke unit) care for stroke inpatients. Stroke Unit Trialists' Collaboration. In: Warlow C., Van Gijn J., Sandercock P. eds. Stroke Module of the Cochrane Database of Systematic Reviews. London: BMJ Publishing Group; 1995.
21. Davis D.A., Thomson M.A., Oxman A.D., Haynes R.B. Changing physician performance. A systematic review of the effect of continuing medical education strategies. JAMA 1995;274: 700—5.
22. Grimshaw J.M., Freemantle N., Langhorne P., Song F. Complexity and Systematic Reviews. Report to the U.S. Congress of Technology Assessment. Washington, DC: Office of Technology Assessment; 1995.
23. Mulrow C.D., Lichtenstein M.J. Screening for hearing impairment in the elderly: rationale and strategy. J Gen Intern Med 1991;6: 249—58.
24. Cadman D., Chambers L., Feldman W., Sackett D. Assessing the effectiveness of community screening programs. JAMA 1984;251: 1580—5.
25. Bradford-Hill A. The environment and disease: association or causation? Proc Roy Soc Med 1965;58:295—300.
26. Huff J. A historical perspective on the classification developed and used for chemical carcinogens by the National Toxicology Program during 1983—1992. Scand J Work Environ Health 1992;18(Suppl 1):74—82.
27. Koes B.W., Bouter L.M., Beckerman H., van der Heijden G.J. Knipschild P.G. Physiotherapy exercises and back pain: a blinded review. Br Med J 1991;302:1572—6.
28. The periodic health examination. Canadian Task Force on the Periodic Health Examination. Can Med Assoc J 1979;121:1193—254.
29. Cook D.J., Guyatt G.H., Laupacis A., Sackett D.L., Goldberg R.J. Clinical recommendations using levels of evidence for antithrombotic agents. Chest 1995;108:227—305.
30. Acute Pain Management: Operative or Medical Procedures and Trauma. Rockville, MD: U.S. Department of Health and Human Services, Public Health Service. Agency for Health Care Policy and Research; 1992. AHCPR no. 92—00038.
31. Carruthers S.G., Larochelle P., Haynes R.B., Petrasovits A., Schrffrin E.L. Canadian Hypertension Society Consensus Conference: 1. Introduction. Can Med Assoc J 1993;149:289—93.
32. Guyatt G.H., Sackett D.L., Sinclair J.C., Hayward R., Cook D.J., Cook R.J., et al. Users' guides to the medical literature. IX. A method for grading health care recommendations. Evidence-Based Medicine Working Group. JAMA 1995;274: 1800—4.
33. Light R.J., Pillemer D.B. Summing Up: The Science of Reviewing Research. Cambridge, MA: Harvard Univ Pr; 1984.
34. Eddy D.M. Comparing benefits and harms: the balance sheet. JAMA 1990;263:2493—505.
35. U.S. Preventive Servites Task Force. Guide to Clinical Preventive Services. 2d ed. Baltimore: Williams & Wilkins; 1996.
36. Weinstein M.C., Fineberg H.V., Elstein A.S., Frazier H.S., Neuhauser D., Neutra R.R., et al. Clinical Decision Analysis. Philadelphia: WB Saunders; 1980.
37. Berger J. Statistical Decision Theory and Bayesian Analysis. New York: Springer-Verlag; 1985.
38. Gold M.R., Siegel J.E., Russell L.B., Weinstein M.C. eds. Cost-Effectiveness in Health and Medicine. New York: Oxford Univ Pr; 1996.
39. Tijms Н.С. Stochastic modelling and analysis: a computational approach. Chichester, United Kingdom: J Wiley; 1986.
40. Ross S.M. Introduction to Probability Models. 3d ed. Berkeley, CA: Academic Pr: 1985.
41. Gotzsche P.C. Methodology and overt and hidden bias in reports of 196 double-blind trials of nonsteroidal antiinflammatory drugs in rheumatoid arthritis. Control Clin Trials 1989;10:31—56.
42. Breast cancer and hormonal contraceptives: collaborative reanalysis of individual data on 53 297 women with breast cancer and 100 239 women without breast cancer from 54 epidemiological studies. Collaborative Group on Hormonal Factors in Breast Cancer. Lancet 1996;347:1713—27.
43. Oxman A.D., Guyatt G.H. A consumer's guide to subgroup analyses. Ann Intern Med 1992;116:78—84.
44. Stewart L.A., Clarke M.J. Practical methodology of meta-analyses (overviews) using updated individual patient data. Cochrane Working Group. Stat Med 1995;14:2057—79.
45. Collaborative overview of randomised trials of antiplatelet treatment—III: Reduction in venous thrombosis and pulmonary embolism by antiplatelet prophylaxis among surgical and medical patients. Antiplatelet Trialists' Collaboration. BMJ 1994;308: 235—46.
46. Berkey C.S., Anderson J.J., Hoaglin D.C. Multiple-outcome meta-analysis of clinical trials. Stat Med 1996;14:537—57.
47. Stuck A.E., Siu A.L., Wieland G.D., Adams J., Rubenstein L.Z. Comprehensive geriatric assessment: a meta-analysis of controlled trials. Lancet 1993;342:1032—6.
48. Henry D., Lim L.L., Garcia Rodriguez L.A., Gutthann S.P., Carson J.L., Griffin S.M., et al. Variability in risk of gastrointestinal complications with individual non-steroidal and anti-inflammatory drugs: results of a collaborative meta-analysis. BMJ 1996;312:1563—6.
Возврат к содержанию| Возврат на home page "Международного журнала медицинской практики"| Возврат на home page издательства "МедиаСфера"