История вопроса

Академия - это Государственная академия наук, организация науки, научное управление научными исследованиями в Российской Федерации и проведение исследований. Академия состоит из 2033 действительных и соответствующих членов - известных и уважаемых ученых.
Среди них есть медицинское отделение с авторитетными учеными, всего 500 человек. В Академии наук - Президиум Академии наук - орган управления. Президиум РАН состоит из 82 человек, избранных общей конференцией РАН со всеми вице-президентами РАН.

И есть некоторые общественные организации - одна из них - Комиссия по лженауке. Комиссия по лженауке - это социальная организация без официального статуса, как научно-консультативный орган Президиума РАН без оклада, состоит из 59 членов, из них 9 - членов медицинского отдела РАН. Одно из направлений деятельности - подготовка практических рекомендаций только по запросу Президиума РАН для представления в Президиум РАН. Если Комиссия сделала работу сама по себе - она должна представить результаты в Президиум РАН. Комиссия обязательно должна проконсультироваться с соответствующим отделением наук РАН.

Специальной группой людей были сделаны манипуляции с человеческим сознанием.

Группа, которая разработала Меморандум, работала при финансовой поддержке фонда «Эволюция». среди людей, подписавших меморандум только 7 членов Комиссии по лженауке и из медицинского отделения РАН только один, мы можем назвать их - рабочей группой самозванцев, использовавшей бланки комиссии по лженауке, название комиссии и прикрылась именем Академии наук, не имея на это права.

Эта группа не представила свою работу - меморандум другим 52 членам Комиссии и не представила ее в Президиум РАН.

Ни комиссия, ни Президиум не знали о подготовке такого меморандума. Он был опубликован от имени Академии без знания и участия Академии.

Комиссия и Президиум, следовательно, должны были изучить и принять решение публиковать это от имени РАН или нет. Это не было сделано. Поэтому группа авторов меморандума не имела права публиковать его от имени РАН. То есть 11,8% членов Комиссии собрались в рабочую группу для написания меморандума совместно с журналистами при финансировании из Фонда эволюции, при полном нарушении Положения о Комиссии, - не представили результаты работы.

-1. Членам Комиссии,
-2. Президиуму РАН,
-3. не консультировались в Отделе медицины РАН, но повсюду они представили свою работу от имени Российской академии наук.

Таким образом, меморандум против гомеопатии был опубликован в феврале прошлого 2017 и это результат работы и мнение частной группы, а не Академии наук, хотя они прикрылись, и выступали от имени Академии наук России, не имея на это права.

Цели данной работы

- обоснование фальсификации использования названия Российская академия наук и комиссия по лженауке в наименовании меморандума №2

- объяснение фальсификации и подтасовки использованных данных об исследованиях гомеопатических препаратов в меморандуме №2

Методы

-анализ списка авторов меморандума №2, и нормативно-правовых документов, регулирующих деятельность Комиссии по лженауке, именем которой подписалась группа, которая с таким же успехом могла выступить от имени фонда «Эволюция», что было бы более правдивым событием;

- анализ текста меморандума №2 и источников, на которые авторы ссылались, это:

·        Заявление Научного консультативного совета европейских академий (EASAC) по гомеопатическим средствам и методам

·        Информационный документ Австралийского национального совета по здравоохранению и медицинским исследованиям (NHMRC) по гомеопатии

·        Доклад Комитета по науке и технологии Палаты общин Великобритании: «Вторая проверка доказательств: гомеопатия»

·        Статья, опубликованная в журнале «Ланцет» Шангом и соавторами (Shang et al.) под заголовком «Является ли клиническая эффективность гомеопатии эффектом плацебо? Сравнительный анализ плацебо-контролируемых клинических исследований гомеопатии и аллопатии».

Заявление EASAC:

EASAC – это свободная ассоциация ученых из разных стран. Она опубликовала заявление о гомеопатических продуктах и практиках, которое рассматривает существующую доказательную базу. Основываясь на анализе свободно выбранной доступной литературы, авторы заявления приходят к выводу, что доказательств эффективности гомеопатии, выходящей за пределы эффекта плацебо, не существует.

Доклад NHMRC представляет собой «обзор обзоров», в котором результаты 176 опубликованных исследований были проанализированы на основании вторичных литературных источников. Критерии приемлемости, применявшиеся для отбора надёжных исследований, не отвечали ни общепринятым практическим стандартам, применяемым NHMRC в других обзорах данных, ни рекомендациям по составлению обзоров, опубликованных авторитетной организацией «Кокрейновское сотрудничество».

Выводы NHMRC отличаются отрицательной предвзятостью в отношении гомеопатии, поскольку 97% существующих данных об эффективности гомеопатии были произвольно исключены из обзора.

Мета-анализ плацебо-контролируемых клинических исследований гомеопатии Шанга и соавторов

Эта научная статья, опубликованная в медицинском журнале «Ланцет», ставила себе цель ответить на вопрос, являются ли клинические эффекты гомеопатии эффектами плацебо. Для этого авторы статьи проанализировали исследования в рамках гомеопатии и классической медицины, в которых предвзятость интерпретации результатов была наименее вероятна. Была проведена оценка качества методики исследований, а также были идентифицированы более масштабные испытания на основе отбора 25% от всех испытаний по принципу наибольшего количества участников. Всего были проанализированы 110 гомеопатических испытаний и 110 аналогичных испытаний в области классической медицины. Основываясь на анализе всего 8 масштабных гомеопатических исследований и 6 исследований повышенного качества в рамках классической медицины, авторы статьи пришли к выводу, что их результаты совместимы с представлением о том, что клинический эффект гомеопатии является эффектом плацебо.

Критическое заключение: Статья Шанга была первым значительным обзором клинических исследований гомеопатии с контролем по плацебо после обзора, опубликованного Линде и др. (Linde et al) в том же журнале (в котором было признано, что эффективность гомеопатии превышала эффект плацебо). Выводы, сделанные Шангом, проявляют предвзятость против гомеопатии, на что указывает спорное решение об исключении 93% существующих данных об эффективности гомеопатии, и, в частности, исключение большого числа небольших испытаний высокого методического качества, показавших результаты в пользу гомеопатии. Если бы рассматривались только испытания более высокого методического качества, то выводы были бы противоположными; эффективность гомеопатии превышала эффект плацебо.

Имеется ряд испытаний и систематических обзоров, которые предлагают дополнительную информацию в пользу гомеопатии.

Более того, есть примеры исследований, чьи результаты предлагают аргументированные полезные доказательства и которые вообще не рассматривались в качестве источника информации при подготовке меморандума №2 . К таковым относятся наблюдательные исследования, которые подтверждают среднесрочную и долгосрочную эффективность гомеопатии в обычной клинической практике, а также систематический обзор и мета-анализ клинических плацебо-контролируемых исследований гомеопатии в ветеринарной медицине, указывающие на эффективность, превышающую эффект плацебо. Мы утверждаем, что такие исследования должны как минимум учитываться в качестве доказательств в пользу гомеопатии.

Новые доказательства эффективности гомеопатии безусловно необходимы. Однако заявление о том, что доказательств эффективности гомеопатии помимо эффекта плацебо не существует, игнорирует 43 опубликованных систематических обзора гомеопатии. Эти 43 обзора имеют дело с применением гомеопатии в целом; с индивидуализированным гомеопатическим подходом к лечению; с применением гомеопатии в специфичных условиях или группах условий. Из них 21 обзор сообщил о явно или предварительно положительных результатах, а 9 обзоров – о неоднозначных результатах.³⁸

И в завершение - ЯВЛЯЕТСЯ ЛИ ГОМЕОПАТИЯ ЛЖЕНАУКОЙ?

Основные идеи в основе законопроекта таковы:

·        Гомеопатия – это «лженаука»;

·        Практика гомеопатии неэтична, поскольку её утверждения «ложны», и гомеопатия потенциально может нанести вред пациенту, который не получит эффективного лечения.

Вторая исходная посылка содержит два элемента:

·        Утверждения сторонников гомеопатии «ложны» и «вводят в заблуждение». По сути дела, это повторение обвинения о «псевдонаучной» сущности гомеопатии.

·        «Гомеопатия неэффективна, следовательно гомеопатия представляет собой «косвенный риск» для пациента в связи с неполучением или запоздалым получением лечения «с доказанной эффективностью». Этот аргумент имплицитно утверждает, что гомеопатия «неэффективна». То же самое подразумевается и в материалах, обсуждаемых ниже. Этот аспект будет в полной мере освещен в данном документе.

Важно начать обсуждение с вопроса, является ли гомеопатия лженаукой или нет. Это требует более точного определения того, что такое «наука» и что такое «лженаука».

Для начала скажем, что универсально принятого определения «науки» не существует.⁵ Одна из ведущих школ научной мысли, известная как «логический эмпиризм», придерживается следующих ключевых понятий:

·        Возможность верифицировать утверждения, сделанные с целью создания «научной» теории, отличной от «метафизической» теории.

·        Учёные обычно считают, что наблюдаемые явления являются релевантными, если их можно идентифицировать согласно принятой на данный момент теории как симптомы действия соответствующих причинно-следственных механизмов.

·        Карл Поппер уточнил некоторые из этих принципов, особо выделив возможность фальсифицируемости теории при помощи наблюдений как один из критериев, отличающих «науку» от «не-науки». 

Приведённые выше принципы лежат в основе доказательной медицины.

Основной вызов логическому эмпиризму бросает зависимость теории от научных методов. По сути дела, понятие закона природы непосредственно заложено в самом определении причинно-следственных отношений. Поскольку отсутствует теория, объясняющая причинный механизм действия гомеопатических препаратов, критики гомеопатии склонны считать её лженаукой.

Такие критики логического эмпиризма, как Томас Кун (Thomas Kuhn) и другие указывали, что подобная зависимость теории является её потенциальным недостатком. В истории медицины немало случаев, когда эмпирические результаты игнорировались, поскольку они не вписывались в доминирующие научные теории. Одним из наиболее ярких примеров является венгерский врач XIX века Игнац Земмельвайс (Ignaz Semmelweis), который убедительно показал на практике, что дезинфекция рук в акушерстве может предотвратить послеродовые осложнения (инфекцию). Однако в то время бактерии ещё не были идентифицированы как возбудители заболеваний. В результате собственные коллеги в массе игнорировали и даже высмеивали Земмельвайса. 

На следующем этапе необходимо рассмотреть определение «лженауки». Оксфордский словарь определяет её так: «собрание убеждений или практик, которые ошибочно рассматриваются как основанные на научных методах». Это весьма общее определение не описывает в деталях, что является «лженаукой». Поскольку, как уже говорилось, не существует общепринятой дефиниция «науки», то, пожалуй, неудивительно, что не существует общепринятого, чёткого определения и для «лженауки».

Более практичным подходом является описание ряда основных характеристик, как правило приписываемых лженауке⁶:

1.     Преувеличенные или недоказуемые утверждения;

2.     Использование «предвзятости подтверждения» вместо тщательной проверки опровержимости;

3.     Отсутствие открытости к оценкам со стороны других экспертов;

4.     Отсутствие системного подхода при разработке теорий. 

Если рассмотреть приведенные выше пункты в контексте гомеопатии:

1.     Утверждения, делаемые в гомеопатии, не являются ни завышенными, ни недоказуемыми.

·        Утверждения, делаемые в гомеопатии, доказуемы. Тот факт, что материалы, обсуждаемые в этом документе, ссылаются на большое количество клинических исследований, говорит о том, что, независимо от результатов, эксперименты могут проводиться с ясно обозначенной целью подтвердить или опровергнуть утверждения сторонников гомеопатии.

·        Утверждения, делаемые сторонниками гомеопатии в научном сообществе, НЕ являются преувеличенными. Как показывает данный отчет, те, кто проделал комплексный анализ всех накопленных данных клинических исследований в гомеопатии, утверждают, что они приходят к «сдержанно положительным» выводам. Это отвечает критериям тщательного научного анализа и отличается от «преувеличенно положительных» выводов.

2.     Гомеопатия НЕ избегает тщательных проверок на опровержимость. Повторимся: тот факт, что обсуждаемые ниже материалы имеют дело со значительным числом клинических исследований, которые проводились с целью подтвердить или опровергнуть заранее выдвинутые гипотезы, является доказательством совместимости гомеопатии с тщательной проверкой на опровержимость.

3.     Гомеопатия открыта внешним экспертным оценкам и подвергалась им с момента своего возникновения. Так, первый систематический обзор клинических испытаний гомеопатии был проведен двумя крайне критически настроенными независимыми экспертами и опубликован в авторитетном издании «Британский Медицинский Журнал» (British Medical Journal).⁷ Обсуждая результаты своей работы, авторы ясно выразили своё критическое отношение к предмету исследования: «Количество положительных результатов даже среди методически наилучших испытаний было для нас неожиданностью». В их заявлении прояснились теоретические корни их скептицизма, явно продиктованные «логическим эмпиризмом»: «Исходя из этих результатов, мы были бы готовы признать возможность эффективности гомеопатии, если бы только механизм её действия был более убедителен.»

4.     Гомеопатия была разработана доктором Самуэлем Ганеманом как эмпирическая медицинская наука, для которой он сформулировал систему методик и практик, необходимых для её дальнейшего развития.

5.     Например, в 1885 году Американский Институт Гомеопатии опубликовал согласованные с экспертным сообществом рекомендации для проведения гомеопатических экспериментов, которые включали в себя инструкции в отношении испытаний с использованием анонимизации (слепых испытаний), рандомизации и плацебо-контролируемых испытаний задолго до того, как аналогичные процедуры были приняты в классической медицине.⁸

Подводя итог, легко проиллюстрировать тот факт, что гомеопатия НЕ отвечает характеристикам псевдонауки. Более того, можно утверждать, что гомеопатия совместима с ключевыми понятиями логического эмпиризма (доказуемость и фальсифицируемость). Единственная черта гомеопатии, делающая её несовместимой с логическим эмпиризмом, это необъяснимость механизма действия гомеопатических медицинских препаратов в контексте общепринятых современных научных теорий. Однако следует отметить, что общепринятые научные теории отражают состояние науки в определённый момент времени. Поэтому современная теоретическая наука не статична, она находится в постоянном развитии.

Такие философы науки как Томас Кун показали, что чрезмерное следование принципам «зависимости от теории» может привести к «наукообразности» и на деле замедлить развитие науки.

Из этого следует, что обсуждение гомеопатии не должно быть основано на предположениях, зависящих от научных теорий. Напротив, оно должно концентрироваться на существующих эмпирических данных о её клинической эффективности.

Ещё раз о манипулировании при заявлении EASAC

Краткое изложение содержания документа

EASAC – это сокращенное название Научного консультативного совета европейских академий, представляющего собой неформальную ассоциацию учёных из разных стран. Он не является ни институтом Европейского Союза (ЕС), ни организацией, действующей по мандату ЕС или какого-либо государства-члена ЕС. В реестре прозрачности ЕС его юридический статус описан как «None»(«Отсутствует»).

В сентябре 2017 года эта ассоциация опубликовала в интернете заявление под следующим заголовком: «Гомеопатические препараты и методики: оценка существующих данных и обеспечение единого подхода к урегулированию медицинских страховых возмещений в ЕС».

Ниже приводится краткое резюме аспектов, затронутых в заявлении и его выводов, сделанных на основании уже опубликованных научных оценок гомеопатии:

·        Научное обоснование механизмов действия гомеопатии

o   Вывод EASAC: утверждения гомеопатии неправдоподобны и не отвечают принятым научным концепциям.

·        Клиническая эффективность

o   Вывод EASAC: не существует заболеваний, при лечении которых есть надёжные, воспроизводимые доказательства, что эффективность гомеопатии превышает эффект плацебо.

·        Реклама гомеопатии

o   Вывод EASAC: она может нанести значительный вред здоровью пациента, если замедлит обращение пациента к лечению в рамках доказательной медицины.

·        Ветеринарная практика

o   Вывод EASAC: не существует надёжных данных для обоснования использования гомеопатии в ветеринарии.

EASAC даёт рекомендации по поводу регуляторных требований, страхового возмещения, маркировки, рекламы и маркетинга гомеопатических препаратов.

Что нового добавляет заявление EASAC:

Заявление EASAC НЕ добавляет никакой новой информации по поводу клинической эффективности гомеопатии. В поддержку своих выводов, его авторы главным образом ссылаются на информационный документ Австралийского национального совета по здравоохранению и медицинским исследованиям (см. обсуждение ниже), доклад Палаты общин Великобритании «Проверка доказательств по гомеопатии» (см. обсуждение ниже), мета-анализ, опубликованный Шангом и группой соавторов (см. обсуждение ниже), комментарии Голдакра (Goldacre)⁹ и 6 обзоров гомеопатии, применяемой в различных условиях, опубликованных в базе Кокрейна.^10-15

Комментарий о научной аргументации и заявлениях

По вопросу об эффективности гомеопатии здесь комментировать нечего, так как это заявление, по сути дела, «перепевает» выводы, сделанные в ранее опубликованных обзорах и докладах.

Его авторы ссылаются на обзорную работу по ветеринарной медицине, опубликованную Дёринг и соавторами (Doehring et al)¹⁶ где рассматривается эффективность гомеопатии в лечении домашнего скота. В этом обзоре обсуждаются 26 клинических испытаний, которые показали значительно более высокую эффективность по сравнению с результатами в контрольной группе. Её авторы указывают на то, что совокупность результатов испытаний разнородна, и, поскольку ни одно из исследований не было независимо реплицировано, то авторы заключают, что они «на данном этапе не могут говорить о наличии достаточной прогностической валидности в отношении эффективности».  

Детальное обсуждение доказательств эффективности ветеринарной медицины находится за рамками данного документа, в котором речь идёт о клиническом воздействии гомеопатии на людей. Тем не менее, уместно прокомментировать ряд аспектов:

·        Изучение применения гомеопатии в ветеринарной медицине интересно в контексте обсуждения популярного критического аргумента, приписывающего воздействие гомеопатии исключительно «эффекту плацебо»: сложно представить себе, как «эффект плацебо» может возникнуть у животных.

·        Документ EASAC ссылается только на статью Дёринг, которая проводила оценку действенности гомеопатии в ветеринарной практике животноводства (лечение домашнего скота). Однако документ EASAC делает выводы по всему диапазону ветеринарной медицины. Подобное обобщение не оправдано.

·        Авторы документа EASAC не провели тщательный обзор существующих данных по ветеринарной медицине в её совокупности, поскольку они, например, не упоминают мета-анализ рандомизированных плацебо-контролируемых испытаний в ветеринарной гомеопатии, опубликованный Матье и соавт. (Mathie et al).¹⁷ Отметив, что необходимо проводить больше испытаний по более совершенной методике, Матье всё же нашёл определенные свидетельства того, что гомеопатические препараты более эффективны, нежели плацебо. Подводя итоги, можно сказать, что заявление EASAC по ветеринарной медицине не основано на исчерпывающей оценке существующей научной литературы.

Что касается отчета NHMRC - он предлагает общую картину систематических обзоров медицинской литературы, опубликованных между 1 января 1997 года и 3 января 2013 года. Авторы заявляют, что они не принимали выводы или интерпретации, сделанные в самих обзорах, а непосредственно анализировали и оценивали качество каждого включенного в них исследования.

По сути дела, доклад NHMRC представляет собой «обзор обзоров», на основании которого его авторы оценили 176 клинических испытаний, выбранных из 1863 идентифицированных статей по гомеопатии. Важно отметить, что авторы этого документа НЕ анализировали самостоятельно каждое из 176 отобранных исследований. Обзор, сделанный на основе вторичных источников, как правило, считается менее надёжным.

Критерии для отбора «надёжных доказательств» были сформулированы специально при подготовке этого документа. Отбирались клинические испытания, в которых участвовали по меньшей мере 150 человек и которые отличались очень высоким качеством методики проведения испытания.

Применение этих критериев привело к тому, что 171 из 176 испытаний были отвергнуты как «ненадежные». Сократив всю доказательную базу по вопросу об эффективности гомеопатии всего до 5 «надёжных» испытаний, авторы доклада NHMRC делают вывод об отсутствии надёжных доказательств эффективности гомеопатии.

Комментарий о научной аргументации и утверждениях

Методика отбора испытаний для включения их в оценку описана в таблице, приведенной ниже:

Эта таблица демонстрирует, что испытания, показавшие наивысший уровень качества методики, исключались на основе единственного критерия числа пациентов, не достигавшего 150 человек. Вследствие этого испытания с высоким уровнем качества методики, показавшие положительный эффект применения гомеопатии, были исключены из выборки. Это приводит к искажению результатов.

Более того, выбранный критерий предельного числа участников испытания, которому должны были отвечать «надёжные» испытания, является произвольным:

Другие обзоры NHMRC, например, обзор по оценке доказательств воздействия свинца и рекомендации по клинической практике ведения пациентов с пограничным расстройством личности, не имеют ограничения по количеству участников испытания. Другие организации, выпускающие обзоры, такие как авторитетное Кокрейновское сотрудничество, не исключают рандомизированные контролируемые испытания (RCT) только на основании количества участников.²⁰

Авторы доклада NHMRC ссылаются на исследование, опубликованное Дешартром (Dechartres) в Британском Медицинском Журнала ²¹ как главное обоснование выбранной граничной величины количества участников испытания. Однако сами эти авторы не используют подобные критерии и не рекомендуют исключать испытания при проведении мета-анализов на основании количества участников. Более того, эти авторы построили свой доклад на публикации мета-анализов испытаний, оценивающих бинарные (положительные/отрицательные) эффекты, и заявляют, что эти результаты невозможно экстраполировать на оценку непрерывных эффектов (имеющих определённую величину на шкале измерения). NHMRC правильно классифицирует большинство гомеопатических испытаний как основанные на измерении непрерывных эффектов, так что эта публикация была изначально непригодна для целей их доклада. К тому же, доклад NHMRC исключает все испытания с показаниями по шкале Джадада ниже 5. Установление такого высокого порога для квалификации клинических испытаний как «надежного доказательства» спорно и выходит за рамки принятой практики.

Рабочая группа NHMRC не опубликовала протокол исследования (с описанием методики отбора испытаний и процесса анализа) до его начала. Публикация протокола до начала исследования считается образцовой практикой и применяется Кокрейновским сотрудничеством, бесспорно наиболее уважаемой и независимой группой экспертов. Кстати, внутренняя документация NHMRC показывает, что протокол исследования подвергся значительным модификациям уже через несколько месяцев после начала процесса исследования, и что эти изменения включили в себя такие ключевые аспекты, как введение порогового значения количества участников испытания в 150 человек при отборе отдельных испытаний для оценки эффективности.

В целом, NHMRC произвольно оставил всего только 5 из 58 идентифицированных систематических обзоров, которые описывали 176 индивидуальных испытаний. Общепринято считать плохой научной практикой исследования, которые основывают свои выводы на произвольных выборках из общего свода существующих данных.

Прочие опубликованные критические разборы доклада NHMRC поднимают вопрос о целесообразности группирования в высшей степени неоднородных гомеопатических методик и препаратов под одним заголовком.²² Тема «неоднородности» в мета-анализах детально обсуждается ниже в связи со статьей Шанга. Ещё одно критическое замечание, выраженное в публикации Матур и соавт. (Mathur et al.)²²- это узкое фокусирование исключительно на «внутреннем соответствии» клинических испытаний. Авторы утверждают, что важно учитывать, соответствуют ли гомеопатические методики лечения, исследуемые в испытании, принципам гомеопатии и репрезентативны ли они для реальной гомеопатической практики. Последний аспект также обозначается как «внешнее» или «стандартное» соответствие. Недавно опубликованные обзоры гомеопатии начали рассматривать «стандартное соответствие» гомеопатического лечения. ^23,24

Помимо несоблюдения авторами доклада NHMRC стандартизированных и общепринятых научных методов, множатся доказательства того, что были нарушены и другие гарантии свободы от предвзятости исследований с государственным финансированием, например, такие как отсутствие конфликта интересов и полная прозрачность. Последний аспект выходит за рамки настоящего документа и является в настоящий момент предметом формальной жалобы омбудсмену Содружества.

Мета-анализ плацебо-контролируемых клинических исследований Шанга и соавторов

Краткое изложение содержания документа 

Исследование ставило себе целью ответить на вопрос о том, являются ли клинические результаты гомеопатии эффектом плацебо, путем анализа клинических исследований гомеопатии и классической медицины, наименее подверженных искажениям в силу предвзятости.

Методологическое качество клинических исследований оценивалось с помощью стандартных инструментов. Более крупные испытания были определены на основе тех 25% клинических исследований (в идентифицированной выборке данных), в которых участвовало наибольшее количество пациентов. 

Полученные данные:

·         Исследования меньшего охвата в тенденции демонстрировали более благоприятный эффект, чем исследования с большим количеством участников.

·         Были проанализированы 110 гомеопатических клинических исследований и 110 соответствующих исследований в классической медицине.

·         21 гомеопатическое и 9 классических клинических исследований отличались более высоким качеством.

·         Когда анализ был ограничен восемью большими гомеопатическими исследованиями и шестью исследованиями классической медицины более высокого качества, результаты оказались сопоставимы с представлением о том, что клинические эффекты являются эффектом плацебо. 

Что нового привнесла публикация Шанга?

Публикация Шанга (2005 год) была первым крупным обзором рандомизированных клинических исследований с контролем по плацебо с момента публикации мета-анализа Линде и соавторов (Linde et al) в том же журнале в 1997 году.²⁶

Она вызвала много споров и обсуждений, поскольку ее главный вывод (результаты отвечают критериям гипотезы плацебо) был противоположен выводам обзора Линде (данные не отвечают критериям гипотезы плацебо).

Это было первое исследование, пытавшееся пронаблюдать воздействие гомеопатического и аллопатического лечения в специально подобранных параллельных парах плацебо-контролируемых исследований. 

Комментарий к научной аргументации и утверждениям

Статья Шанга получила широкое распространение в прессе и среди членов медицинского сообщества как исследование, которое окончательно показало, что гомеопатия – это плацебо. Даже Шанг с соавторами констатирует в своей статье, что это не так; сами они так формулируют свои выводы: эффекты, которые можно наблюдать в выборке из восьми плацебо-контролируемых исследований гомеопатии, совместимы с гипотезой о том, что гомеопатия – это плацебо.

Экстраполяция этой идеи в заявление о «доказанности» того, что гомеопатия – это всего лишь плацебо, – распространенная ошибка. О такой ошибке часто говорят, используя формулировку «отсутствие доказательства не является доказательством отсутствия.²⁷ Иными словами, Шанг и соавторы не смогли в подборке из восьми исследований найти указания на то, что гомеопатия – больше, чем плацебо (отсутствие доказательств), но это не значит, что отсюда может быть извлечено доказательство отсутствия конкретных результатов гомеопатического лечения.

Статья Шанга вызвала шквал публикаций и споров, включая множество статей с критикой и дискредитацией самой работы Шанга в последующие годы.^28-34 Основные пункты критики статьи Шанга таковы:

·         Статья не дает сведений о восьми публикациях, на которых были построены основные выводы. Невыполнение таких элементарных требований прозрачности непростительно для такого уважаемого журнала как «Ланцет». В результате целый ряд изъянов и проблем вышли на свет после того, как впоследствии была раскрыта необходимая информация.

·         Установление пограничных значений для «более крупных» испытаний «диктовалось» собранными данными. Это привело к разнице в цифрах пациентов в гомеопатических испытаниях (N<98) и в классических медицинских (N<146) без убедительной причины.

·         Шанг исключил из рассмотрения большое (n=176) клиническое исследование высокого качества с положительными результатами из-за того, что ему не нашлось подходящей пары.³¹

·         В противоположность обычной практике мета-анализа, не был проведен «анализ чувствительности» с целью оценить чувствительность общих выводов, например, к отбору разных подгрупп испытаний в зависимости от изменения пограничного значения размера группы для «более крупных» испытаний. Это особенно существенный изъян, поскольку главные выводы строились на определении более крупных испытаний на основе имеющихся данных, и поскольку впоследствии удалось показать, что общие выводы были очень чувствительны к составу выборки.

·         Шанг и соавторы предпочли не учитывать безопасность. Это снизило релевантность и значимость сравнения: в анализе были задействованы три эффективные аллопатические терапии, которые в дальнейшем были изъяты из продажи из-за серьезных побочных действий.

·         Подборка гомеопатических исследований была весьма разнородной и включала восемь клинических испытаний по восьми различным показаниям, причем по показаниям они не совпадали с показаниями аллопатической терапии. Значительная неоднородность может сделать результаты мета-анализа ничтожными.

Для лучшего понимания этого важного критического замечания необходима дополнительная информация: мета-анализ определяется как «статистический анализ, сочетающий или объединяющий результаты нескольких независимых клинических испытаний, признанных «комбинируемыми».³⁵ Должно быть ясно, что вопрос комбинируемости остается открытым для интерпретаций. Справочник ведущей авторитетной организации в области систематических обзоров (Сотрудничество Кокрейна) рекомендует: «Мета-анализ уместен лишь в том случае, если испытания, включенные в выборку, достаточно однородны в плане числа участников, хода лечения и его результатов. Только в этом случае можно получить осмысленный анализ».³⁶

Что удалось показать статье Шанга:

·         В целом, качество клинических испытаний у гомеопатии было выше, чем в классической медицине.

·         Если учитывать только высококачественные клинические испытания, выводы получаются противоположные: результаты НЕ совместимы с гипотезой плацебо.

·         Ошибочность распространенного мнения критиков о том, что позитивные результаты клинических исследований гомеопатии объясняются преобладанием несовершенных «малоохватных низкокачественных испытаний». В анализе участвовали 14 «небольших» гомеопатических исследований высокого качества из 83 (16,9%) с N<100 против 2 «небольших» классических медицинских исследований из 78 (2,6%) с N<100. Таким образом, качество небольших по охвату испытаний гомеопатии было существенно выше, чем качество небольших испытаний классической терапии.

Так же, как и в случае с отчетом NHMRC, в исследовании Шанга исключение малоохватных испытаний привело к избирательному исключению многих методологически высококачественных испытаний. Кяергард и соавторы³⁷ обнаружили, что всюду там, где испытания отвечали ключевым критериям высококачественной методики, результаты больших испытаний не показывали существенных отличий от малых. Избирательное исключение качественных малых испытаний с результатами в пользу гомеопатии, таким образом, приводит к искажениям в сторону негативных выводов о гомеопатии. Это подтвердилось в исследовании, проверившем чувствительность выводов мета-анализа Шанга к исключению из выборки испытаний из 110 испытаний доступных на тот момент. Как уже говорилось выше, Шанг и соавт. сделали свои основные выводы на основе выборки из 8 крупных испытаний, отобранных из числа 21 высококачественных испытаний. Людтке и соавт. ³⁰ проанализировали эти 21 высококачественных испытаний, а также несколько выборок, исключавших испытания по разным критериям (пороговым значениям) «крупных испытаний». Вот что они установили:

·         По результатам анализа 21 качественного испытания гомеопатия показывала эффект, существенно превосходящий плацебо.

·         Среди включенных в подборку испытаний наблюдалась значительная неоднородность. При невключении в анализ одного особенно крупного испытания, гетерогенность набора данных сильно снижалась и действенность гомеопатии существенно повышалась, обходя эффект плацебо. Это особенно важно, поскольку мета-анализ с высокой степенью гетерогенности с большей вероятностью окажется недействительным. Иными словами, более надежный гомогенный набор данных, полученный от высококачественных клинических исследований гомеопатии, показывал более сильный эффект гомеопатии, превосходящий эффект плацебо.

·         Результаты существенно менялись в зависимости от выбора порогового значения, задающего параметры большого размера контрольной группы.

Все эти факты вызывают серьезные сомнения в выводах Шанга и соавторов

И Шанг с соавторами, и NHMRC исключили из рассмотрения малые испытания. Поскольку эта тема постоянно возникает в критических отзывах о гомеопатии, ниже дана дополнительная информация по этой важной теме:

Невключение испытаний противоречит главной идее мета-анализа: анализ всех имеющихся данных испытаний.

Невключение исследований сокращает потенциал изучения неоднородных явлений.

Невключение испытаний может вести к потерям информации по важным подгруппам пациентов. 

Комбинирование данных в мета-анализе приводит к конфликту между двумя принципами: с одной стороны, включить все имеющиеся сведения, и с другой стороны – получить «наилучшую» оценку. 

Главная причина для исключения малых испытаний – это то, что они приводят к преувеличенным и предвзятым заявлениям об эффективности. Некоторые исследования обнаружили, что лечебный эффект действительно выше в меньших испытаниях. Однако причины таких результатов неясны, и они не обязательно связаны с тем, что оценки эффективности малых испытаний получаются искаженными. Этот феномен может, например, быть связан с искажением при сообщении результата, а также с различиями в методике между малыми и крупными испытаниями или с включением более однородных групп пациентов в меньших испытаниях.
Кяергард с соавторами обнаружили, что эффективность в больших испытаниях не отличалась существенно от эффективности в малых испытаний с высоким качеством методики. ³⁷ Из этого вытекает, что методологически качественные малые испытания дают надежные данные. Как подтверждают Шанг и другие, в гомеопатии есть значительное количество небольших испытаний с высоким качеством методики.
Учитывая ряд неизвестных факторов, возникающих при исключении из анализа испытаний на основе различных предположений, наиболее здравой стратегией было бы включать все испытания в мета-анализ и затем проводить так называемый «анализ чувствительности», который проверяет зависимость результатов от разнообразных предположений. Такой анализ представляет собой добросовестную научную практику и обеспечивает полную прозрачность. Невключение испытаний по произвольно установленным пороговым цифрам участников ведет к избирательности в исключении испытаний и потере прозрачности в интерпретации результатов.
  Обзоры Шанга и NHMRC исключили значительное количество небольших гомеопатических испытаний высокого методологического качества. Это привело к избирательному исключению качественных данных, свидетельствующих в пользу гомеопатии, и к искажениям в сторону негативных выводов по поводу гомеопатии.
Хан показал это в обзорной статье по мета-анализам сборных данных клинических исследований.²⁸ Он установил, что:
·         Положительные результаты раннего метаанализа Линде и соавторов (1997) ²⁶, опубликованные в «Ланцете», могли быть сделаны «негативными» для гомеопатии только путем исключения 90-95% всего материала.
·         Статистический метод, использованный Шангом и соавторами для доказательства идеи о том, что гомеопатия – это плацебо, имел недостатки.
  ОБЗОР НЕКОТОРЫХ ДОКАЗАТЕЛЬСТВ, НЕ УПОМЯНУТЫХ В СОПРОВОДИТЕЛЬНЫХ МАТЕРИАЛАХ К ЗАКОНОПРОЕКТУ
Некоторые результаты испытаний, не упомянутые в сопроводительных материалах к Законопроекту
  Сопроводительные материалы к Законопроекту не упоминают ряд недавних обзоров по гомеопатии.
·         Систематический обзор плацебо-контролируемых испытаний по методике индивидуализированной гомеопатии был опубликован в 2014 году. Анализ 32 приемлемых по качеству рандомизированных клинических испытаний показал эффективность, превышающую эффект плацебо, а анализ трёх высококачественных испытаний, отвечающих критериям надёжных доказательств, подтвердил эти результаты.
·         Обзор, опубликованный в 2015 году,³⁸ подтвердил постоянный рост числа доступных клинических испытаний за последние 20 лет. Обзор в целом идентифицировал 43 опубликованных систематических обзора гомеопатии в целом, индивидуализированной гомеопатии или гомеопатической терапии по определённым показаниям или ряду показаний. Из них 21 исследование дало явно или сдержанно положительные результаты, а результаты 9 исследований были неоднозначными.
·         Систематический обзор плацебо-контролируемых неиндивидуализированных гомеопатических испытаний был опубликован в 2017 году ³⁹ Анализ 75 приемлемых рандомизированных клинических испытаний указал на эффективность, превышающую эффект плацебо, но анализ небольшого числа высококачественных испытаний не подтвердил этих результатов.
·         В 2017 году на русском языке был также опубликован обзор доступных данных⁴⁰ по гомеопатическому препарату Траумель (Traumeel) с применением интегративного «смешанного метода». Анализ 22 статей, включая 3 рецензии, указывают на то, что налицо растущая и многосторонняя доказательная база для этого препарата.
·         Также в 2017 году на русском языке был опубликован обзор доступных данных по гомеопатическому препарату Вертигохель (Vertigoheel) с применением интегративного «смешанного метода» ⁴¹. Анализ 11 статей, включая 1 рецензию, указывают на то, что существует многосторонняя доказательная база для этого препарата. Подобный комплексный подход к доступным данным является весьма ценным источником информации для индивидуализированной терапии. Данные по Вертигохелю привели к включению его в клинические рекомендации в ряде стран, таких как Германия⁴² и Испания⁴³.

Некоторые примеры полезных доказательств, проигнорированных при подготовке информационных материалов для Законопроекта       

·         Подробное обсуждение более широкой доказательной базы гомеопатии выходит за рамки данного документа. Вместо этого, в качестве иллюстрации, предлагаются к рассмотрению несколько примеров релевантных типов исследований:

·         Практические исследования по методу наблюдения, демонстрирующие терапевтическую и экономическую эффективность гомеопатии в «реальных» клинических условиях. Исследование, проведённое во Франции в частных практиках общей терапии, отслеживало ход лечения 8559 пациентов с нарушениями опорно-двигательного аппарата, респираторными заболеваниями, нарушениями сна, симптомами тревоги или депрессии, в течение одного года.  Эффективность и стоимость лечения в гомеопатических практиках сравнивалась с аналогичными показателями в практиках классической медицины. При аналогичной терапевтической эффективности, пациенты в гомеопатических практиках, как правило, использовали меньшее количество аллопатических медикаментов, и итоговая стоимость лечения была на 20% ниже для пациентов в гомеопатических практиках, нежели для пациентов в практиках классической медицины. Результаты этого исследования были опубликованы в нескольких статьях в журналах, рецензируемых экспертным сообществом.44-53

·         Долгосрочные исследования по методу наблюдения по эффективности гомеопатической терапии: испытание, проведенное Уитт и соавт. (Witt et al)54, проанализировало состояние здоровья пациентов в течение 8 лет после обращения в гомеопатическую практику. Используя сертифицированную анкету оценки качества жизни (SF36), исследователи обнаружили, что острота заболевания значительно уменьшилась, а уровни физического и эмоционального качества жизни существенно поднялись.  Авторы приходят к выводу, что у пациентов, прибегающих к гомеопатическому лечению, есть шанс значительно улучшить своё состояние, и что эффект лечения может длиться до 8 лет.

·         Исследования стоимости лечения. Результаты, полученные швейцарскими исследователями, показывают, что стоимость включения гомеопатического лечения в медицинский страховой полис пациента более чем компенсируется сбережениями, вызванными меньшим употреблением аллопатических лекарственных средств. Этот шаг привёл к прямому снижению расходов страховой компании.55   

·         Ветеринарные исследования. В обсуждении документа, выпущенного EASAC, кратко упоминались систематический обзор и мета-анализ рандомизированных плацебо-контролируемых клинических испытаний в ветеринарной гомеопатии, проведенными Матье и соавт.17 Анализ 15 приемлемых рандомизированных клинических испытаний показал, что их эффективность превышает эффект плацебо, а анализ двух высококачественных испытаний с надёжными доказательствами подтвердил эти результаты.·        

·         Предлагается, по крайней мере, рассматривать эти категории данных в качестве дополнительных доказательств эффективности гомеопатии.

·           

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ 

Данный обзор показал:

·         Утверждение, что гомеопатия – это «лженаука» не выдерживает критики.

·         Четыре основных источника, на которые опирается Законопроект, могут быть оспорены с научной точки зрения.

·         Существуют материалы, свидетельствующие в пользу гомеопатии, но не упомянутые в четырех основных документах, на которые ссылаются пояснительные записки, поданные в качестве обоснования Законопроекта. 

Дискуссия об эффективности гомеопатии в большой степени фокусировалась на преимуществах контролируемых клинических испытаниях как методике проведения исследований. Необходимо отметить, что клинические испытания, как любая методика проведения научной работы, имеет как сильные стороны, так и недостатки. ⁵⁶ Вообще говоря, возможности клинических испытаний ограничены. Эти ограничения подчеркивают тот факт, что, когда речь идет о доказательной базе гомеопатии, концентрация только на клинических испытаниях представляет собой научно неоправданное сужение поля зрения. Однако именно такой узкий подход применяют критики гомеопатии, и этот подход составляет основу Законопроекта. В результате, масса потенциально полезных свидетельств о гомеопатии оказалась полностью проигнорирована. 

Как уже упоминалось во введении, восприятие гомеопатии как недостоверной дисциплины, вероятно, повлияло на восприятие и оценку критиками эмпирических данных. В то время как Томас Кун указал на вероятность такой предвзятости в целом всюду, где появляются научные данные, противоречащие преобладающим научным воззрениям и убеждениям (которые обозначаются как «парадигмы»), существуют реальные доказательства того, что это предпочтение правдоподобия (его также называют «предвзятость эксперта») проявляется в случае оценок данных по гомеопатии.

Интересно, что один из непримиримых критиков гомеопатии, профессор Эдцард Эрнст, продемонстрировал именно такую предвзятость в рандомизированном контролируемом исследовании предвзятости экспертов против неклассических методов лечения.⁵⁷ В этом исследовании были созданы два варианта статьи с идентичными данными: в одном варианте рассматривался «ортодоксальный» (аллопатический) медицинский препарат, а в другом – гомеопатический препарат. Затем обе статьи были отправлены на экспертную рецензию рандомизированной выборке специалистов. Авторы исследования пришли к выводу о том, что в пользу аллопатического лекарства наблюдалась «значительная предвзятость». Это согласуется с выводами других исследователей⁵⁸ о том, что те работы, которые приводят к результатам, расходящимся с преобладающими убеждениями, часто оцениваются внешними рецензентами как проведенные непрофессионально.

В этом контексте стоит отметить, что, в противоположность общепринятой практике, обзоры NHMRC и Шанга направлялись и проводились исключительно внешними экспертами. Присутствующее в них предпочтение правдоподобия, т.е. предвзятости против гомеопатии подчеркивает центральный аргумент данного документа: мы должны в первую очередь сосредоточиваться на имеющихся эмпирических данных клинической эффективности, а не на утверждениях о якобы недостающей убедительности гомеопатии.

Еще один аспект этой темы – необходимость корректировать убеждения на основе новых данных (используя общепринятый статистический прием, известный как «байесовская статистика»). Руттен и соавт.⁵⁹ показали, что даже очень низкая степень вероятности, что гомеопатия может быть эффективна за счет еще неизвестного механизма растворения в пропорции один на миллион, должна быть скорректирована в сторону 99%, опираясь на 8 положительных, методически качественных доказательных клинических испытаний и/или классические научные эксперименты. Почти 200 клинических испытаний гомеопатии и более 2000 научных экспериментов предоставляют более чем достаточно данных. Более конкретно, мета-анализ Шанга, опубликованный в «Ланцете», и два других мета-анализа^18,60, на основе 8 клинических испытаний пришли к выводу о том, что гомеопатия принесла весомые позитивные результаты при лечении острых инфекций верхних дыхательных путей. Однако это не привело к соответствующему изменению взглядов в медицинском сообществе. Таким образом, тот факт, что убеждения не меняются по мере поступления все новых положительных данных, показывает упорство и иррациональность предвзятости «предпочтения достоверного» против гомеопатии.⁶¹

Если отступить на шаг от этой картины, можно с основанием и научно обоснованно сделать вывод о том, что «гомеопатия эффективна, иной механизм воздействия возможен».

Выводы 

Вполне очевидно, что называть гомеопатию псевдонаукой – недопустимо. Уже тот факт, что настоящая дискуссия ведётся на основании значительного количества клинических исследований, нацеленных на подтверждение или опровержение гипотез, говорит о том, что гомеопатия открыта научному анализу. Это полностью соответствует принципам гомеопатии как эмпирической медицинской научной дисциплины, на которых она была основана Самуэлем Ганеманом более 200 лет тому назад. 

Отсутствие понимания механизма действия гомеопатических препаратов может вести к тому, что называют склонностью к правдоподобию или предвзятостью эксперта. Налицо убедительное и значительное количество доказательств, так что в случае с гомеопатией мы имеем дело с подобной предвзятостью против гомеопатии. 

Как уже заявили авторы доклада для Палаты общин, важнее знать, оказывает ли способ лечения нужное воздействие, чем понять, как он действует. Многие медицинские практики были явно эффективны задолго до того, как стали ясны механизмы их действия. 

Заявление EASAC и доклад для Палаты общин Великобритании не вносят чего-то нового в научный дискурс, поскольку эти материалы не добавляют собственной научной информации. 

Доклад NHMRC формулирует совершенно новые критерии отбора надёжных клинических исследований, не придерживаясь при этом общепринятых и стандартизированных научных методов. Налицо значительное количество фактов, указывающих на нарушение защитных механизмов, предназначенных для обеспечения непредвзятой оценки гомеопатии. 

Статья Шанга не соответствовала элементарным правилам прозрачности, использовала сомнительную процедуру идентификации более масштабных испытаний и не проводила анализа чувствительности, что является общепринятой практикой при проведении мета-анализов. 

В качестве основного способа доказательства того, что эффективность гомеопатии не превышает эффект плацебо, в докладе NHMRC и в статье Шанга была использована избирательная и спорная методика исключения подавляющего большинства результатов проведенных испытаний. Научная обоснованность такого подхода крайне сомнительна. 

Качество данных, полученных при проведении клинических испытаний в гомеопатии, ничем не уступает, а иногда и превышает то, что дают клинические исследования, проводимые в поле классической медицины. 

Мета-анализ испытаний, проводимых по высококачественной методике, подтверждает результаты сделанного Линде обзора клинических исследований гомеопатии с плацебо-контролем: они не совместимы с гипотезой, что эффективность гомеопатии вызывается эффектом плацебо. 

Новые доказательства эффективности гомеопатии безусловно необходимы. Однако заявление о том, что доказательств эффективности гомеопатии помимо эффекта плацебо не существует, игнорирует 43 опубликованных систематических обзора гомеопатии. Эти 43 обзора имеют дело с применением гомеопатии в целом; с индивидуализированным гомеопатическим подходом к лечению; с применением гомеопатии в специфичных условиях или группах условий. Из них 21 обзор сообщил о явно или предварительно положительных результатах, а 9 обзоров – о неоднозначных результатах.³⁸ 

1. European Academies Science Advisory Council. Homeopathic products and practices: assessing the evidence and ensuring consistency in regulating medical claims in the EU. http://www.easac.eu/home/reports-and-statements/detail-view/article/homeopathic (Available September 2017).

2. NHMRC. Evidence on the effectiveness of homeopathy for treating health conditions. https://http://www.nhmrc.gov.au/_files_nhmrc/publications/attachments/cam02a_information_paper.pdf (Available March 2015).

3. House of Commons Evidence check 2. Homeopathy. UK Parliamentary Science and Technology Committee. https://publications.parliament.uk/pa/cm200910/cmselect/cmsctech/45/45.pdf (Available 22.02.2010).

4. Shang A, Huwiler-Müntener K, Nartey L, et al. Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet. 2005;366(9487):726-732.

5. Boyd Rea. The philosophy of science. Massachusetts: The MIT Press; 1991.

6. Gefter A. The fuzzy boundary between science and pseudoscience. New Scientist. 2010/05/19/ 2010;206(2761):48-49.

7. Kleijnen J, Knipschild P, Ter Riet G. Clinical trials of homoeopathy. British Medical Journal. 1991;302(6772):316-323.

8. Woodward AW. A New Standard of Criticism for Drug Provings. St. Louis: Transactions of the Thirty-Eight Session of the American Institute of Homeopathy. 1885:147-154.

9. Goldacre B. Benefits and risks of homoeopathy. The Lancet.370(9600):1672-1673.

10. Smith CA. Homoeopathy for induction of labour. Cochrane Database of Systematic Reviews. 2003(4).

11. Peckham EJ, Nelson EA, Greenhalgh J, Cooper K, Roberts ER, Agrawal A. Homeopathy for treatment of irritable bowel syndrome. Cochrane Database of Systematic Reviews. 2013(11).

12. McCarney RW, Linde K, Lasserson TJ. Homeopathy for chronic asthma. Cochrane Database of Systematic Reviews. 2004(1).

13.Mathie RT, Frye J, Fisher P. Homeopathic Oscillococcinum® for preventing and treating influenza and influenza-like illness. Cochrane Database of Systematic Reviews. 2015(1).

14.Kassab S, Cummings M, Berkovitz S, van Haselen R, Fisher P. Homeopathic medicines for adverse effects of cancer treatments. Cochrane Database of Systematic Reviews. 2009(2).

15. Heirs M, Dean ME. Homeopathy for attention deficit/hyperactivity disorder or hyperkinetic disorder. Cochrane Database of Systematic Reviews. 2007(4).

16. Doehring C, Sundrum A. Efficacy of homeopathy in livestock according to peer-reviewed publications from 1981 to 2014. Veterinary Record. 2016;179(24):1-13.

17. Mathie RT, Clausen J. Veterinary homeopathy: meta-analysis of randomised placebo-controlled trials. Homeopathy. 1// 2015;104(1):3-8.

18. Bornhöft G, Wolf U, Von Ammon K, et al. Effectiveness, safety and cost-effectiveness of homeopathy in general practice - Summarized Health Technology Assessment. Forschende Komplementarmedizin. 2006;13(2):19-29.

19. Maxion-Bergemann S, Wolf M, Bornhöft G, Matthiessen PF, Wolf U. Complementary and alternative medicine costs - A systematic literature review. Forschende Komplementarmedizin. 2006;13(2):42-45.

20.The Cochrane Skin Group; http://skin.cochrane.org/sites/skin.cochrane.org/files/public/uploads/CSG-COUSIN_March 2015_M Grainge.pdf.

21.Dechartres A, Trinquart L, Boutron I, Ravaud P. Influence of trial sample size on treatment effect estimates: Meta-epidemiological study. BMJ (Online). 2013;346(7908).

22. Mathur M, Gupta VK. NHMRC report on homeopathy; mixing apples with oranges. Homeopathy. 2// 2016;105(1):126-127.

23.Mathie RT, Van Wassenhoven M, Rutten ALB, et al. Model validity of randomised placebo-controlled trials of non-individualised homeopathic treatment. Homeopathy. 2017/09/13/ 2017.

24. Mathie RT, Wassenhoven MV, Jacobs J, et al. Model validity and risk of bias in randomised placebo-controlled trials of individualised homeopathic treatment. Complementary Therapies in Medicine. 2016;25:120-125.

25.Fisher P. Homeopathy and intellectual honesty. Homeopathy. 2017/10/28/ 2017.

26. Linde K, Clausius N, Ramirez G, et al. Are the clinical effects of homoeopathy placebo effects? A meta-anlysis of placebo-controlled trials. The Lancet. 1997;350(9081):834-843.

27. Altman DG, Bland JM. Absence of evidence is not evidence of absence. British Medical Journal. 1995;311(7003):485.

28. Hahn RG. Homeopathy: Meta-analyses of pooled clinical data. Forschende Komplementarmedizin. // 2013;20(5):376-381.

29. Johnson C. Hallowed by history, but not by facts: "Evidence-based" assessments of homeopathy. Journal of Alternative and Complementary Medicine. 2012;18(4):311-312.

30. Lüdtke R, Rutten ALB. The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials. Journal of Clinical Epidemiology. 2008;61(12):1197-1204.

31.Rutten ALB, Stolper CF. The 2005 meta-analysis of homeopathy: the importance of post-publication data. Homeopathy. 2008;97(4):169-177.

32. Shang A, Jüni P, Sterne JAC, Huwiler-Müntener K, Egger M. Are the clinical effects of homoeopathy placebo effects? – Authors' reply. The Lancet. 2005;366(9503):2083-2085.

33. Walach H, Jonas W, Lewith G, et al. Are the clinical effects of homoeopathy placebo effects? [1] (multiple letters). Lancet. 2005;366(9503):2081-2086.

34. Rutten L, Stolper E. 'Proof' against homeopathy in fact supports Homeopathy [6]. Homeopathy. 2006;95(1):57-61.

35. Egger M, Smith GD, Phillips AN. Meta-analysis: Principles and procedures. British Medical Journal. 1997;315(7121):1533-1537.

36. Higgins JP, Green S. Cochrane Handbook for Systematic Reviews of Interventions: Cochrane Book Series. 2008.

37. Kjaergard LL, Villumsen J, Gluud C. Reported methodologic quality and discrepancies between large and small randomized trials in meta-analyses. Annals of Internal Medicine. 2001;135(11):982-989.

38. Mathie RT. Controlled clinical studies of homeopathy. Homeopathy. 2015;104(4):328-332.

39. Mathie RT, Ramparsad N, Legg LA, et al. Randomised, double-blind, placebo-controlled trials of non-individualised homeopathic treatment: Systematic review and meta-analysis. Systematic Reviews. 2017;6(1).

40. van Haselen R. An Integrative review of the evidence of the anti-homotoxic medication Traumeel (Интегративный обзор доказательств эффективности антигомотоксичного препарата Траумель). RMJ. 2017;3:185-179.

41. van Haselen R. An integrative review of the anti-homotoxic medicine Vertigoheel (Интегративный обзор доказательств эффективности антигомотоксического препарата). Lechnashchiy vrach (Лечащий врач). 2017;9:1-6.

42. Abholz HH, Jendyk R; Deutsche Gesellschaft für Allgemeinmedizin und Familienmedizin. Akuter Schwindel in der Hausarztpraxis: S3-Leitlinie. DEGAM Web site. http://www.degam.de/files/Inhalte/Leitlinien-Inhalte/Dokumente/DEGAM-S3-Leitlinien/053-018 Akuter Schwindel in der Hausarztpraxis/053-018L_Akuter Schwindel in der Hausarztpraxis_redaktkorr_170209.pdf. Published 2016. Revised February 9, 2017. Accessed October 9, 2017.

43. Gomáriz García JJ, Arrieta Antón E, Luna Calcaño IM, Gómez Gabaldón N. Abordaje del vértigo en atención primaria. Sociedad Española de Médicos de Atención Primaria (SEMERGEN) / IMC (ISBN: 978-84-7867-296-7); 2015.

44. Grimaldi-Bensouda L, Begaud B, Lert F, et al. Benchmarking the burden of 100 diseases: results of a nationwide representative survey within general practices. BMJ Open. 2011;1(2):e000215.

45. Rossignol M, Begaud B, Avouac B, et al. Who seeks primary care for musculoskeletal disorders (MSDs) with physicians prescribing homeopathic and other complementary medicine? Results from the EPI3-LASER survey in France. BMC Musculoskelet Disord. 2011;12:21.

46. Rossignol M, Begaud B, Avouac B, et al. Benchmarking clinical management of spinal and non-spinal disorders using quality of life: results from the EPI3-LASER survey in primary care. Eur Spine J. Dec 2011;20(12):2210-2216.

47. Grimaldi-Bensouda L, Engel P, Massol J, et al. Who seeks primary care for sleep, anxiety and depressive disorders from physicians prescribing homeopathic and other complementary medicine? Results from the EPI3 population survey. BMJ Open. 2012;2(6).

48. Rossignol M, Begaud B, Engel P, et al. Impact of physician preferences for homeopathic or conventional medicines on patients with musculoskeletal disorders: results from the EPI3-MSD cohort. Pharmacoepidemiol Drug Saf. Oct 2012;21(10):1093-1101.

49. Grimaldi-Bensouda L, Begaud B, Rossignol M, et al. Management of upper respiratory tract infections by different medical practices, including homeopathy, and consumption of antibiotics in primary care: the EPI3 cohort study in France 2007-2008. PLoS One. 2014;9(3):e89990.

50. Lert F, Grimaldi-Bensouda L, Rouillon F, et al. Characteristics of patients consulting their regular primary care physician according to their prescribing preferences for homeopathy and complementary medicine. Homeopathy. Jan 2014;103(1):51-57.

51. Colas A, Danno K, Tabar C, Ehreth J, Duru G. Economic impact of homeopathic practice in general medicine in France. Health Econ Rev. Dec 2015;5(1):55.

52. Grimaldi-Bensouda L, Abenhaim L, Massol J, et al. Utilization of psychotropic drugs by patients consulting for sleeping disorders in homeopathic and conventional primary care settings: the EPI3 cohort study. Homeopathy. Jul 2015;104(3):170-175.

53. Grimaldi-Bensouda L, Abenhaim L, Massol J, et al. Homeopathic medical practice for anxiety and depression in primary care: the EPI3 cohort study. BMC Complement Altern Med. 2016;16(1):125.

54. Witt CM, Lüdtke R, Mengler N, Willich SN. How healthy are chronically ill patients after eight years of homeopathic treatment? - Results from a long term observational study. BMC Public Health. 2008;8.

55. Müller C. Neues vom Hausartzsystem EGK-SVHA. Svha/ssmh Bulletin. 2000;5:17.

56. Black N. Why we need observational studies to evaluate the effectiveness of health care. British Medical Journal. 1996;312(7040):1215-1218.

57. Resch KI, Ernst E, Garrow J. A randomized controlled study of reviewer bias against an unconventional therapy. Journal of the Royal Society of Medicine. 2000;93(4):164-167.

58. Roe CA. Critical thinking and belief in the paranormal: a re-evaluation. British journal of psychology (London, England : 1953). 1999;90:Pt 1/.

59. Rutten L, Stolper E. Complementary alternative medicine, plausibility and statistics. European Journal of Internal Medicine. 5// 2015;26(4):e5.

60. Bellavite P, Ortolani R, Pontarollo F, Piasere V, Benato G, Conforti A. Immunology and homeopathy. 4. Clinical studies - Part 1. Evidence-based Complementary and Alternative Medicine. 2006;3(3):293-301.

61. Rutten L, Mathie RT, Fisher P, Goossens M, van Wassenhoven M. Plausibility and evidence: The case of homeopathy. Medicine, Health Care and Philosophy. 2013;16(3):525-532.