20 января 2019г.
* Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 16-03-00345-ОГН «Наукометрическая оценка качества отечественных исследований в клинической иммунологии»).
Первые зарубежные исследования, посвященные применению статистических методов в медицине, были проведены в 1929 г. и 1932 г. В СССР первое масштабное исследование такого плана было организовано по инициативе профессора МГУ В. В. Налимова и завершено в 1990 г. [6]. В. В последствие специалисты по биостатистике неоднократно возвращались к анализу многочисленных ошибок, допускаемых отечественными авторами в своих публикациях [5]. В клинической иммунологии ранее нами был проведен анализ качества статистической обработки данных за 1980- 2007 гг. [10]. В настоящей работе проведена оценка статистической, медицинской и общенаучной значимости иммунологических исследований за 2008-2015 гг. в сравнении с ранее полученными данными. Актуальность этой проблемы трудно переоценить, ведь некорректная оценка полученных данных фактически «обнуляет» ценность результатов проведенных исследований и затраты на них.
Статистический анализ медицинских данных отличается от аналогичного в биологических или биомедицинских исследованиях тем, что не заканчивается оцениванием гипотез, поскольку статистически значимый результат исследования может интерпретироваться как клинически значимый только в том случае, если он количественно оценивает эффективность врачебных вмешательств. Более того, «традиционное» статистическое оценивание оказывается неинформативным: врач имеет дело с конкретным пациентом и ему необходимо знать, после какого значения признака начинается область патологической вариации. Ему (и пациенту) не могут помочь сведения, о том, что в среднем при данном заболевании значения этого признака отличаются от нормы в ту или иную сторону. Современная научная медицина классифицировала все виды врачебной деятельности в виде трех основных «врачебных вмешательств»: диагностика, лечение и профилактика заболеваний. В отношении диагностики в настоящее время введен в действие ГОСТ [2]. Кроме того, ряд показателей медицинской значимости одновременно производит и оценивание гипотез. Впоследствии полученные данные сходных по дизайну исследований могут быть включены в мета-анализ, когда обобщаются результаты сходных по дизайну исследований, если они выражены в виде общепринятых показателей — относительного риска, отношения шансов, снижения абсолютного или относительного риска и т.п. Отсутствие оценки медицинской значимости результата исследования делает его ценность неопределенной и при этом лишает результаты быть обобщенными.
Общенаучная доказательность складывается из таких, казалось бы, очевидных правил оформления статьи, ставящих своей задачей минимизацию возможности систематических ошибок при планировании исследования, чтобы полученные данные не оказались смещенными. Тем не менее, наукометрические исследования показали, что отечественные работы в этом отношении существенно проигрывают публикациям по той же специальности в международных изданиях [4,8].
Методы. Дизайн исследования. Наукометрическое ретроспективное исследование. Использовались публикации журналов «Иммунология», «Медицинская иммунология» и «Российский иммунологический журнал» за 2008-2015 гг. Поиск в журнале «Медицинской иммунологии» (МИ) осуществлялся по его электронным версиям, в журнале «Иммунологии» (И) и «Российском иммунологическом журнале» (РИЖ) – по полиграфическим версиям изданий.
Критерии включения. В анализ вошли только публикации, являвшиеся структурированными статьями, где объектами исследования были здоровые и больные люди. Всего в анализ было включено 910 публикаций.
Критерии исключения. Анализу не подлежали статьи, выполненные на лабораторных животных, а также обзорные статьи, расширенные тезисы конференций и съездов, редакционные статьи, статьи под рубрикой «в помощь практическому врачу» и т.п. Не оценивалась профилактическая деятельность российских иммунологов. Вопросы об оценивании методов диагностики сформулированы в соответствии с ГОСТ Р 53022.3 2008 [2]. Методы оценки эффективности лечения приведены в соответствии с рекомендациями В.В. Власова [1].
Статистическая обработка данных. 95 % доверительный интервал для отношений определялся с помощью свободно распространяемой программы «Winpepi» версия 11.5, 2015 г («Программы для эпидемиологов для Windows») [12]. С ее же помощью проводилась оценка частот в сравниваемых группах. Относительные частоты приведены в процентах.
Этические аспекты. Мы разделяем точку зрения зам. главного редактора журнала «Экология человека» А.М. Гржибовского: мы обсуждает ошибки авторов статей, а не знакомим читателей с этими авторами [3].
Результаты и обсуждение. Качество описания статистических методов. Доля некорректных описаний (или их полное отсутствие) по сравнению с периодом 1980-2007 гг. статистически значимо снизилась почти в два раза с 54,8 % до 28 % (95 % ДИ 20,3 % - 30,4 %). По данному показателю публикации всех трех анализируемых журналов не различались. Превалировало абсолютно ненужное включение в инструменты анализа электронных таблиц MS Excel. Почти в половине случаев сообщения о программном обеспечении статистического анализа ими и ограничивались. Хотя Excel и «возвращает» некоторые статистические функции, но не производит статистического оценивания.
Воспроизводимым явлением является также сочетанное использование MS Excel и программы Statistica (в среднем в 45 % случаев), а также SPSS (примерно в 5 % случаев). Как правило, указываются самые последние версии программ.
На наш взгляд, результаты публикаций, использовавших для статистической обработки данных MS Excel, не могут считаться корректными.
Диагностика. Она не предполагает контекста о постановке нозологического диагноза. Методы диагностики должны дать однозначные различия в величине признаков, используемых для дискриминации двух альтернативных состояний пациентов – тех, у которых есть конкретное заболевание или патологический процессы, определенные с помощью золотого стандарта, т.е. лучших на настоящий момент диагностических методов, и тех, кого нельзя считать больными данным заболеванием (необязательно здоровых лиц). Здесь необходимо отметить, что над сознанием отечественных авторов довлеет т.н. «сдвиговая парадигма» – скрытая закономерность, выявляемая на большом числе наблюдений. Считается, что различия между группами сравнения обусловлены просто «сдвигом среднего значения» в ту или иную сторону.
Попытки научной общественности ввести в сравнительный анализ адекватные критерии (в частности, «прописанные» в ГОСТе [2]), уже около 10 лет не приносят успеха. Например, частота предварительного тестирования выборок на нормальность распределения при использовании параметрических критериев в «Российском иммунологическим журнале» почти вдвое ниже, (5,7 %), чем в «Медицинской иммунологии» 13,4 % (95 % ДИ 9,8 – 17,9 %).
При этом в исследованиях отмечен низкий уровень частоты второго обязательного компонента при использовании критерия Стьюдента – оценки равенства дисперсий. В РИЖ это делают авторы только 2,2 % работ, а в «И» и «МИ» 2,8 % работ. Следовательно, не менее 98 % случаев использования критерия Стьюдента не являются корректными. В «МИ и «И» данный критерий используется в 57, 6 % работ, а в «РИЖ» – в 23,3 %. Значит ли это, что авторы «РИЖ» более адекватно используют биостатистику? Мы считаем, что нет.
Как альтернатива критерию Стьюдента используется непараметрический критерий Манна-Уитни, но его результаты интерпретируются как различия средних значений. Некоторые авторы даже указывают, что для оценки средних они использовали критерий Манна-Уитни. Иными словами, если одна медиана больше другой на 10 %, то делается вывод, что значения признака в сравниваемых группах различаются в среднем на 10 %.
Оценка эффективности лечения. К сожалению, в российской клинической иммунологии сложилась устойчивая традиция оценивать эффективность лечения не по состоянию пациентов, а по изменениям в «иммунном статусе», т.е. наборе лабораторных показателей. В современной научной медицине это называется псевдоисходами или суррогатными исходами [1]. В силу этого в оценке эффективности проводимого лечения частота использования таких показателей как относительный риск, отношение шансов, снижение относительного риска, снижение абсолютного риска в российских иммунологических публикациях равна нулю. Такой важный показатель как ЧБНЛ (число больных, которых надо лечить…) мы встретили только один раз и то случайно в тезисах доклада, опубликованного в «РИЖ» (он не вошел в настоящее в исследование по критериям исключения).
Общенаучная значимость исследований. Оценка объема выборки, предпринимаемая до начала исследования, ставит своей задачей снижение вероятности ложных выводов: отсутствие различий в сравниваемых группах может быть истинным, но может быть и ложным из-за недостаточного объема участников исследования. Кроме этого, такая оценка позволяет избежать неоправданных затрат на исследование. Формально это задача биостатистики и эти методы ею давно разработаны [11], однако, к сожалению, не один из авторов российских иммунологических публикаций до начала исследований не определял необходимый объем выборки [7].
Во всех работах клинического плана, где проводилось сравнение иммунного статуса в опытной или контрольной группах, либо проводилось лечение пациентов, конечно, есть описание (удовлетворительное или не очень) включенных больных. Но во всех работах клинического плана должны присутствовать в каждой публикации четкие критерии включения и критерии исключения, чем исследователи стараются создать достаточно однородную выборку пациентов. В отечественных журналах читатель встретит парадоксальную ситуацию: в «РИЖ» в работах клинического плана критерии включения присутствуют в 14,2 % работ, а исключения – в 8,6 %. В «ИММ» и «ММ» критерии включения есть в 9,5 % публикаций, а исключения – в 1,9 %.
На доаналитическом и аналитическом этапах исследований возможны случайные ошибки, однако вероятность их присутствия обсуждается только в небольшой прослойке публикаций: в «РИЖ» и 1,1 % в «ММ» и «И». Полностью избежать систематических ошибок невозможно, но их возможное влияние полагается все-таки обсудить. Однако эти вопросы поднимаются только в 0,2 % работ из «РИЖ» и 0,7 % в «И» и «ММ».
Один из наиболее болезненных вопросов в отечественной клинической иммунологии – это подмена абсолютных значений содержания иммунокомпетентных клеток относительными (процентными значениями), либо манипулирование рядами процентных и абсолютных значений как независимыми переменными. В выводы выносятся те данные, где получено «р < 0,05» или менее. Таких работ в отечественной клеточной иммунологии досаточномного [9], поэтому цели авторов большинства публикаций, конечно, формально соответствуют основному заключению (например, хотели исследовать содержание субпопуляций лимфоцитов при некотором заболевании – и исследовали), но по существу выводы таких работ не достаточно корректны.
Заключение. В 1980- 2007 гг. отечественная клиническая иммунология испытывала определенные методологические проблемы при анализе статистических данных. Начиная с 2015 г. наметились позитивные перемены. Хотя это еще не устойчивая тенденция, но высококачественные работы определенной когорты практиков и научных сотрудников (например, Института экологии человека РАН (г. Кемерово) и других организаций) соответствуют самым высоким стандартам, сложившимся в современном мире.
Список литературы
1. Власов В.В. Введение в доказательную медицину. / М.: Медиа Сфера, 2010. 392 с.
2. ГОСТ Р53022.3–2008. Библиографическая ссылка. Требования к качеству клинических лабораторных исследований. Часть 3. Правила оценки клинической информативности лабораторных тестов. М.: Стандартинформ, 2009. 17 с. (Система стандартов по технологиям лабораторным клиническим).
3. Гржибовский А. М. Использование статистики в российской биомедицинской литературе // Экология человека. 2008. – № 12. C. 55-64.
4. Зорин Н. А., Немцов А. В., Калинин В. В. Формализованная экспертная оценка качества исследовательских публикаций в психиатрии // Рекомендации по подготовке научных медицинских публикаций. Сборник статей и документов / под ред. С. Е. Бащинского, В. В. Власова. М., Медиа Сфера, 2006. С. 442-459
5. Леонов В. П. Статистика в кардиологии. 15 лет спустя // Медицинские технологии. Оценка и выбор. 2014. № 1(15). URL: http: //www.biometrica.tomsk.ru/stat_cardio1.htm. (дата обращения: 10.12.2017).
6. Леонов В. П., Ижевский П. В. Применение статистики в медицине и биологии: анализ публикаций 1990-1997 гг. // Сибирский медицинский журнал. 1997. – Вып. 3-4. С. 64-74.
7. Мусатов М.И. Структура описания методов статистического анализа в публикациях иммунологических журналов // Вестник НГУ. Серия биология, клиническая медицина. 2010, Т.8, Вып. 2, с. 40-45.
8. Мусатов М.И. Наукометрический анализ статистической и клинической значимости иммунологических исследований //Вестник НГУ. Серия биология, клиническая медицина. 2010, Т.8, Вып. 2, с. 46-52.
9. Мусатов М.И. Использование относительных и абсолютных значений показателей клеточного иммунитета в отечественных публикациях по клинической иммунологии. библиометрический анализ журнальных статей за 2012-2015 гг. // Успехи современной науки.. – 2016. – Том 5. – № 12. – С. 140-143.
10. Мусатова М.М., Мусатов М.И. Единая карта для формализованной экспертной оценки качества научных публикаций в клинической иммунологии // Успехи современной науки. – 2017. – Том 2. – 12. – С. 105-108.
11. Реброва О.Ю. Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA. М.: Меди Сфера, 2002.-312 с.
12. Abramson J. H. WINPEPI updated: computer programs for epidemiologists, and their teaching potential // Epidemiol. Perspect. Innov. 2011. – 8(1):1. doi: 10.1186/1742-5573-8-1.
