Ознакомительная версия.
Разумеется, система рецензирования не дает абсолютной гарантии, что в журнал никогда не просочится ерунда. Такое исследование может показаться рецензентам вполне корректным, и они его пропустят. Дальше есть два варианта: если это мелкое и неважное исследование (или исследование, чьи результаты хорошо согласуются с уже известными данными), то на этом история и закончится. Но если исследование яркое и удивительное, то после его выхода приключения только начинаются.
Во-первых, до публикации описание эксперимента прочитали всего лишь два-три специалиста (авторам работы, впрочем, в большинстве случаев не сообщают их имена, так что найти и подкупить их невозможно), а вот после публикации исследование будут читать сотни ученых, работающих в той же области. Они не поленятся написать в редакцию, если увидят в статье грубые методологические ошибки, нарушение правил статистической обработки данных или еще какие-то проблемы. Лавина обоснованной критики может привести и к отзыву статьи, причем относительно быстрому, в течение года-двух. Это означает, что статья сохраняется на сайте журнала, но перечеркнута яркой надписью RETRACTED и где-то рядом есть ссылка на пояснение: что случилось и почему уже опубликованную статью признали недостоверной. Так произошло, например, со статьей Сералини про то, что генетически модифицированная кукуруза якобы вызывает опухоли у крыс (см. соответствующую главу). А могут не отозвать статью, но дополнить ее страницу на сайте журнала ссылками на критические разборы экспертов, чтобы все читатели знали, почему к этим данным следует относиться с осторожностью. Во-вторых, многие научные группы, заинтересованные в той же тематике, попытаются воспроизвести результаты исследователей-первопроходцев. Они будут ставить такие же эксперименты; будут ставить похожие эксперименты с изменениями в деталях; будут искать взаимосвязь между ежиками и астмой какими-то альтернативными методами. Если будет проведено множество тщательных исследований на больших выборках и ни у кого не получится найти никакой связи даже близко (и кроме того, будут существовать сомнения в том, что первоначальная работа была выполнена корректно), это может привести к тому, что журнал отзовет статью уже лет через десять после публикации – так произошло с исследованием Уэйкфилда про связь между прививками и аутизмом (эта история тоже есть у меня в книжке). Наконец, возможна ситуация, когда в разных исследованиях одной и той же проблемы получились не вполне совпадающие или даже противоречащие друг другу результаты. Это довольно часто бывает – мало ли у кого какие мелкие отличия в выборках и методиках. Здесь спасают систематические обзоры и метаанализы – работы, авторы которых собирают в кучу 50 исследований одной и той же проблемы и формулируют общие выводы. Это практически всегда более достоверный источник, чем любая отдельно взятая исследовательская работа.
Важно осознавать, что именно публикация в рецензируемом журнале – это элементарная единица нового научного знания. Абсолютно все остальные формы представления информации менее надежны. Официальные отчеты всяких серьезных организаций типа ООН – это ценнейший источник статистических данных, но даже при их чтении стоит держать в голове, что выводы рождены внутри организации под влиянием ее политики и не верифицировались независимыми исследователями. В университетском учебнике автор может недостаточно четко провести границу между тем, что доказано в лабораторных экспериментах, и тем, что просто выглядит логичным, а рецензенты учебника могут быть его друзьями и смотреть на лирические отступления сквозь пальцы (конечно, когда там нет чего-то откровенно сомнительного). В выступлении на конференции ученый может акцентировать яркие стороны своего исследования и умолчать о тех серьезных проблемах, с которыми столкнулся. В интервью он тем более может запросто это сделать. Полет фантазии научного журналиста не сдерживает ничто, кроме опасений за профессиональную репутацию (она трудно и долго формируется, легко разрушается и очень сильно влияет на карьерные перспективы). У обычного журналиста, который берется писать о науке, нет и этого: количество кликов и перепостов, как правило, интересует его редактора гораздо сильнее, чем достоверность опубликованной информации. То есть существует некая иерархия источников по степени достоверности, в которой статьи в рецензируемых журналах стоят особняком, на первом месте, с большим отрывом от любых других типов публикаций. И по-хорошему любой приличный человек, который хочет не просто поругаться в интернете, но и разобраться в том, как все устроено, должен ссылаться в первую очередь на них.
А теперь у меня для вас очень плохая новость. Я не могу предложить универсального критерия демаркации, абсолютно точного способа отличать надежную научную публикацию от ненадежной, такого, чтобы он никогда не приносил ни ложноположительных, ни ложноотрицательных результатов. Существуют хорошие научные журналы, существуют ненаучные журналы, и существует серая зона – журналы, которые выглядят как научные, относятся к категории научных по ряду формальных признаков, но в которые при этом можно пропихнуть сомнительное, недостоверное, невоспроизводимое исследование. Человек со стороны никогда не может быть полностью уверен в том, что публикация качественная, и редко может быть полностью уверен в том, что она некачественная. Есть, впрочем, ряд критериев, которые существенно повышают вероятность того или иного исхода.
Естественно, на сайте журнала должны быть волшебные слова peer-reviewed, которые означают, что статьи проходят процесс рецензирования другими учеными. Издание должно быть внесено в авторитетные международные библиографические базы данных, такие как Scopus, Web of Science, MEDLINE, о чем оно обычно само с гордостью сообщает где-нибудь на видном месте, а главное – его можно найти с помощью соответствующих поисковых систем. У научной статьи всегда есть DOI – уникальный цифровой индекс, который позволяет однозначно идентифицировать издателя и саму статью (но если он есть, это никак не гарантирует, что статья научная). Экспериментальные работы всегда оформлены примерно одинаково – выходные данные, заголовок, список авторов с указанием их мест работы, абстракт (краткое содержание статьи), введение, материалы и методы, результаты, обсуждение, часто ссылка на дополнительные страницы с информацией о работе, которая не влезла в публикацию. И самое главное – всегда, всегда, всегда в конце есть список использованной литературы, который также состоит из научных статей. Вот если списка литературы нет, то не может быть никаких сомнений: этот материал точно не является научной статьей. О чем можно говорить с автором, который не знаком с другими исследованиями в своей области? Обратное неверно: в моих текстах, как правило, множество ссылок на хорошие источники, но в качестве научных работ они, разумеется, рассматриваться не могут[72].
Если мы предполагаем, что какая-то публикация является научной статьей из рецензируемого журнала, это уже хорошо. Но насколько серьезно стоит ее воспринимать? Есть ряд косвенных, почти интуитивных признаков, позволяющих оценить вероятность того, что текст качественный. Некоторые из них я уже упоминала по ходу книжки. Чем больше выборка – тем выше шансы на то, что авторы пришли к верным выводам. Попытка найти корреляции между миллионом вещей сразу – плохой признак, потому что при таком подходе их нетрудно найти случайно. Двойное слепое плацебо-контролируемое исследование лекарственного препарата всегда надежнее, чем любой другой метод изучения его эффективности. Если авторов у статьи несколько, то это обычно лучше, чем если автор один (потому что они друг друга дополнительно предостерегают от ошибок). Чем больше времени прошло с момента публикации статьи, тем выше вероятность, что по этому вопросу уже получены дополнительные данные, всегда полезно это проверить. Чем больше статью цитировали другие ученые, тем больше шансов, что она важная и значимая; правда, этот критерий неприменим к статьям, которые вышли недавно, потому что те, кто будет их цитировать, еще не успели опубликовать свои исследования. И вообще всё это косвенные признаки, для которых нетрудно найти контрпримеры.
Самый лучший формальный критерий, позволяющий сделать достаточно обоснованное предположение о качестве научной статьи даже прежде, чем вы начнете ее читать, – это рейтинг журнала, в котором статья опубликована. У обыкновенных журналов, с барышнями на обложке, рейтинг определяется числом читателей, что неизбежно приводит к стремлению публиковать тексты яркие, удивительные и провокационные. А у научных журналов рейтинг определяется числом цитирований в других исследовательских работах, что приводит к стремлению публиковать статьи надежные и достоверные, чтобы достойным людям не было стыдно на них ссылаться. Численная характеристика крутости журнала называется импакт-фактор, IF. Это отношение числа цитирований этого журнала к общему числу опубликованных в нем статей. Рассчитывается так: если в 2013–2014 годах условный журнал “Секреты свиноводства” опубликовал 100 статей, а в 2015 году эти статьи были в общей сложности процитированы в других научных журналах 500 раз, то импакт-фактор “Секретов свиноводства” за 2015 год составит 500/100 = 5. Понятно, что на эту цифру влияет не только значимость статьи для науки, но и ее тематика – описания методов и обзорные исследования получают в среднем больше ссылок, чем экспериментальные работы, а модные темы типа исследований рака получают в среднем больше ссылок, чем исследования, скажем, почечной недостаточности. Однако за неимением лучшего, сравнивая два журнала, стоит ориентироваться именно на их импакт-факторы. Хотя бы потому, что при наличии выбора все исследователи хотят публиковаться в журналах с большим IF и первым делом отправляют свои статьи именно туда. Если редакция журнала считает, что статья хорошая, и рецензенты тоже так считают, то статью публикуют. Если же нет, то в публикации отказывают – и уже только после этого бредут незадачливые ученые, солнцем палимы, в журнал с низким импакт-фактором, который на безрыбье согласен смотреть на недостатки работы сквозь пальцы. Вот некоторые примеры журналов, которые (в абсолютном большинстве случаев) публикуют качественные статьи: Nature (IF=41,5), Science (31,5), The Lancet (39,2), The New England Journal of Medicine (55,9), Cell (32,2). Для сравнения, журнал Homeopathy, публикующий исследования гомеопатических препаратов, может похвастаться импакт-фактором 0,76. В случае Journal of Acupuncture and Meridian Studies, к которому я была вынуждена обратиться в связи с попытками научно объяснить рефлексотерапию, импакт-фактор, кажется, вообще не оценен официально. Но по расчетам издательского дома Elsevier, выпускающего этот журнал (а также ряд приличных), индекс цитирования составляет 0,93. То есть в обоих случаях получается, что почти на каждую статью, публикуемую в этих, мм, рецензируемых научных журналах, кто-нибудь один все-таки ссылается. Рекомендую послушать на YouTube песенку “Радость взаимного цитирования”.
Ознакомительная версия.
