Почему в дополнение к индексу Хирша не ввести индекс воспроизводимости (r)? Он мог бы показывать, что ученый описал r отдельных результатов, которые воспроизвели r или более раз. (Тогда, например, если у Сьюзи Шарп r-индекс будет 5, значит, она описала пять независимых эффектов, каждый из которых другие авторы воспроизвели пять или более раз.) Индекс воспроизводимости будет меньше, чем индекс Хирша, потому что результат сначала нужно опубликовать, чтобы другие могли его воспроизвести. Но он будет давать определенную информацию о качестве исследований. Как и индекс Хирша, r мог бы использоваться в журналах и разных дисциплинах и способствовать более охотной публикации воспроизведенных результатов.
Для общественности индекс воспроизводимости может быть еще полезнее. Исследователи, работающие в лаборатории, хорошо знают, что большая часть идей не дает результата, а те результаты, что все же получаются, часто объясняются случайностью или излишне свободной интерпретацией. Они также знают, что воспроизводимость показывает, что они действительно натолкнулись на нечто стоящее. Но с общественностью дело обстоит совсем не так. Те, кто узнают о научных новостях из СМИ, очень удивляются, когда недавнее открытие опровергается новыми результатами. Концепция воспроизводимости поможет осознать, как благодаря кумулятивному вкладу многих ученых у нас медленно накапливаются знания. Интересно также применить эту концепцию к интервенциям в области общественной политики, направленным на улучшение здравоохранения, образования и криминальной обстановки. Можно даже применить критерии воспроизводимости для оптимизации личных привычек (режим питания, упражнения, работа и т. д.).
Воспроизводимость результатов нужно всячески поощрять. Хотя ее часто считают чем-то само собой разумеющимся, она скорее исключение, чем правило. Подобно текущей воде, очищающей камни, она поможет выделить наиболее надежные открытия, самых талантливых ученых, самые лучшие журналы и самые интересные области. В более широком смысле концепция воспроизводимости является незаменимым инструментом для оценки личного и общественного поведения.
Память окружающей среды и миф о нейтральном наблюдении
ШЕНИ ЖАРДЕН
Научный журналист, партнер, соучредитель и соредактор сайта Boing Boing
Подобно многим людям, перенесшим травму, я не все помню. Некоторые провалы в памяти распространяются на целые годы, другие касаются лишь болезненных эпизодов, которые длятся мгновение, но напоминают о себе десятилетиями.
Такие переживания то вспоминаются, то забываются, потом вспоминаясь через много лет. С возрастом я научилась управляться с памятью и начала осознавать, насколько мои воспоминания отличаются от воспоминаний других людей, живущих рядом со мной.
Все мы запоминаем переживания по-разному. Время и опыт нелинейны, и не существует какого-то одного объективного отчета о каждом прожитом моменте. Люди – невероятно сложные создания из мышц, крови, костей, воздуха и электрических импульсов, передаваемых по нервам. По этим пучкам проводов передается вся актуальная информация. Наша индивидуальность неразрывно связана с окружающей средой: не бывает историй без декораций.
Я из последнего поколения, рожденного до появления Интернета, взрослевшего вместе с этим огромным коллективным разумом. В ходе работы онлайн, каждый день помещая в сеть новую информацию, я поняла, что наша коллективная память о событиях, биографиях и фактах так же путается и изменяется, как и наша личная память.
Постоянно редактируемая «Википедия» заменила бумажную энциклопедию. Болтовня в Twitter вытесняет более формальное общение. Новости, которые мы помним с детства – авторитетный голос на одном из трех каналов, – сегодня заменены на нечто невообразимое, хаотичное и сложно определяемое. Даже формальная история нации может быть переписана после откровений в Wikileaks.
Информация стала более текучей, чем во времена наших прадедов. В сегодняшнем мире, где все взаимосвязано, любое наблюдение, сообщение или пост в Twitter меняют ход истории. Скорость распространения знаний по сети меняет саму природу того, что запоминают, кто это запоминает и как долго информация остается частью общего архива. Фиксированных рамок здесь нет.
Наше понятие о памяти и регистрации событий должно преобразиться соответствующим образом.
Мы создаем живую историю. Давайте найдем новые способы запоминания, новые способы рассказывания историй, которые будут отражать жизнь. Давайте учитывать эту бесконечную сложность при составлении истории.
Давайте пересмотрим смысл понятия «помнить».
Статистически значимая разница в понимании научного процесса
ДАЙАН ХОЛПЕРН
Профессор психологии Клермонтского колледжа
«Статистически значимая разница» – простая фраза, но крайне важное для науки понятие, которое прочно вошло в лексикон образованных людей. Эти три слова передают базовое научное понимание процессов, случайных событий и статистических законов. Данный термин встречается везде, где обсуждают исследования, – в газетных статьях, рекламе «чудодейственных» диет, научных публикациях, лабораторных работах студентов и т. д. Эта условная абстракция отражает последовательность событий, включающих эксперимент (или другие исследования), определение нулевой и альтернативной гипотез, массив (числовых) данных, статистический анализ и вероятность маловероятного результата. И все это выражено в нескольких словах.
Будет сложно понять результат любых исследований, если вы совсем не понимаете, что означает обнаружение (или необнаружение) «статистически значимой разницы». К сожалению, старая поговорка «полузнание хуже незнания» уместна и здесь. Проблема заключается в том, что слово «значимость» в повседневной речи имеет совершенно другое значение, не то, в каком используется при описании результатов исследований.
Обычно это слово значит, что случилось что-то важное. Например, если врач говорит, что после операции вы почувствуете себя значительно лучше, вы справедливо заключите, что ваша боль ощутимо уменьшится. Но в выражении «статистически значимая разница» слово «значимая» означает, что результаты вряд ли объясняются случайностью (если нулевая гипотеза верна), при этом сами результаты необязательно должны быть важными. Более того, иногда вывод оказывается ошибочным, поскольку исследователи могут его подтвердить лишь с определенной долей вероятности. «Статистически значимая разница» – основная концепция исследований и статистики, но как хорошо знают все, кто изучал статистику, эту идею нельзя назвать интуитивно понятной.
Хотя термин «статистически значимая разница» несет кластер важных для науки идей, многие ученые мужи были бы рады удалить его из словаря, потому что его часто понимают неправильно. Этот термин подчеркивает связь науки и теории вероятности, но, несмотря на свою популярность (или вследствие нее), он временами подразумевает то, что подразумевать не должен, и это вводит общество в заблуждение. Даже специалисты часто заблуждаются. Возьмем гипотетический пример: в некоем основательном исследовании сравнивали эффективность двух лекарств по отношению к плацебо. Может получиться следующее: препарат «Х» статистически значимо отличается от плацебо, а препарат «У» – нет. И при этом между препаратами «Х» и «У» статистически значимой разницы нет. Такое возможно, если эффективность «Х» статистически значимо отличается от плацебо с вероятностью р<.04, а эффективность «У» статистически значимо отличается от плацебо лишь с вероятностью р<.06, что выше обычных принятых уровней проверки статистически значимой разницы. Если у вас от этих примеров болит голова, то вы относитесь к большинству, которое полагает, что понимает эту критически важную концепцию, лежащую в сердце научного метода, но на самом деле имеет о ней самое поверхностное представление.
Лучшее понимание связанных с этим термином ловушек сделало бы нас намного умнее. Этот термин подразумевает, что а) результаты могут быть неважными и б) выводы, основанные на наличии или отсутствии статистически значимой разницы, могут быть ошибочными. Использование статистически значимой разницы – основа научного метода, который (со всеми своими ограничениями и недопониманиями) намного превосходит любые альтернативные пути познания мира. Добавив этому понятию пару ключевых концепций, можно намного повысить уровень образованности общества.
БЕАТРИС ГОЛОМБ
Доцент медицинского факультета Университета Калифорнии (Сан-Диего)
Я хочу сказать об «эффекте обманебо» (производное от слов «обманывать» и «плацебо»), то есть о чрезмерно свободном использовании терминов, что затрудняет, а не облегчает понимание вопроса.
