Блог · Зачем мы используем предварительную регистрацию
Предварительная регистрация означает, что вы публично фиксируете свою гипотезу, метод и план анализа до того, как начнете собирать данные, — в открытом реестре, таком как Open Science Framework. Вы публикуете нулевые результаты, потому что, скрывая их, исследовательская область незаметно обманывает сама себя. Ashta применяет оба правила к каждому спорному утверждению, которое проверяет: телефонная телепатия, прикладная кинезиология, сфокусированное намерение, процедура вынужденного выбора с запечатанной коробкой. Неизменное правило состоит в том, что любой результат, включая явные нулевые результаты, появляется в одном и том же открытом реестре.
Большинство ошибок, из-за которых исследование может пойти не так, задним числом остаются невидимыми. Команда может провести двадцать мелких анализов, найти тот единственный, что преодолел порог, и описать его так, словно именно таким и был изначальный план. Размытое предсказание можно незаметно подогнать под то, что случайно показали данные. Неожиданный результат, обнаружившийся в данных, можно преподнести как исходную гипотезу, ради подтверждения которой исследование и затевалось. Ничто из этого не требует сознательного обмана — мотивированные, полные надежд люди поступают так по умолчанию. Ущерб же в том, что опубликованное заявление выглядит намного убедительнее реальных доказательств, и никто из читателей не сможет заметить разницу.
Предварительная регистрация закрывает эти лазейки, перенося принятие решений на этап до получения данных. Прежде чем будет сделано хотя бы одно измерение, вы фиксируете (публично и с временной меткой) точную гипотезу, размер выборки, способ распределения участников, схему ослепления теста, то, кого исключают и почему, правило подсчета баллов и конкретный анализ, который решит поставленный вопрос. Стандартная площадка для этого — Open Science Framework, поддерживаемая некоммерческой организацией Center for Open Science, где зафиксированную запись с датой невозможно отредактировать задним числом. Как только такая запись создана, результатом считается ровно то, что выдает заранее определенный анализ. Другие закономерности по-прежнему можно изучать, но их необходимо обозначать как вторичные или поисковые: интересные зацепки для будущих исследований, а не доказательства, замаскированные под подтверждение.
Публикация нулевых результатов — вторая половина дела, и она устраняет проблему, с которой дисциплина жила десятилетиями: «проблему ящика стола». Если описывать только яркие результаты, а невыразительные убирать в стол, корпус публикаций превращается в нарезку лучших моментов — а нарезка лучших бросков монеты, которая в основном падала решкой, все равно будет выглядеть как чудо. В этом суть современного кризиса воспроизводимости — та же тревога, о которой говорил Джон Иоаннидис, утверждая, что значительная доля опубликованных открытий не воспроизводится, и та же причина, по которой масштабные проекты по репликации годами заново перепроверяли знаменитые результаты. Способ исправить это лишен лоска: сообщайте о том, что вы внесли в предварительную регистрацию, независимо от того, сработало оно или нет, чтобы нулевые результаты стояли в отчетах рядом с удачами, а общая картина оставалась честной.
Для проекта, берущегося проверять спорные утверждения, эти два правила определяют все доверие к затее. Когда Ashta проводит тест вынужденного выбора с запечатанной коробкой, протокол телефонной телепатии или прикладной кинезиологии либо исследование сфокусированного намерения, соблазн оставить только впечатляющие сессии и забыть об остальных — ровно тот самый соблазн, что породил целый век сомнительных результатов. Предварительная регистрация вкупе с обязательной публикацией нулевых результатов — тот минимальный стандарт, благодаря которому положительный результат хоть что-то значит, а отрицательный оказывается полезным. Вот почему такой исследователь, как Стефан Шварц (опубликовавший как поразительный положительный, так и чистый нулевой результат по вопросу одного типа в одном и том же журнале), служит образцом, а не исключением: результат вызывает доверие именно потому, что один и тот же человек был готов опубликовать его при любом исходе.
Наше практическое обязательство прозрачно. Каждый тест, который проводит Ashta, проходит предварительную регистрацию до начала сбора данных, и каждый результат публикуется в одном и том же месте: победы, нулевые результаты и исследования, которые пришлось остановить или исключить. Утверждение, проверка которого может дать только положительный результат, не проверяется — его продвигают. Смысл такой организации работы в том, чтобы утверждение могло недвусмысленно проиграть — открыто, публично и под запись. Исследовательская традиция, на которую опирается Ashta, вызывает неподдельные споры, и единственный способ честно привнести в нее что-то новое — проверять гипотезы в условиях, когда ответ имеет полное право нас разочаровать, и публиковать его, если именно так и происходит.
