[МУЗЫКА] [МУЗЫКА] Один из локомотивов развития современной статистики Эндрю Гельман, используя метафору Хорхе Борхеса о мире, как о саде расходящихся тропок, очень детально рассмотрел в серии своих статей, каковы подводные камни в ситуации, когда данные предшествуют формулировке гипотезы. То есть когда исследователь, перед тем как формулировать гипотезу, изучает данные, на основе которых он эту гипотезу строит. Дело в том, что проанализировав имеющиеся данные и выбрав какую-то одну гипотезу, которая нам может казаться очень логичной, правильной, мы можем забыть, что на тех же данных можно сформулировать и другие гипотезы. Гельман называет такую ситуацию researcher's degrees of freedom, то есть мы, протестировав одну из гипотез, можем не заметить, что выбрали только одну из тропок, которая приводит к той гипотезе, которую мы сформулировали, к той модели, которую мы построили. А на самом деле гипотез может быть очень много. Появляется проблема скрытой множественности в сравнении и связанная с ней проблема накопления неопределенности. Как только на горизонте появляется призрак множественности сравнений, доверять уровням значимости, вычисленным только на одной выборке и только при одном из возможных сравнений нам совершенно нельзя. Поэтому, на самом деле, такая ситуация оказывается очень опасной. Давайте вернемся к нашим младенцам, посмотрим, что же здесь такое наблюдается. Мы предупреждали сразу, что это учебный пример и он таит в себе много скрытых противоречий. Фактически, разбирая пример с новорожденными, мы имели данные, которые мы изучили до формулировки тех гипотез, которые воплотили в модели. Мы честно прошли по трем тропкам, но где гарантия, что нет еще других гипотез? Ну, например, может быть, существует взаимодействие между расой и склонностью к курению? В некоторых странах это совершенно вероятно, может быть, да? Другая гипотеза: женщины, склонные к курению, могут иметь меньший вес, а меньший вес определяет меньший вес ребенка. А кроме того, учли ли мы, например, социальный статус женщины, или то, что от характера питания матери может зависеть то, каким будет вес плода? И так далее. Очевидно, что все эти данные не годятся для того, чтобы ответить на вопрос, который мы поставили: какие параметры матери надо принимать во внимание, чтобы предсказать вес младенца? Проведенный нами анализ говорит, что из трех возможных кандидатов, скорее всего, на эту роль претендует модель, основанная на расовых различиях между матерями, но можно ли это публиковать, можно ли написать, что мы доказали, что для предсказания веса младенца надо знать расовую принадлежность матери и ее вес? Без проверки работоспособности этой модели на некоем новом, независимом наборе данных мы подобное заключение сделать не можем. Как же все-таки быть? С одной стороны, действительно, плохо, когда данные предшествуют гипотезе. Соответственно, если мы гипотезу строим, уже изучив данные, это не самый лучший ход. Потому что мы проверяем эту гипотезу на тех же самых данных, от которых эта гипотеза появилась. С другой стороны, игра с данными — это совершенно нормальный путь в науке, который приводит к появлению гипотез. Собственно, здесь выходов два. Первый — всестороннее изучение опыта предшественников, на основе их опыта мы сможем формулировать какие-то гипотезы, и далее, досконально продумав дизайн сбора материала, мы собираем некий материал и строим модель, которая будет тестировать эту гипотезу. Хороший путь, но возможен и второй путь. Надо в своей работе сразу планировать некий период, результаты которого будут не то чтобы выброшены, но это будет некоторая разведка, но совсем не доказательство правильности нашей гипотезы. Это не бесполезная трата времени, в этот период будут сформулированы гипотезы, которые далее мы сможем проверять, собрав именно под них данные. То есть, согласно тому, что мы предлагаем, всегда надо планировать, что будут некоторые материалы, которые мы изучим, но далее использовать в нашей работе не будем. Однако бывают и более сложные ситуации. В некоторых разделах науки данные оказываются первичными по своей сущности, они уже имеются как некоторые факты. Например, если мы хотим разобраться в структуре мировых войн, в их причинах — у нас уже имеются некоторые примеры мировых войн, мы можем построить некоторые гипотезы о структуре этих войн, их причинах, о роли лидеров в формировании военных ситуаций, но устраивать еще одну войну, ради того чтобы проверить гипотезу, конечно, никто не будет. Или мы занимаемся каким-нибудь метаанализом опубликованных данных на какую-то тему и видим какие-то паттерны внутри этих данных, мы можем их выделить и каким-то образом описать, но мы не можем заставить ученых писать новые статьи. И, например, мы извлекаем данные из истории болезней, видим там какие-то связи, мы эти связи можем опубликовать и дать им трактовку, но мы не можем провоцировать появление новых больных. Вот как быть в таких ситуациях? На самом деле, чтобы не заблудиться в саду расходящихся тропок, который в этой ситуации неизбежно появляется, мы должны использовать некоторые принципы. Первое: протокол сбора данных для анализа должен быть четко отработан до этапа сбора данных и оставаться абсолютно незыблемым для всех данных, включенных в анализ. Этот протокол должен быть в явном виде прописан в той работе, которую мы дальше будем где-то публиковать. Второе: делать выводы, которые касаются только обработанного материала, мы не должны. Мы должны экстраполировать наше наблюдение с очень высокой степенью осторожности, с большим количеством оговорок. Иногда лучше признаться, что полученные результаты — сугубо предварительные, это результаты разведки. Их можно публиковать, но все равно надо говорить о том, что это предварительные данные. Далее, конечно же, для того чтобы доказать, что модель, которую мы построили на основе изучения уже имеющихся данных, она должна быть каким-то образом проверена на независимых данных. Для этого эти данные необходимо собрать, то есть таким образом надо запланировать в своей работе проверку данных на основе каких-то новых материалов, которые должны быть собраны и не должны зависеть от того материала, который мы положили в основу той модели, которую построили. Четвертое: мы должны критически смотреть на полученные результаты и самостоятельно пытаться найти скрытую множественность моделей. Иначе придут люди типа Гельмана и найдут эти недостатки, изучая наши публикации. Соответственно, в этой ситуации мы получим достаточно сильную критику, которую Гельман обрушил на авторов некоторых статей, опубликованных в ведущих журналах по психологии. Ну и наконец, важно помнить, что в этой ситуации мы не должны апеллировать к уровню значимости как к мерилу качества модели. Все эти правила гигиены, которые мы описали, позволят вполне успешно опубликовать результаты работы, пусть и не сразу, но зато это будет надежно. Поэтому если ваша гипотеза базируется на уже собранных данных, это не повод впадать в отчаяние, это лишь повод для того, чтобы продолжить исследования. [БЕЗ_ЗВУКА]