Цитаты из книг автора «Том Чатфилд»

«Золотым стандартом» медицинских и многих других экспериментальных исследований является рандомизированное контролируемое исследование (РКИ): испытуемые случайным образом разбиваются на две группы: контрольную (которая получает плацебо, не оказывающее лечебного эффекта) и экспериментальную (получающую реальные препараты). В идеале такое исследование должно быть двойным слепым, когда ни испытуемые, ни экспериментаторы до конца эксперимента не знают, кто получает плацебо. Это исключает любые предвзятости вследствие ожиданий участников либо авторов эксперимента.

хода исследования или стремление во что бы то ни стало защитить желаемое объяснение, а не подвергнуть его серьезному объективному испытанию. Ниже приводится сравнительная таблица добросовестного и недобросовестного исследований.

типичные признаки небрежного или вводящего в заблуждение исследования — изолированные результаты, которые невозможно повторить или проверить, избирательное использование данных, неадекватное описание

может наблюдаться тесная корреляция, означающая, что эти две тенденции связаны друг с другом (термин происходит от лат. correlatio — «соотношение, взаимосвязь»). Однако не продемонстрирована их каузальность — то, что одна тенденция вызывается другой. Автор исследования выдает желаемое за действительное, что, к сожалению, часто случается, когда между явлениями наблюдается нечто общее. Нужно быть очень осмотрительным и убедиться, что они действительно находятся в состоянии каузальности — то есть причинной

Если в эксперименте с монетой вы задали p-величину в 0,05, то сколько результатов подбрасывания я должен предсказать, чтобы соответствовать этому критерию? Загляните в таблицу. Четырех бросков недостаточно — вероятность равна 0,0625, — но уже на пятом я прохожу барьер 0,05. Что, если вы заранее установили намного более жесткий критерий — 0,001? Я должен дать десять правильных ответов подряд, чтобы достичь этого уровня статистической значимости. Тогда мы сможем сказать: Результаты значимы при p <= 0,001. Шанс незначимости результатов — менее 1 из 1000. Потрясающе! Скорее ищите деньги, чтобы купить мое изобретение. Вы запросто можете впечатлиться изобретением, если, конечно, не наведете справки и не выясните, что до вас мы с друзьями обошли с тем же самым волшебным приложением больше 1000 человек. Некоторые мошенники именно так и поступают. Ради того, чтобы сорвать жирный куш, можно сделать и тысячу попыток в ожидании всего одной лишь фантастической удачи. В некоторых обстоятельствах даже значимости больше 1 из 1000 недостаточно для полной уверенности.

ниже данной величины, с вероятностью более 95% не был случайным. 95%-ная уверенность в значимости результатов может выглядеть впечатляюще, однако необходимо помнить: из этого следует, что результаты 1 эксперимента из каждых 20, согласно статистике, оказались, скорее всего, чистым везением.

Величина является статистически значимой, если вероятность достижения этого результата по чистой случайности ниже уровня, заранее установленного вами в качестве порогового, отсекающего недоказанное от доказанного. В статистике этот уровень называется p-значением[2]. В крайнем правом столбце таблицы даны p-значения для результата каждого броска — вероятность того, что результат был целиком и полностью игрой случая, указанная на шкале от абсолютной уверенности (1) до полной невозможности (0). Ученые в своих исследованиях часто используют в качестве порогового p-значение, равное 0,05: это означает, что любой результат, p-значение которого

прежде чем принять какое-либо объяснение, нужно достичь высокой степени убеждения в том, что нет: ни более простого объяснения… …ни неизвестных пока свидетельств, возможно противоречащих ему.

проверяя абдуктивные цепочки на прочность и пытаясь найти среди них наилучшую, мы можем ориентироваться на два критерия:

1) возможность найти новое свидетельство, которое существующее абдуктивное рассуждение не способно объяснить; 2) возможность предложить более простую абдуктивную логическую цепочку, которая все объясняет.