Цитаты из книг автора «Richard E. Nisbett»

Исследования, которые для доказательства научного факта опираются на корреляции, могут оказаться безнадежно ошибочными — даже когда эти корреляции предстают в упаковке «анализа множественной регрессии», который «контролирует» множество пере­менных.

Рандомизированный контрольный эксперимент называют золотым стандартом научных и медицинских исследований — и не зря. Полученные таким образом результаты имеют преимущество перед результатами любых других видов исследований. Случайный характер распределения по группам гарантирует, что между результатами экспериментальной и контрольной групп не имеется никаких различий, которые могли бы возникнуть вследствие манипуляций экспериментатора с независимой переменной. Любое найденное между ними различие может быть приписано исключительно научному вмешательству. Рандомизированный контрольный эксперимент, проводимый по методу двойного слепого исследования, означает, что ни исследователь, ни участник эксперимента не знают, какие именно условия достались конкретному участнику. Этот тип эксперимента гарантирует, что только само по себе экспериментальное действие, а не осведомленность о нем экспериментатора или участника, может повлиять на результат. Общество дорого платит за непроведенные эксперименты. Из-за того, что мы не поставили соответствующий рандомизированный эксперимент, мы не знаем, напрасно или нет были потрачены $200 млрд на программу Head Start, направленную на улучшение когнитивных способностей детей. Благодаря рандомизированным экспериментам мы знаем, что некоторые качественные программы дошкольного образования действительно производят значительный эффект, при

Чем больше число представленных случаев — людей, сельскохозяйственных участков и пр., тем больше вероятность, что вы найдете истинный эффект, и тем меньше вероятность, что «обнаружите» эффект, которого там на самом деле нет.

Предположения обычно оказываются неверными. И если даже они верны, глупо просто полагаться на них, когда их легко проверить. Принцип сплит-тестирования понятен даже ребенку: возьмите метод, который вы хотите протестировать, создайте контрольное условие, подбросьте монетку, чтобы выбрать, кто (или что) получит какой именно метод, и наблюдайте, что произойдет. Различие, найденное с помощью рандомизированной схемы, показывает, что какие-то манипуляции с независимой переменной оказывают влияние на зависимую переменную. Различие, найденное с помощью корреляционных методов, не может гарантировать, что независимая переменная действительно оказывает влияние на зависимую переменную.

Если количество случаев велико и они распределены по группам с разными условиями эксперимента в случайном порядке, наша уверенность в том, что исследуемый эффект реален, повышается.

Помните, что при использовании схемы «до и после» следует уравновешивать порядок применяемых методов. Иными словами, одни случаи нужно сначала поставить в экспериментальные условия, а другие — сначала в контрольные условия. Иначе эффект применяемого метода и эффект порядка событий смешаются и то, что, по вашему мнению, будет эффектом применения метода, на самом деле может быть всего лишь эффектом порядка событий или просто временным

Чем более кодируемы события, тем более вероятно, что наша оценка корреляций будет верна.

Надежность измерения переменной величины означает степень воспроизводимости того же результата от измерения к измерению или при переходе от одного метода измерения к другому. Валидность (обоснованность) способа измерения показывает, насколько он прогнозирует то, что должен прогнозировать. Способ измерения величины может быть идеально надежным, но совершенно не валидным. Два астролога могут одинаково (надежно) оценивать, насколько люди, рожденные под знаком Рыб, более экстравертны, чем Близнецы, но их оценки никак не обоснованы.

поведение человека скорее всего будет одинаковым от случая к случаю только тогда, когда контекст ситуации совершенно одинаков. И даже в таком случае необходимо провести как можно больше наблюдений, чтобы быть уверенным в своем прогнозе.

Существует статистический критерий, называемый хи-квадрат, который рассматривает вероятность того, что две пропорции достаточно отличаются друг от друга, чтобы можно было с уверенностью утверждать, что перед нами подлинная взаимосвязь явлений. Мы называем взаимо­связь подлинной, если разница между двумя пропорциями статистически значима.