Искусство большего. Как математика создала цивилизацию - Майкл Брукс

духе: “P-значение показывает вероятность получения результатов, которые по меньшей мере столь же экстремальны, как и наблюдаемые результаты проверки гипотезы, при условии, что гипотеза верна”. Я же с натяжкой скажу, что p-значение показывает, насколько вероятно, что вы получите конкретный результат, если к нему приводит не то, о чем вы думаете. Иными словами, если результат, полученный ЦЕРН, никак не связан с бозоном Хиггса, а объясняется лишь случайной флуктуацией в фоновом шуме при проведении эксперимента, то сколько раз ученые ЦЕРН получат такой же результат – результат, позволяющий предположить, что перед ними действительно бозон Хиггса, – когда будут повторять эксперимент?

Решение в этом случае тоже зависит от субъективного выбора. Его впервые сделал британский статистик Рональд Фишер. В 1925 году он опубликовал книгу “Статистические методы для исследователей”[188]. В ней он предположил, что 1 из 20 – достаточный критерий для большинства экспериментов, проводимых с целью определить, имеет ли наблюдаемое явление любопытную природу или же объясняется лишь волей случая. Этот фактор называется статистической значимостью.

Предложенные Фишером 1 из 20 соответствуют 5 %. Но критерий Фишера не сводится к простому “если мы получаем такой результат в 95 % случаев, то этот результат верен”. Если бы! Чтобы продемонстрировать статистическую значимость, нужно сделать сложную серию из хитрых шагов.

Сначала необходимо выдвинуть гипотезу и проверить, верна ли она. В случае с бозоном Хиггса она связана с данными, получаемыми от детекторов, которые (примерно) оценивают число раз, когда засекают определенное количество энергии. Теоретически присутствие бозона Хиггса должно привести к характерному всплеску в частоте обнаружения определенного уровня энергии.

Разумеется, всегда есть вероятность, что такую странную закономерность могут вызвать и случайные флуктуации в детекторах – скажем, флуктуации от электрических помех или от непредвиденного попадания в детектор группы энергетических частиц, прошедших сквозь межзвездное пространство. Это значит, что нельзя быть полностью уверенным, что конкретный всплеск объясняется присутствием бозона Хиггса. Но можно настроить аппарат таким образом, чтобы вероятность выдачи определенного набора данных без участия бозона Хиггса оказалась бы крайне мала. Теперь остается лишь решить, насколько малой должна быть эта вероятность.

Золотой стандарт научного “открытия”, который ЦЕРН применил к бозону Хиггса, составляет 5σ, что соответствует попаданию 99,99994 % зафиксированных величин в обозначенный диапазон. Что это значит? Правильно проанализировав статистические показатели, вы увидите, что если бозон Хиггса не существует, то в среднем мы будем наблюдать этот принесший Нобелевскую премию набор данных в одном из 3,5 миллиона экспериментов. Если вам интересно, это соответствует p-значению 0,0000003.

Понизив стандарт с 5σ до 1σ, мы (в среднем) получали бы случайный результат, похожий на открытие, в одном из шести проводимых экспериментов. При стандарте 3σ ложное “открытие” совершалось бы в среднем в одном из 741 испытания. Можно сказать, что стоило бы для верности повысить стандарт с 5σ, скажем, до 10σ. И это решение тоже субъективно. Правда в том, что, применяя стандарт 10σ, мы, вероятно, и вовсе не смогли бы заявить ни об одном открытии. Стоит также отметить, что мы не всегда требовали и 5σ. В 1984 году физики ЦЕРН Карло Руббиа и Симон ван дер Мер получили Нобелевскую премию за открытие W- и Z-бозонов годом ранее. Но статистическая значимость их результатов даже не приблизилась к 5σ[189].

Вопрос о субъективных решениях важен, поскольку от них зависит, поступит ли на рынок жизненно важное лекарство и признают ли ответчика виновным в суде. Давайте сначала займемся юридическими делами, поскольку они имеют гораздо большее значение, чем кажется многим из нас.

Преступление и наказание

В зависимости от того, где вы живете, вас с вероятностью 1 к 3 могут однажды попросить войти в состав коллегии присяжных заседателей. В ходе судебного разбирательства вам могут представить статистические данные. Скорее всего, вы никогда не учились их анализировать. И вполне возможно, что человек, который представит их вам, тоже будет не слишком сведущ в статистике. Это серьезная проблема судебной системы, и она уже стоила людям жизни.

В частности, я говорю о британке Салли Кларк, которую в ноябре 1999 года осудили за убийство двух ее первых детей. Защита утверждала, что дети умерли от естественных причин – либо из-за недиагностированного наследственного заболевания, либо из-за ужасного и необъяснимого синдрома внезапной детской смерти (СВДС). Специалист в области жестокого обращения с детьми – и врач – профессор сэр Рой Мидоу сообщил суду, что статистический риск смерти ребенка от СВДС в таком доме, как у Салли Кларк, составляет 1 к 8453. Вероятность того, что такое случится дважды, сказал он, составляет 1 к 84532, то есть 1 к 73 миллионам. Иными словами, она чрезвычайно мала.

Суд присяжных признал Салли Кларк виновной. Первая апелляция успехом не увенчалась. Подали вторую апелляцию, и Кларк освободили на основании того, что ее осуждение не подкрепляется статистическими данными. Но прежде другую женщину обвинили в двойном убийстве в пугающе похожем деле (где в качестве эксперта тоже выступал Мидоу), а психическое здоровье Салли Кларк так сильно пошатнулось, что спустя четыре года после освобождения она умерла от алкоголизма.

В признании Кларк виновной было несколько проблем, но нас интересуют две[190],[191]. Во-первых, хотя образ жизни Кларк и состояние ее дома действительно говорили, что вероятность СВДС составляет 1 к 8453, отсюда не следует, что второй случай СВДС в этом доме столь же маловероятен. Нельзя просто возвести вероятность в квадрат. Если какой-то неизвестный фактор вызвал смерть в первом случае, то вполне вероятно, что этот же неизвестный фактор вызовет ее снова. Иными словами, вторая необъяснимая смерть становится гораздо более вероятной (по одной из оценок, ее риск возрастает до 1 к 60). Во-вторых, если объяснение невиновности обвиняемого крайне маловероятно, это не делает его виновность крайне вероятной. Стратегия использования сомнительной или вводящей в заблуждение статистики, которая, казалось бы, свидетельствует о высокой вероятности виновности, называется ошибкой обвинителя.

Стоит отметить, что существует и ошибка подзащитного. Ее совершили в суде над О. Джеем Симпсоном: команда адвокатов апеллировала к тому факту, что менее 1 из 1000 человек, прибегающих к домашнему насилию над женщинами, в конце концов убивает их. Если вы сидите в составе коллегии присяжных, у вас возникает вопрос: неужели О. Джей Симпсон хуже, чем 1 из 1000? Но задаваться им не стоит, ведь он сбивает с толку и используется, чтобы вас отвлечь. Суть в том, что Николь Браун была убита, а нужная статистика такова: 4 из 5 избитых и убитых женщин погибают от руки партнера.

Даже убедительные с научной точки зрения