Медико-биологическая статистика - часть 11

АНАЛИЗ КАЧЕСТВЕННЫХ ПРИЗНАКОВ

159

5.9. Д. Сакетт и М. Гент (D. Sackett, M. Gent. Controversy in

counting and attributing events in clinical trials. N. Engl. J. Med.,

301:1410—1412, 1979) сделали важное замечание относитель-

но методики сбора данных в исследовании результатов меди-

каментозного и хирургического лечения окклюзии сонной ар-

терии (задача 5.7). Так как изучался «долгосрочный прогноз»,

в исследование включали только тех больных, которые не умер-

ли и у которых не было повторного инсульта во время госпи-

тализации. В результате из рассмотрения были исключены 15

оперированных (5 из них умерли, а у 10 инсульт произошел

вскоре после операции) и только 1 больной, лечившийся ме-

дикаментозно. Если учесть и этих 16 больных, то данные при-

мут такой вид:

Повторный инсульт или смерть

Лечение

Да

Нет

Хирургическое

58

36

Медикаментозное

54

19

Что теперь можно сказать о предпочтительности одного из

видов лечения? Какое сравнение более верно — с учетом этих

16 больных или без их учета (как в задаче 5.7)? Почему?

5.10. Распространенность болезни X равна 10%. Болезнью Y

страдает 1000 человек, болезнью Z — также 1000 человек. Бо-

лезнь X с равной вероятностью поражает страдающих болезня-

ми Y и Z. Вероятность госпитализации при этих болезнях раз-

ная: для болезни X она составляет 40%, Y — 50%, Z — 20%.

Посмотрим, сколько больных с разными сочетаниями болезней

окажется в больнице.

Из 1000 человек, страдающих болезнью Y, болезнь X имеют

10%, то есть 100 человек. Из них 50% (50 человек) будут госпи-

тализированы в связи с болезнью Y, из оставшихся 50 человек в

связи с болезнью X госпитализируют 40%, то есть 20 человек.

Таким образом, в больнице окажется 70 больных с сочетанием

болезней Y и X.

Из 900 человек, страдающих болезнью Y, но не X, будут гос-

питализированы 50%, то есть 450 человек.

Такой же расчет для болезни Z показывает, что в больницу

160

ГЛАВА 5

попадет 52 человека с сочетанием болезней Z и X, а с болезнью

Z, но не Х, — 180 человек.

Исследователь, работающий в больнице в которую попали

все госпитализированные, обнаружил следующую связь.

С болезнью X

Без болезни X

Болезнь Y

70

450

Болезнь Z

52

180

Оцените статистическую значимость различий частоты бо-

лезни X среди страдающих болезнями Y и Z. Можно ли по этим

данным судить о связи болезней Y и Z с болезнью X? (Приве-

денный пример заимствован из работы: D. Mainland. The risk of

fallacious conclusions from autopsy data on the incidence of diseases

with applications to heart disease. Am. Heart J., 45:644—654, 1953).

Глава 6

Что значит «незначимо»:

чувствительность критерия

До сих пор мы занимались оценкой вероятности нулевой гипо-

тезы, то есть предположения об отсутствии эффекта экспери-

ментального воздействия. Вероятность нулевой гипотезы (P) мы

оценивали с помощью различных критериев значимости — F, t,

q, q′, z и χ2. Если значение критерия превышало критическое,

нулевую гипотезу отклоняли. При этом мы совершенно спра-

ведливо утверждали, что нашли статистически значимые раз-

личия. Если значение критерия оказывалось меньше критичес-

кого, говорили об отсутствии статистически значимых раз-

личий. И это тоже справедливо. К сожалению, обычно этим не

ограничиваются. Не обнаружив различий, исследователь счи-

тает это доказательством их отсутствия. А это уже совершенно

неверно. Прежде чем сделать вывод об отсутствии различий

следует выяснить, была ли чувствительность критерия доста-

точной, чтобы их обнаружить.

Чувствительностью* называется способность критерия об-

наружить различия. Чувствительность зависит от величины раз-

* С этим понятием мы уже встречались в гл. 3 и 4; другое название чувстви-

тельности — мощность.

162

ГЛАВА 6

личий, от разброса данных и от объема выборки. Наиболее ва-

жен объем выборок: чем он больше, тем чувствительнее крите-

рий. При достаточно больших выборках малейшее различие

оказывается статистически значимым. И наоборот если выбор-

ки малы, даже большие различия статистически незначимы. Зная

эти закономерности, можно заранее определить численность

выборок, необходимую для выявления эффекта.

ЭФФЕКТИВНЫЙ ДИУРЕТИК

Разбирая критерий Стьюдента, мы использовали пример, в ко-

тором препарат, предположительно обладавший диуретическим

действием, в действительности не увеличивал диурез. Сейчас

рассмотрим обратный пример. Исследуемый препарат на самом

деле диуретик. Он увеличивает суточный диурез в среднем с

1200 до 1400 мл. На рис. 6.1А показано распределение суточно-

го диуреза для всех 200 членов совокупности при приеме пла-

цебо, а на рис. 6.1Б при приеме этого препарата.

Теперь представим себе исследователя, который, разумеет-

ся, не может наблюдать всю совокупность. Случайным образом

он выбирает две группы, по 10 человек в каждой, дает 1-й груп-

пе плацебо, а 2-й — препарат (диуретик) после чего измеряет

суточный диурез в обеих группах. На рис. 6.1В представлены

результаты этих измерений. В 1-й группе средний суточный ди-

урез составил 1180 мл (стандартное отклонение 144 мл), а во 2-

й группе — 1400 мл (стандартное отклонение 245 мл). Оценим

различия по критерию Стьюдента.

Объединенная оценка дисперсии равна

2

1

2

2

1

2

2

2

s

=

s

+s

=

144

+

245

=

40381=

201

(

1

2

)

(

)

2

2

Значение t равно

X

−

X

1400−1180

2

1

t

=

=

=

2, 447,

2

2

2

2

s

s

201

201

+

+

n

2

n

1

10

10

ЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ

163

Рис. 6.1. Исследование диуретического эффекта нового препарата. А. Суточный диурез

в совокупности из 200 человек после приема плацебо. Десять человек, попавшие в вы-

борку, помечены черным. Б. Суточный диурез в той же совокупности после приема

препарата. Суточный диурез увеличился на 200 мл. Десять человек, попавшие в выбор-

ку, помечены штриховкой. В. Такими видит данные исследователь; t = 2,447. Это боль-

ше критического значения t для 18 степеней свободы (2,101) и 5% уровня значимости,

поэтому можно заключить, что различия статистически значимы, то есть препарат об-

ладает диуретическим действием.

164

ГЛАВА 6

Рис. 6.2. А и Б. Та же совокупность, что и на рис. 6.1, но в выборку попали другие люди.

В. Изменился и результат, который наблюдает исследователь. Теперь t = 1,71, что мень-

ше критического значения. В данном случае исследователю не повезло — ему придется

признать, что значимых различий не выявлено, то есть диуретическое действие препа-

рата не доказано, — тогда как в действительности оно есть.

ЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ

165

Рис. 6.3. А. Такое распределение мы получим, извлекая пары случайных выборок по 10

человек в каждой из одной и той же совокупности и каждый раз вычисляя t (см. рис.

4.5А). Только 5% значений по абсолютной величине превышают 2,1 (помечены чер-

ным). Таким образом, 2,1 — критическое значение для 5% уровня значимости. Б. Те-

перь будем извлекать пары выборок из разных совокупностей, средний диурез в кото-

рых различается на 200 мл (рис. 6.1А и Б). Распределение значений t сместилось впра-

во. Критическое значение превышено в 111 случаях из 200. Следовательно, вероятность

получить правильное заключение об эффективности препарата составляет 55%.

что превышает 2,101 — критическое значение при уровне зна-

чимости 0,05 и числе степеней свободы 2(n - 1) = 18. Поэтому

нулевая гипотеза будет отклонена, а препарат будет назван эф-

фективным диуретиком. Как это и есть на самом деле.

Конечно, исследователь мог бы набрать и другие две груп-

пы, например представленные на рис. 6.2. На этот раз средний

суточный диурез — 1216 мл в контрольной группе и 1368 мл в

группе получавшей препарат. Стандартное отклонение состав-

ляет соответственно 97 и 263 мл, а объединенная оценка дис-

персии 1/2(972 + 2632) = 1982. Теперь значение t:

1368−1216

t

=

=1, 71,

2

2

198

198

+

10

10

что меньше 2,101. Нулевую гипотезу отклонить нельзя, хотя мы

то знаем, что она неверна! Какова вероятность такой ситуации?

166

ГЛАВА 6

Для ответа на этот вопрос повторим мысленные эксперимен-

ты, подобные тем, что мы проделали в гл. 4 (см. рис. 4.5). Тогда

мы строили распределение величины для случая, когда сравни-

ваемые группы представляли собой случайные выборки из од-

ной и той же совокупности. Это распределение показано на рис.

6.ЗА. Теперь построим распределение t для случая, когда вы-

борки извлекаются из разных совокупностей. Из двух совокуп-

ностей, показанных на рис. 6.2, можно извлечь более 1027 выбо-

рок объемом в 10 человек; ограничимся пока двумястами. Ре-

зультат показан на рис. 6.3Б. В 111 случаях из 200 значение t

оказалось не меньше критического значения 2,101. Итак, в этом

случае (то есть при этих величине эффекта, дисперсии и чис-

ленности групп) вероятность отклонить нулевую гипотезу (то

есть найти различие) составляет 111/200 = 0,55. Можно оценить

и вероятность не отклонить нулевую гипотезу (то есть не най-

ти существующих различий). Это 1 — 0,55 = 0,45, то есть 45%.

Как видим, шансы обнаружить и не обнаружить диуретический

эффект были примерно равны.

ДВА РОДА ОШИБОК

В медицине для характеристики диагностических проб часто

используют два показателя: чувствительность и специфичность.

Чувствительность — это вероятность положительного резуль-

тата у больного; она характеризует способность пробы выяв-

лять болезнь. Специфичность — это вероятность отрицатель-

ного результата у здорового; можно сказать, что она характери-

зует способность пробы выявлять отсутствие болезни.

Диагностические пробы и критерии значимости во многом схо-

жи. Диагностические пробы выявляют болезни, критерии значи-

мости выявляют различия. Можно сказать, что с третьей главы

по пятую мы занимались специфичностью критериев значимос-

ти. В этой главе мы рассматриваем чувствительность, то есть спо-

собность критерия выявлять различия. Иногда свойства крите-

риев значимости описывают в несколько иных терминах: не ве-

роятностью правильного результата, а вероятностью ошибки.

Если мы ошибочно отклоняем нулевую гипотезу, то есть, на-

ЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ

167

Таблица 6.1. Ошибки критериев значимости

В действительности

По результатам при- Различия

Различий

менения критерия есть

нет

Различия

Истинноположитель- Ложноположитель-

выявлены

ный результат, 1 - β ный результат

(ошибка I рода), α

Различий не

Ложноотрицательный Истииноотрицатель-

выявлено

результат (ошибка

ный результат, 1 - α

II рода), β

ходим различия там, где их нет, то это называется ошибкой I рода.

Максимальная приемлемая вероятность ошибки I рода называется

уровнем значимости и обозначается α. С этой величиной мы уже

много раз встречались; обычно α принимают равной 0,05 (то есть

5%), однако можно взять и какой-нибудь другой уровень значимо-

сти, например 0,1 или 0,01.

Если мы не отклоняем нулевую гипотезу, когда она не верна, то

есть не находим различий там, где они есть, то это — ошибка II

рода. Ее вероятность обозначается β. Ясно, что вероятность обна-

ружить различия, то есть чувствительность критерия, равна 1 - β.

В нашем примере с диуретиком β = 0,45 и 1 - β = 0,55, то есть

чувствительность критерия при данных условиях составляет 55%.

Все, что мы узнали об ошибках критериев значимости, крат-

ко представлено в таблице 6.1.

ЧЕМ ОПРЕДЕЛЯЕТСЯ ЧУВСТВИТЕЛЬНОСТЬ?

Естественно, мы заинтересованы в том, чтобы по возможности

уменьшить вероятность ошибки II рода, то есть повысить чув-

ствительность критерия. Для этого нужно знать, от чего она за-

висит. В принципе, эта задача похожа на ту, что решалась при-

менительно к ошибкам I рода, но за одним важным исключени-

ем. Чтобы оценить чувствительность критерия, нужно задать

величину различий, которую он должен выявлять. Эта величина оп-

ределяется задачами исследования. В примере с диуретиком чув-

ствительность была невелика — 55%. Но, может быть, исследова-

168

ГЛАВА 6

тель просто не считал нужным выявлять прирост диуреза с 1200

до 1400 мл/сут, то есть всего на 17%?

С увеличением разброса данных повышается вероятность

ошибок обоих типов. Как мы вскоре увидим, величину разли-

чий и разброс данных удобнее учитывать совместно, рассчитав

отношение величины различий к стандартному отклонению.

Чувствительность диагностической пробы можно повысить,

снизив ее специфичность — аналогичное соотношение суще-

ствует между уровнем значимости и чувствительностью крите-

рия. Чем выше уровень значимости (то есть чем меньше α), тем

ниже чувствительность.

Как мы уже говорили, важнейший фактор, который влияет

на вероятность ошибок как I, так и II рода, — это объем выбо-

рок. С ростом объема выборок вероятность ошибок уменьшает-

ся. Практически это очень важно, поскольку прямо связано с

планированием эксперимента.

Прежде чем перейти к подробному рассмотрению факторов,

влияющих на чувствительность критерия, перечислим их еще

раз.

• Уровень значимости α. Чем меньше α, тем ниже чувстви-

тельность.

• Отношение величины различий к стандартному отклонению.

Чем больше это отношение, тем чувствительнее критерий.

• Объем выборок. Чем больше объем, тем выше чувствитель-

ность критерия.

Уровень значимости

Чтобы получить наглядное представление о связи чувствитель-

ности критерия с уровнем значимости, вернемся к рис. 6.3. Вы-

бирая уровень значимости α, мы тем самым задаем критичес-

кое значение t. Это значение мы выбираем так, чтобы доля пре-

восходящих его значений — при условии, что препарат не ока-

зывает эффекта, — была равна α (рис. 6.3А). Чувствительность

критерия есть доля тех значений критерия, которые превосхо-

дят критическое при условии, что лечение дает эффект (рис.

6.3Б). Как видно из рисунка, если изменить критическое значе-

ние, изменится и эта доля.

ЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ

169

Рис. 6.4. Выбирая уровень значимости α, мы тем самым определяем критический

уровень t. Чем меньше α, тем выше критический уровень и тем ниже чувствитель-

ность. А. Уровень значимости α = 0,05, критическое значение t = 2,101, чувстви-

тельность 55%. Б. Теперь уровень значимости α = 0,01, критическое значение t вы-

росло до 2,878 и чувствительность снизилась до 45%.

170

ГЛАВА 6

Рассмотрим подробнее, как это происходит. На рис. 6.4А изо-

бизображено распределение значений критерия Стьюдента.

Отличие от рис. 6.3 состоит в том, что теперь это распределе-

ние, полученное для всех 1027 возможных пар выборок. Верх-

ний график — это распределение значений t для случая, когда

препарат не обладает диуретическим действием. Предположим,

мы выбрали уровень значимости 0,05, то есть приняли α = 0,05.

В этом случае критическое значение равно 2,101, то есть мы

отвергаем нулевую гипотезу и признаем различия статистичес-

ки значимыми при t > +2,101 или t < -2,101. Соответствующие

области на графике заштрихованы, а критическое значение изоб-

ражено вертикальной пунктирной линией, спускающейся к ниж-

нему графику, на котором изображено распределение t для слу-

чая, когда препарат обладает диуретическим действием, а имен-

но увеличивает суточный диурез на 200 мл. По форме, нижний

график такой же, как верхний, но сдвинут на 200 мл вправо.

Доля значений t, превышающих критическое значение 2,101

(заштрихованная область), составляет 0,55. Итак, чувствитель-

ность критерия в данном случае 55%; а вероятность ошибки

второго рода β = 1 - 0,55 = 0,45, то есть 45%.

А теперь взглянем на рис. 6.4Б. На нем изображены те же

самые распределения значений t. Отличие в выбранном уров-

не значимости — α = 0,01. Критическое значение t повыси-

лось до 2,878, пунктирная линия сместилась вправо и отсека-

ет от нижнего графика только 45%. Таким образом, при пере-

ходе от 5% к 1% уровню значимости чувствительность снизи-

лась с 55 до 45%. Соответственно, вероятность ошибки II рода

повысилась до 1 - 0,45 = 0,55.

Итак, снижая α, мы снижаем риск отвергнуть верную нуле-

вую гипотезу, то есть найти различия (эффект) там, где их нет.

Но тем самым мы снижаем и чувствительность — вероятность

выявить имеющиеся на самом деле различия.

Величина различий

Рассматривая влияние уровня значимости, мы принимали ве-

личину различий постоянной: наш препарат увеличивал суточ-

ный диурез с 1200 до 1400 мл, то есть на 200 мл. Теперь примем

ЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ

171

Рис. 6.5. Чем больше величина различий, тем сильнее распределение t сдвигается впра-

во и тем выше чувствительность.

постоянным уровень значимости α = 0,05 и посмотрим, как чув-

ствительность критерия зависит от величины различий. Понят-

но, что большие различия выявить легче, чем маленькие. Рас-

смотрим следующие примеры. На рис. 6.5А изображено рас-

пределение значений t для случая, когда исследуемый препарат

не обладает диуретическим действием. Заштрихованы 5% наиболь-

ших по абсолютной величине значений t, расположенных левее -

2,101 или правее +2,101. На рис. 6.5Б изображено распределение

значений t для случая, когда препарат увеличивает суточный

172

ГЛАВА 6

1,0

0,8

0,6

0,4

0,2

0

100

200

300

Увеличение суточного диуреза, мл

Рис. 6.6. Чувствительность критерия Стьюдента как функция от величины различий

при объеме выборок 10 человек и уровне значимости α = 0,05. Пунктирная линия пока-

зывает, как пользоваться графиком. Для величины различий 200 мл чувствительность

составляет 0,55.

ЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ

173

диурез в среднем на 200 мл (эту ситуацию мы уже рассматрива-

ли). Выше правого критического значения лежит 55% возмож-

ных значений t: чувствительность равна 0,55. Далее, на рис. 6.5В

представлено распределение значений t для случая, когда пре-

парат увеличивает диурез в среднем на 100 мл. Теперь только

17% значений t превышает 2,101. Тем самым, чувствительность

критерия равна лишь 0,17. Иными словами, эффект будет обна-

ружен менее чем в одном из каждых пяти сравнений контрольной

и экспериментальной групп. Наконец, рис. 6.5Г представляет

случай увеличения диуреза на 400 мл. В критическую область

попало 99% значений t. Чувствительность критерия равна 0,99:

различия будут выявлены почти наверняка.

Повторяя этот мысленный эксперимент, можно определить

чувствительность критерия для всех возможных значений эф-

фекта, от нулевого до «бесконечного». Нанеся результаты на

график, мы получим рис. 6.6, где чувствительность критерия

показана как функция от величины различий. По этому графи-

ку можно определить, какой будет чувствительность при той

или иной величине эффекта. Пользоваться графиком пока что

не очень удобно, ведь он годится только для этих численности

групп, стандартного отклонения и уровня значимости. Вскоре

мы построим другой график, более подходящий для планирова-

ния исследования, но сначала нужно подробнее разобраться с

ролью разброса значений и численности групп.

Разброс значений

Чувствительность критерия возрастает с ростом наблюдаемых

различий; с ростом разброса значений чувствительность, напро-

тив, снижается.

Напомним, что критерий Стьюдента t определяется следую-

щим образом:

X

1

−

X

2

t

=

,

2

2

s

s

+

n

n

1

2

где

X

и

X

— средние, s — объединенная оценка стандартного

1

2