Математика случая

Сжато, но строго рассмотрены вероятностно-статистические основы современных статистических методов. Изложение доведено до переднего края научных исследований и практических разработок. Рассмотрены все основные понятия, используемые при применении современных статистических методов. Особое внимание уделено непараметрическим подходам, статистике нечисловых данных и другим перспективным элементам высоких статистических технологий. Учебное пособие рекомендовано Всероссийской ассоциацией статистических методов.

Для инженеров, менеджеров, экономистов, специалистов различных отраслей народного хозяйства, научных работников, студентов, слушателей, аспирантов и преподавателей, для всех, кому нужно в сжатые сроки овладеть понятийной базой статистических методов.

Аннотация к исходному варианту книги

Введение

Статистика есть наука об обработке данных. Статистические методы основаны на вероятностных моделях. С обработкой результатов наблюдений, измерений, испытаний, опытов, анализов имеют дело специалисты почти во всех областях научных исследований. Шесть нобелевских премий получены эконометриками, — специалистами по статистическим методам в экономике.

Современная теория вероятностей основана на аксиоматике Андрея Николаевича Колмогорова. Однако в России специалисты и научные работники, студенты и преподаватели пока недостаточно знакомы с последними достижениями в области вероятностно-статистических методов, хотя ссылки на них постоянно встречаются в научно-технической, деловой и учебной литературе.

Эта книга кратко, но на современном уровне расскажет об основных вероятностно-статистических понятиях и фактах. Кто ещё не знаком с этой ведущей областью современной науки, смогут быстро дойти до фронта исследований, а те, кто уже́ изучал основы теории вероятностей и математической статистики, быстро восстановят и повысят свои знания и смогут умело применять их в своей работе. В частности, применять профессиональные статистическое программное обеспечение, нормативно-техническую и инструктивно-методическую документацию.

Специалисту

Инженеру, менеджеру, экономисту, научному работнику… — практически любому специалисту приходится применять методы исследования, основанные на теории вероятностей и статистике. Но многим их трудно освоить.

Студенту

В специальных дисциплинах часто используются вероятностно-статистические методы и модели. Значит, надо уметь в них разобраться. То, что было сдано годы назад, уже́ забыто, да и недостаточно для решения новых задач.

Не стоит искать старые конспекты и заново читать толстые учебники. Надо быстро освежить свои знания или снова, на этот раз ускоренно, познакомиться с основными фактами теории вероятностей и статистики. Эта книга — для вас!

Профессионалу

Вы постоянно обрабатываете данные. Но вероятностно-статистические методы и модели развиваются. Отслеживаете ли вы изменения? Вы знаете, что критерий Стьюдента устарел и что следует использовать вместо него? Хорошо ли знаете статистику нечисловых данных? Если да, то эта книга для вас слишком проста. Если же нет — приглашаем ознакомиться с современным взглядом на теорию вероятностей и статистику.

Сравнение с аналогами

Как познакомиться с терминологией незнакомой области? Первая мысль — из энциклопедии, такой как «Вероятность и математическая статистика» . Однако толщина энциклопедии обескураживает, а большинство статей в ней доступны лишь математикам-профессионалам.

Делались попытки составлять более или менее полные сводки терминов, определений и обозначений. Например, в учебник по эконометрике нами включена такая сводка. Однако получить целостное представление о необходимой для освоения учебника базовой области знания таким образом невозможно.

Аналогами являются многочисленные учебники и учебные пособия по теории вероятностей и математической статистике, как части типового курса высшей математики, и по общей теории статистики как части экономического образования. У всех этих изданий два изъяна: во-первых, содержат много сведений, не используемых впоследствии в практической работе, хотя и полезных при первоначальном изучении предмета; во-вторых, не дают достаточно сведений о современных статистических методах. Они не освещают многие методы, входящие в программные средства по обработке данных и статистическим вычислениям, такие как SPSS, Stata, Statistica, или MATLAB.

Замысел книги

Поныне существует разрыв между типовыми курсами по математической статистике и государственными стандартами по статистическим методам управления качеством промышленной продукции (http://www.centerprioritet.ru/tc125/index.htm). Первоначальный вариант этой книги стремился заполнить его.

Похожие проблемы имеются и в других направлениях: в социально-экономической области (в экономике, менеджменте, социологии), в научных медицинских исследованиях.

Стала очевидной необходимость создания нового рода книг, предназначенных для информационной поддержки современных разработок с использованием статистических методов. Такие книги должны давать краткое, но законченное введение в используемые ныне статистические методы.

Структура книги

Краткое, но законченное введение в используемые ныне статистические методы даёт эта книга. По ходу изложения постоянно отмечаются возможности применения рассматриваемых концепций при решении практических задач. Конкретные методы обработки данных здесь почти не разбираются, но даётся вся необходимая база для восприятия описаний таких методов. Это и есть основная задача книги.

О содержании книги исчерпывающее представление даёт оглавление. Доказательства теорем не приводятся. Лишь во главе, посвящённой опытам с конечным числом исходов, приводятся элементарные доказательства. Автор неоднократно проводил занятия для школьников и студентов по материалам этой главы.

Замечание для математиков-профессионалов. В изложении удалось обойти ряд математических сложностей. Хотя математические основы теории вероятностей предполагают использование σ-алгебр событий (измеримых множеств) и интеграла Лебега, прикладникам эти понятия едва нужны, и в книге им внимания не уделяется. Поэтому же не акцентируется внимание на условиях справедливости центральной предельной теоремы, и так далее.

Даны контрольные вопросы и задачи, а также примерные темы докладов, рефератов и исследовательских работ. В приложении дан краткий перечень основных тем задач прикладной статистики, широко используемых в практической деятельности и в научных исследованиях. Обширность этого перечня показывает, что конкретным статистическим методам должны быть посвящены отдельные издания достаточно большого объёма.

Содержимое книги прошло многолетнюю и всестороннюю проверку. Оно использовалось во многих других отечественных и зарубежных образовательных и иных организациях. Автор благодарен своим многочисленным коллегам, слушателям и студентам, прежде всего различных образовательных структур Московского государственного технического университета имени Н. Э. Баумана, за полезные обсуждения.

С текущей научной информацией по статистическим методам можно познакомиться на сайте автора «Высокие статистические технологии» http://orlovs.pp.ru, его форуме http://forum.orlovs.pp.ru, а также на ранее разработанных сайтах, http://antorlov.chat.ru, http://antorlov.euro.ru.

Достаточно большой объём информации содержит еженедельная рассылка «Эконометрика», выпускаемая с июля 2000 года (о ней рассказано на указанных выше сайтах). Автор искренне благодарен редактору этого электронного издания А. А. Орлову за многолетний энтузиазм по выпуску еженедельника.

В книге раскрыто представление о случае, вероятности и статистике, соответствующее общепринятому в мире. Возможны различные точки зрения по частным вопросам; Автор с радостью примет вопросы и замечания.

Нужность математической статистики

Теория вероятностей и математическая статистика суть основы вероятностно-статистических методов обработки данных. Данные мы обрабатываем и анализируем прежде всего для принятия решений. Чтобы воспользоваться современным математическим аппаратом, необходимо рассматриваемые задачи выразить в терминах вероятностно-статистических моделей.

Применение конкретного вероятностно-статистического метода состоит из трёх этапов:

1. Переход от экономической, управленческой, технологической реальности к абстрактной математико-статистической схеме, то есть построение вероятностной модели системы управления, технологического процесса, процедуры принятия решений, в частности по результатам статистического контроля, и тому подобного.
2. Проведение расчётов и получение выводов чисто математическими средствами в рамках вероятностной модели.
3. Толкование математико-статистических выводов применительно к реальной ситуации и принятие соответствующего решения (например, о соответствии или несоответствии качества продукции установленным требованиям, необходимости наладки технологического процесса), в частности, заключения (о доле дефектных единиц продукции в партии, о конкретном виде законов распределения контролируемых параметров технологического процесса и подобном).

Математическая статистика применяет понятия, методы и результаты теории вероятностей. Далее рассматриваем основные вопросы построения вероятностных моделей в разнообразных случаях. Подчеркнём, что для активного и правильного использования нормативно-технических и инструктивно-методических документов по вероятностно-статистическим методам нужны предварительные знания. Так, необходимо знать, при каких условиях следует применять тот или иной документ, какие исходные данные нужны для его выбора и применения, какие решения должны быть приняты по результатам обработки данных, и так далее.

Примеры применения теории вероятностей и математической статистики

Рассмотрим несколько примеров, когда вероятностно-статистические модели являются хорошим средством решения задач.

В романе Алексея Николаевича Толстого «Хождение по мукам» (том 1) говорится: «мастерская даёт двадцать три процента брака, этой цифры вы и держи́тесь, — сказал Струков Ивану Ильичу». Как понимать эти слова в разговоре руководителей завода? Eдиница продукции не может быть дефектна на 23 %. Она может быть либо годной, либо дефектной. Наверноe, Струков мыслил, что в партии большого объёма содержится примерно 23 % дефектных единиц продукции. Тогда возникает вопрос: а что значит «примерно»? Пусть из 100 проверенных единиц продукции 30 окажутся дефектными, или из 1000 — 300, или из 100 000 — 30 000… Надо ли обвинять Струкова во лжи?

Монетка, используемая как жребий, должна быть «симметричной»: в среднем в половине случаев подбрасывания должен выпадать орёл, а в половине случаев — решка. Но что означает «в среднем»? Если провести много серий по 10 бросаний в каждой серии, то часто будут встречаться серии, в которых монетка 4 раза выпадает орлом. Для симметричной монеты это будет происходить в 20,5 % серий. А если на 100 000 бросаний окажется 40 000 орлов, то можно ли считать монету симметричной? Процедура принятия решений строится на основе теории вероятностей и математической статистики.

Пример может показаться несерьёзным. Это не так. Жеребьёвка широко используется при организации промышленных технико-экономических экспериментов. Например, при обработке результатов измерения показателя качества (момента трения) подшипников в зависимости от различных технологических факторов (влияния консервационной среды, методов подготовки подшипников перед измерением, влияния нагрузки подшипников в процессе измерения и тому подобных). Допустим, нужно сравнить качество подшипников в зависимости от результатов хранения их в разных консервационных маслах. При планировании такого эксперимента возникает вопрос, какие подшипники следует поместить в масло одного состава, а какие — в другое, но так, чтобы избежать субъективизма и обеспечить объективность принимаемого решения. Ответ может быть получен с помощью жребия.

Аналогичный пример можно привести и с контролем качества любой продукции. Чтобы решить, соответствует или не соответствует контролируемая партия продукции установленным требованиям, из неё выбирается представительная часть: по этой выборке судят о всей партии. Поэтому желательно, чтобы каждая единица в контролируемой партии имела одинаковую вероятность быть выбранной. В производственных условиях выбор единиц продукции обычно делают не жребием, а по специальным таблицам случайных чисел или с помощью компьютерных датчиков случайных чисел.

Похожие проблемы обеспечения объективности сравнения возникают при сопоставлении различных схем организации производства, оплаты труда, при проведении тендеров и конкурсов, подбора кандидатов на вакантные должности. Всюду нужна жеребьёвка или подобные ей меры.

Пусть надо выявить наиболее сильную и вторую по силе команду при организации турнира по олимпийской системе (проигравший выбывает). Допустим, что более сильная команда всегда побеждает более слабую. Ясно, что самая сильная команда однозначно станет чемпионом. Вторая по силе команда выйдет в финал только когда до финала у неё не будет игр с будущим чемпионом. Если такая игра запланирована, то вторая по силе команда в финал не попадёт. Тот, кто планирует турнир, может либо досрочно «выбить» вторую по силе команду из турнира, сведя её в первой же встрече с лидером, либо обеспечить ей второе место, обеспечив встречи с более слабыми командами вплоть до финала. Чтобы избежать субъективизма, проводят жеребьёвку. Для турнира из 8 команд вероятность того, что в финале встретятся две самые сильные команды, равна 4 из 7. Соответственно с вероятностью 3 из 7 вторая по силе команда покинет турнир досрочно.

При любом измерении единиц продукции (с помощью штангенциркуля, микрометра, амперметра…) имеются погрешности. Чтобы выяснить, есть ли систематические погрешности, необходимо многократно измерить единицы продукции, характеристики которой известны (например, стандартного образца). При этом следует помнить, что кроме систематической погрешности присутствует и случайная погрешность.

Встаёт вопрос, как по измерениям выявить систематическую погрешность. Если отмечать только, является ли полученная при очередном измерении погрешность положительной или отрицательной, то эту задачу можно свести к уже́ рассмотренной. Действительно, сопоставим измерение с бросанием монеты: положительную погрешность — с выпадением орла, отрицательную — решки (нулевая погрешность при достаточном числе делений шкалы практически никогда не встречается). Тогда проверка отсутствия систематической погрешности эквивалентна проверке симметричности монеты.

Итак, задача проверки на систематическую погрешность сведена к задаче проверки симметричности монеты. Проведённые рассуждения приводят к так называемому «критерию знаков» в математической статистике.

При статистическом регулировании технологических процессов на основе методов математической статистики разрабатываются правила и планы статистического контроля процессов, направленные на своевременное обнаружение разладки технологических процессов и принятия мер к их наладке и предотвращению выпуска продукции, не соответствующей установленным требованиям. Эти меры нацелены на сокращение издержек производства и потерь от поставки некачественных единиц продукции. При статистическом приёмочном контроле на основе методов математической статистики разрабатываются планы контроля качества путем анализа выборок из партий продукции. Сложность заключается в том, чтобы уметь правильно строить вероятностно-статистические модели принятия решений. В математической статистике для этого разработаны вероятностные модели и методы проверки гипотез, в частности, гипотез о том, что доля дефектных единиц продукции равна определённому числу $p_{0}$, например, $p_{0}=0{,}23$.

Задачи оценивания

В ряде ситуаций возникают задачи оценки характеристик и параметров распределений вероятностей.

Рассмотрим пример. Пусть на контроль поступила партия из $N$ электроламп. Из этой партии случайным образом выбрано $n$ электроламп. Возникает ряд естественных вопросов. Как по результатам испытаний элементов выборки определить средний срок службы электроламп, с какой точностью можно оценить эту характеристику? Как изменится точность, если взять выборку большего объёма? При каком числе часов $T$ можно уверять, что не менее 90 % электроламп прослужат $T$ и более часов?

Предположим, что при испытании выборки дефектными оказались $X$ электроламп. Какие границы можно указать для числа $D$ дефектных электроламп в партии, для уровня дефектности ${\frac {D}{N}}$ и тому подобного?

Или при статистическом анализе точности и стабильности технологических процессов надлежит оценить такие показатели качества, как среднее значение контролируемого параметра и степень его разброса в рассматриваемом процессе. Согласно теории вероятностей в качестве среднего значения случайной величины целесообразно использовать её математическое ожидание, а в качестве статистической характеристики разброса — дисперсию, среднеквадратичное отклонение или коэффициент вариации. Возникают вопросы: как оценить эти статистические характеристики по выборочным данным и с какой точностью это удаcтся сделать?

Аналогичных примеров можно привести много. Здесь важно показать, как теория вероятностей и математическая статистика могут быть использованы в инженерных и управленческих задачах.

Вероятностно-статистические методы и оптимизация

Идея оптимизации пронизывает прикладную математическую статистику и иные статистические методы. А именно, методы планирования экспериментов, статистического приёмочного контроля, статистического регулирования технологических процессов и другие. С другой стороны, оптимизационные постановки в теории принятия решений, например, прикладная теория оптимизации качества продукции и требований стандартов, предусматривают широкое использование вероятностно-статистических методов, прежде всего прикладной математической статистики.

В производственном управлении, в частности, при оптимизации качества продукции и требований стандартов особенно важно применять статистические методы на начальном этапе жизненного цикла продукции, этапе научно-исследовательской подготовки опытно-конструкторских разработок (разработка перспективных требований к продукции, аванпроекта, технического задания на опытно-конструкторскую разработку). Это объясняется ограниченностью информации, доступной на начальном этапе жизненного цикла продукции, и необходимостью прогнозирования технических возможностей и экономической ситуации на будущее. Статистические методы должны применяться на всех этапах решения задачи оптимизации: при шкалировании переменных, разработке математических моделей функционирования изделий и систем, проведении технических и экономических экспериментов и тому подобном.

В задачах оптимизации, в том числе оптимизации качества продукции и требований стандартов, используют все области статистики. А именно, статистику случайных величин, многомерный статистический анализ, статистику случайных процессов и временны́х рядов, статистику объектов нечисловой природы. Разработаны рекомендации по выбору статистического метода для анализа конкретных данных .

Коротко об истории

Математическая статистика как наука начинается с работ Карла Фридриха Гаусса, на основе теории вероятностей исследовавшего и обосновавшего метод наименьших квадратов, созданный им в 1795 году и применённый для обработки астрономических данных (с целью уточнения орбиты карликовой планеты Церера). Его именем часто называют одно из наиболее популярных распределений вероятностей — нормальное, а в теории случайных процессов основной объект изучения — гауссовские процессы.

В конце XIX — начале ХХ века крупный вклад в математическую статистику внесли английские исследователи, прежде всего Карл Пирсон (1857—1936) и Роналд Фишер (1890—1962). В частности, Пирсон разработал критерий «хи-квадрат» проверки статистических гипотез, а Фишер — дисперсионный анализ, теорию планирования эксперимента, метод максимального правдоподобия оценки параметров.

В 30-е годы ХХ века поляк Ежи Нейман (1894—1977) и англичанин Эгон Пирсон развили общую теорию проверки статистических гипотез, а советские математики Андрей Николаевич Колмогоров (1903—1987) и Николай Васильевич Смирнов (1900—1966) заложили основы непараметрической статистики. В 40-е годы ХХ века румын Авраам Вальд (1902—1950) построил теорию последовательного статистического анализа.

Математическая статистика бурно развивается и ныне. За последние 40 лет можно выделить четыре принципиально новых направления исследований:

1. Разработка и внедрение математических методов планирования экспериментов;
2. Развитие статистики объектов нечисловой природы как самостоятельного направления в прикладной математической статистике;
3. Развитие статистических методов, устойчивых по отношению к малым отклонениям от используемой вероятностной модели;
4. Широкое развёртывание работ по созданию компьютерных пакетов программ, предназначенных для проведения статистического анализа данных.

Современное представление о математической статистике

Под математической статистикой понимают «раздел математики, посвящённый математическим методам сбора, систематизации, обработки и интерпретации статистических данных, а также использованию их для научных или практических выводов. Правила и процедуры математической статистики опираются на теорию вероятностей, позволяющую оценить точность и надёжность выводов, получаемых в каждой задаче на основании имеющегося статистического материала» с. 326. При этом статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками.

По типу решаемых задач математическая статистика обычно делится на три раздела: описание данных, оценка и проверка гипотез.

По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

• Одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом.
• Многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором).
• Статистика случайных процессов и временны́х рядов, где результат наблюдения — функция.
• Статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Исторически первыми появились некоторые области статистики объектов нечисловой природы (в частности, задачи оценивания доли брака и проверки гипотез о ней) и одномерная статистика. Математический аппарат для них проще, поэтому на их примере обычно демонстрируют основные идеи математической статистики.

Лишь те методы обработки данных, то есть математической статистики, являются доказательными, которые опираются на вероятностные модели соответствующих реальных явлений и процессов. Речь идёт о моделях поведения потребителей, возникновения рисков, функционирования технологического оборудования, получения результатов эксперимента, течения заболевания и тому подобного. Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Соответствие вероятностной модели реальности, то есть её адекватность, обосновывают, в частности, с помощью статистических методов проверки гипотез.

Невероятностные методы обработки данных являются поисковыми, их можно использовать лишь при предварительном анализе данных, так как они не дают возможности оценить точность и надёжность выводов, полученных на основании ограниченного статистического материала.

Вероятностные и статистические методы применимы всюду, где удаётся построить и обосновать вероятностную модель явления или процесса. Их применение обязательно, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции).

В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвящённого статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью её методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приёмочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надёжности и другие.

Широко применяются такие прикладные вероятностно-статистические дисциплины, как теория надёжности и теория массового обслуживания. Содержание первой из них ясно из названия, вторая занимается изучением систем типа телефонной станции, на которую в случайные моменты времени поступают вызовы — требования абонентов, набирающих номера на своих телефонных аппаратах. Длительность обслуживания этих требований, то есть длительность разговоров, также моделируется случайными величинами. Большой вклад в развитие этих дисциплин внесли Александр Яковлевич Хинчин (1894—1959), Борис Владимирович Гнеденко (1912—1995) и другие отечественные учёные.

Основы теории вероятностей

Этот раздел содержит полные доказательства всех рассматриваемых утверждений.

События и множества

Исходное понятие при построении вероятностных моделей в задачах принятия решений — опыт, или испытание. Примеры опытов: проверка качества единицы продукции, бросание игральных костей, исход спортивного матча.

Первый шаг при построении вероятностной модели реального явления или процесса — выделение возможных исходов опыта. Их называют элементарными событиями. Обычно считают, что в первом опыте возможны два исхода — «единица продукции годна» и «единица продукции дефектна». Естественно принять, что при бросании монеты осуществляется одно из двух элементарных событий: «выпала решка» и «выпал орёл». При этом случаи «монета встала на ребро» или «монету не удалось найти» считаем невозможными.

При бросании трёх монет элементарных событий значительно больше. Вот одно из них: «первая монета выпала орлом, вторая — решкой, третья — снова орлом». Перечислим все элементарные события в этом опыте. Для этого обозначим выпадение орла буквой $\mathrm {O}$, а решки — буквой $\mathrm {P}$. Имеется $2^{3}=8$ элементарных событий: $\mathrm {OOO}$, $\mathrm {OOP}$, $\mathrm {OPO}$, $\mathrm {OPP}$, $\mathrm {POO}$, $\mathrm {POP}$, $\mathrm {PPO}$, $\mathrm {PPP}$. В каждой тройке символов первый показывает результат бросания первой монеты, второй — второй монеты, третий — третьей монеты.

Совокупность всех возможных исходов опыта, всех элементарных событий, называется пространством элементарных событий. Вначале мы ограничимся пространством элементарных событий, состоящим из конечного числа элементов.

С математической точки зрения пространство (совокупность) всех элементарных событий, возможных в опыте, — это некоторое множество, а элементарные события — его элементы. Однако в теории вероятностей для обозначения используемых понятий по традиции применяются свои термины, отличающиеся от терминов теории множеств.

Таблица 1. Соответствие терминов

Теория вероятностей	Теория множеств
Пространство элементарных событий	Множество
Элементарное событие	Элемент множества
Событие	Подмножество
Достоверное событие	Подмножество, совпадающее с множеством
Невозможное событие	Пустое подмножество $\varnothing$
Сумма $A+B$ событий $A$ и $B$	Объединение $A\cup B$
Произведение $AB$ событий $A$ и $B$	Пересечение $A\cap B$
Событие, противоположное $A$	Дополнение $A$
События $A$ и $B$ несовместны	$A\cap B$ пусто
События $A$ и $B$ совместны	$A\cap B$ не пусто

Как сложились два параллельных терминологических ряда? Основные понятия теории вероятностей и её терминология сформировались в XVII—XVIII веках. Теория множеств возникла в конце XIX века независимо от теории вероятностей и получила распространение в ХХ веке.

Принятый ныне аксиоматический подход к теории вероятностей, разработанный Колмогоровым, дал возможность развивать эту дисциплину на базе теории множеств и теории меры. Этот подход позволил рассматривать теорию вероятностей и математическую статистику как часть математики, проводить рассуждения на математическом уровне строгости. В частности, было введено чёткое различие между частотой и вероятностью, случайная величина стала рассматриваться как функция от элементарного исхода, и так далее. За основу методов статистического анализа данных стало возможным брать вероятностно-статистические модели, сформулированные в математических терминах. В результате удалось чётко отделить строгие утверждения от обсуждения философских вопросов случайности, преодолеть подход на основе понятия равновозможности, имеющий ограниченное практическое значение. Наиболее существенно, что после работ Колмогорова нет необходимости связывать вероятности тех или иных событий с пределами частот. Так называемые «субъективные вероятности» получили смысл экспертных оценок вероятностей.

После выхода в 1933 году (на немецком языке, и в 1936 — на русском) основополагающей монографии аксиоматический подход к теории вероятностей стал общепринятым в исследованиях в этой области. Во многом перестроилось преподавание. Повысился научный уровень многих прикладных работ. Но всё ещё распространены устаревшие и во многом неверные представления о теории вероятностей и математической статистике. Поэтому в настоящей главе рассматриваем основные понятия, подходы, идеи, методы и результаты в этих областях, необходимые для их квалифицированного применения в задачах различных областей знаний и практической деятельности.

В послевоенные годы Колмогоров формализовал понятие случайности на основе теории информации . Грубо говоря, числовая последовательность является случайной, если её нельзя заметно сжать без потери информации. Однако этот подход не был предназначен для использования в прикладных работах и преподавании. Он представляет собой важное методологическое и теоретическое продвижение.

Вероятность события

Перейдём к основному понятию теории вероятностей — вероятности события. В методологических терминах можно сказать, что вероятность события является мерой возможности осуществления события. В ряде случаев естественно считать, что вероятность события $A$ — это число, к которому приближается отношение количества осуществлений события $A$ к общему числу всех опытов (то есть частота осуществления события $A$) — при увеличении числа опытов, проводящихся независимо друг от друга. Иногда можно предсказать это число из соображений равновозможности. Так, при бросании симметричной монеты и орёл, и решка имеют одинаковые шансы оказаться сверху, а именно, 1 шанс из 2, а потому вероятности выпадения орла и решки равны $\ {\tfrac {1}{2}}$.

Однако этих соображений недостаточно для развития теории. Методологическое определение не даёт численных значений. Не все вероятности можно оценивать как пределы частот, и неясно, сколько опытов надо брать. На основе идеи равновозможности можно решить ряд задач, но в большинстве практических ситуаций применить её нельзя. Например, для оценки вероятности дефектности единицы продукции. Поэтому перейдём к определениям в рамках аксиоматического подхода на базе математической модели, предложенной Колмогоровым.

Определение 1. Пусть конечное множество $\Omega =\{\omega \}$ является пространством элементарных событий, соответствующим некоторому опыту. Пусть каждому $\omega \in \Omega$ поставлено в соответствие неотрицательное число $P(\omega )$, называемое вероятностью элементарного события $\omega$, причём сумма вероятностей всех элементарных событий равна 1, то есть

$\sum _{\omega \in \Omega }P(\omega )=1$. (1)

Тогда пара $\{\Omega ,P\}$, состоящая из конечного множества $\Omega$ и неотрицательной функции $P$, определённой на $\Omega$ и удовлетворяющей условию (1), называется вероятностным пространством. Вероятность события $A$ равна сумме вероятностей элементарных событий, входящих в $A$, то есть определяется равенством

$P(A)=\sum _{\omega \in A}P(\omega )$. (2)

Сконструирован математический объект, основной при построении вероятностных моделей. Рассмотрим примеры.

Пример 1. Бросанию монеты соответствует вероятностное пространство с $\Omega =\{\mathrm {O} ,\mathrm {P} \}$ и $P(\mathrm {O} )=P(\mathrm {P} )={\tfrac {1}{2}}$. Здесь $\mathrm {O}$ означает, что выпал орёл, $\mathrm {P}$ — выпала решка.

Пример 2. Проверке качества одной единицы продукции (в ситуации, описанной в романе А. Н. Толстого «Хождение по мукам», см. выше) соответствует вероятностное пространство с $\Omega =\{N,G\}$ и $P(N)=0,23$, $P(G)=0,77$. Здесь $N$ означает негодную единицу продукции, $G$ — годную.

Отметим, что приведённое выше определение вероятности $P(A)$ согласуется с интуитивным представлением о связи вероятностей события и входящих в него элементарных событий, и с распространённым мнением, согласно которому вероятность события $A$ — число от 0 до 1, представляющее предел частоты реализации события $A$ при неограниченном числе повторений одного и того же комплекса условий.

Из определения вероятности события, свойств символа суммирования и равенства (1) вытекает, что

$P(\Omega )=1$, (3a)

$P(\varnothing )=0$, (3б)

$P(A+B)=P(A)+P(B)-P(AB)$. (3в)

Для несовместных событий $A$ и $B$ согласно формуле (3в) $P(A+B)=P(A)+P(B)$. Последнее утверждение называют также теоремой сложения вероятностей.

Независимые события

При применении вероятностно-статистических методов принятия решений постоянно используется понятие независимости. Например, при применении статистических методов управления качеством продукции говорят о независимых измерениях значений контролируемых параметров у включенных в выборку единиц продукции, о независимости появления дефектов одного вида от появления дефектов другого вида. Независимость случайных событий понимается в вероятностных моделях в следующем смысле.

Определение 2. События $A$ и $B$ называются независимыми, если $P(AB)=P(A)\cdot P(B)$.

Это определение соответствует интуитивному представлению о независимости: осуществление или неосуществление одного события не должно влиять на осуществление или неосуществление другого.

Иногда соотношение $P(AB)=P(A)\cdot P(B|A)=P(B)\cdot P(A|B)$, справедливое при $P(A)\cdot P(B)>0$, называют также теоремой умножения вероятностей. (Если $P(A)\cdot P(B)=0$, то хотя бы одна из условных вероятностей не определена.)

Утверждение 1. Пусть события $A$ и $B$ независимы. Тогда события ${\overline {A}}$ и ${\overline {B}}$ независимы, события ${\overline {A}}$ и $B$ независимы, события $A$ и ${\overline {B}}$ независимы (здесь надчёркивание означает действие, противоположное данному; другими словами, ${\overline {A}}$ — событие, противоположное $A$, или в терминах теории множеств: множество ${\overline {A}}$ — дополнение множества $A$).

Действительно, из формулы (3в) следует, что для событий $C$ и $D$, произведение которых пусто, $P(C+D)=P(C)+P(D)$. Поскольку пересечение $AB$ и ${\overline {A}}B$ пусто, а объединение есть $B$, то

$P(AB)+P({\overline {A}}B)=P(B)$.

$A$ и $B$ независимы, поэтому

$P({\overline {A}}B)=P(B)-P(AB)=P(B)-P(A)\cdot P(B)=P(B){\Big (}1-P(A){\Big )}$.

Заметим теперь, что из соотношений (1) и (2) следует, что $P({\overline {A}})=1-P(A)$. Значит,

$P({\overline {A}}B)=P({\overline {A}})\cdot P(B)$.

Вывод равенства $P(A{\overline {B}})=P(A)P({\overline {B}})$ отличается от предыдущего лишь переменой мест $A$ и $B$ всюду.

Для доказательства независимости ${\overline {A}}$ и ${\overline {B}}$ вспомним, что события $AB$, ${\overline {A}}B$, $A{\overline {B}}$ и ${\overline {A}}\,{\overline {B}}$ не имеют попарно общих элементов, а в сумме составляют всё пространство элементарных событий. Следовательно,

$P(AB)+P({\overline {A}}B)+P(A{\overline {B}})+P({\overline {A}}\,{\overline {B}})=1$.

Воспользовавшись ранее доказанными соотношениями, получаем, что

$P({\overline {A}}\,{\overline {B}})=1-P(AB)-P(B){\Big (}1-P(A){\Big )}-P(A){\Big (}1-P(B){\Big )}={\Big (}1-P(A){\Big )}{\Big (}1-P(B){\Big )}=P({\overline {A}})P({\overline {B}})$,

что и требовалось доказать.

Пример 3. Рассмотрим опыт бросания игрального кубика. Считаем, что все грани имеют одинаковые шансы выпасть. Построим соответствующее вероятностное пространство. Покажем, что события «наверху — грань с чётным числом» и «наверху — грань с числом, кратным 3» независимы.

Пространство элементарных исходов состоит из шести элементов: «наверху — грань с 〈целые числа от 1 до 6〉». Событие «наверху — грань с чётным числом» состоит из трёх элементарных событий: когда наверху оказывается 2, 4 или 6. Событие «наверху — грань с числом, кратным 3» состоит из двух элементарных событий — когда наверху оказывается 3 или 6. Поскольку все грани имеют одинаковые шансы оказаться наверху, то все элементарные события должны иметь одинаковую вероятность. Поскольку всего имеется 6 элементарных событий, то каждое из них имеет вероятность ${\tfrac {1}{6}}$. По определению событие «наверху — грань с чётным числом» имеет вероятность ${\tfrac {1}{2}}$, а событие «наверху — грань с числом, кратным 3» — вероятность ${\tfrac {1}{3}}$. Произведение этих событий состоит из одного элементарного события «наверху — грань с 6», а потому имеет вероятность ${\tfrac {1}{6}}$. Поскольку ${\tfrac {1}{6}}={\tfrac {1}{2}}\cdot {\tfrac {1}{3}}$, то рассматриваемые события являются независимыми в соответствии с определением независимости.

Независимые испытания

В вероятностных моделях процедур принятия решений с помощью понятия независимости событий можно придать точный смысл понятию «независимые испытания». Для этого рассмотрим сложный опыт, состоящий в проведении двух испытаний. Эти испытания называются независимыми, если любые два события $A$ и $B$, из которых $A$ определяется по исходу первого испытания, а $B$ — по исходу второго, являются независимыми.

Пример 4. Опишем вероятностное пространство, соответствующее бросанию двух монет независимо друг от друга.

Разбор примера. Пространство элементарных событий состоит из четырёх элементов: $\{\mathrm {OO} ,\mathrm {OP} ,\mathrm {PO} ,\mathrm {PP} \}$ (запись $\mathrm {OO}$ означает, что первая монета выпала орлом и вторая — тоже орлом; запись $\mathrm {PO}$ — первая — решкой, а вторая — орлом, и так далее). Поскольку события «первая монета выпала решкой» и «вторая монета выпала орлом» являются независимыми по определению независимых испытаний и вероятность каждого из них равна ${\tfrac {1}{2}}$, то вероятность $\mathrm {PO}$ равна ${\tfrac {1}{4}}$. Аналогично, вероятность каждого из остальных элементарных событий также равна ${\tfrac {1}{4}}$.

Пример 5. Опишем вероятностное пространство, соответствующее проверке качества двух единиц продукции независимо друг от друга, если вероятность дефектности равна х.

Разбор примера. Пространство элементарных событий состоит из четырёх элементов:

• $\omega _{1}$ — обе единицы продукции годны;
• $\omega _{2}$ — первая единица продукции годна, а вторая — дефектна;
• $\omega _{3}$ — первая единица продукции дефектна, а вторая — годна;
• $\omega _{4}$ — обе единицы продукции являются дефектными.

Вероятность того, что единица продукции дефектна, есть $x$, а потому вероятность того, что имеет место противоположное событие, то есть единица продукции годна, есть $1-x$. Поскольку результат проверки первой единицы продукции не зависит от такового для второй, то

$P(\omega _{1})=(1-x)^{2}$,

$P(\omega _{2})=P(\omega _{3})=x(1-x)$,

$P(\omega _{4})=x^{2}$.

Условные вероятности

В некоторых задачах прикладной статистики оказывается полезным такое понятие, как условная вероятность $P(B|A)$ — вероятность осуществления $B$ при условии, что $A$ произошло. При $P(A)>0$ по определению

$P(B|A)={\frac {P(AB)}{P(A)}}$.

Для независимых событий $A$ и $B$, очевидно, $P(B|A)=P(B)$. Это равенство эквивалентно определению независимости. Понятия условной вероятности и независимости введены Абрахамом де Муавром в 1718 году.

Недостаточно попарной независимости событий для их независимости в совокупности. Рассмотрим классический пример , с. 46. Пусть одна грань тетраэдра окрашена в красный цвет, вторая — в зелёный, третья грань окрашена в синий цвет и четвёртая — во все эти три цве́та. Пусть событие $A$ состоит в том, что грань, на которую упал тетраэдр при бросании, окрашена красным (полностью или частично), событие $B$ — зелёным, событие $C$ — синим. Пусть при бросании все четыре грани тетраэдра имеют одинаковые шансы оказаться внизу. Поскольку граней четыре и две из них имеют в окраске красный цвет, то $P(A)={\frac {1}{2}}$. Легко подсчитать, что

$P(B)=P(C)=P(A|B)=P(B|C)=P(C|A)=P(B|A)=P(C|B)=P(A|C)={\frac {1}{2}}$.

События $A$, $B$ и $C$, таким образом, попарно независимы. Но если известно, что осуществились одновременно события $B$ и $C$, то это значит, что тетраэдр встал на грань, содержащую все три цвета, то есть осуществилось и событие $A$. Следовательно, $P(ABC)={\frac {1}{4}}$, в то время как для независимых событий должно быть $P(A)\cdot P(B)\cdot P(C)={\frac {1}{8}}$. Следовательно, события $A$, $B$ и $C$ в совокупности зависимы, хотя попарно независимы.

Формула полной вероятности

Предположим, что событие $B$ может осуществиться с одним и только с одним из $k$ попарно несовместных событий $A_{1},A_{2},\dots ,A_{k}$. Тогда

$B=\sum _{j=1}^{k}BA_{j}$,

где события $BA_{i}$ и $BA_{j}$ с разными индексами $i$ и $j$ несовместны. По теореме сложения вероятностей

$P(B)=\sum _{j=1}^{k}P(BA_{j})$.

Воспользовавшись теоремой умножения, находим, что

$P(B)=\sum _{j=1}^{k}{\Big (}P(A_{j})\cdot P(B|A_{j}){\Big )}$.

Получена так называемая формула полной вероятности. Она широко использовалась математиками при конкретных расчётах ещё в начале XVIII века, но впервые была сформулирована как одно из основных утверждений теории вероятностей Пьером-Симоном Лапласом лишь в конце того века. Она применяется, в частности, при нахождении среднего выходного уровня дефектности в задачах статистического обеспечения качества продукции.

Формулы Байеса

Применим формулу полной вероятности для вывода так называемых формул Байеса, которые иногда используют при проверке статистических гипотез. Требуется найти вероятность события $A_{i}$, если известно, что событие $B$ произошло. Согласно теореме умножения,

$P(A_{i}B)=P(B)\cdot P(A_{i}|B)=P(A_{i})\cdot P(B|A_{i})$.

Следовательно

$P(A_{i}|B)={\frac {P(A_{i})\cdot P(B|A_{i})}{P(B)}}$.

Используя формулу полной вероятности для знаменателя, находим, что

$P(A_{i}|B)={\frac {P(A_{i})\cdot P(B|A_{i})}{\sum _{j=1}^{k}{\Big (}P(A_{j})\cdot P(B|A_{j}){\Big )}}}$.

Две последние формулы и называют обычно формулами Байеса. Общая схема их использования такова. Пусть событие $B$ может протекать в различных условиях, относительно которых может быть сделано $k$ гипотез $A_{1},A_{2},\dots ,A_{k}$. Априорные вероятности этих гипотез суть $P(A_{1}),P(A_{2}),\dots ,P(A_{k})$. Известно также, что при справедливости гипотезы $A_{i}$ вероятность $B$ равна $P(B|A_{i})$. Произведён опыт, в которым произошло $B$. Естественно после этого уточнить оценки вероятностей гипотез. Апостериорные оценки вероятностей гипотез $P(A_{1}|B),P(A_{2}|B),\dots ,P(A_{k}|B)$ даются формулами Байеса. В прикладной статистике существует направление байесовская статистика, в которой, в частности, на основе априорного распределения параметров после проведения измерений, наблюдений, испытаний, опытов анализов вычисляют уточнённые оценки параметров.

Случайные величины

Случайная величина — это величина, значение которой зависит от случая, то есть от элементарного события $\omega$. Таким образом, случайная величина — это функция, определённая на пространстве элементарных событий $\Omega$. Примеры случайных величин: количество орлов, выпавших при независимом бросании двух монет; число, выпавшее на верхней грани игрального кубика; число дефектных единиц продукции среди проверенных.

Определение случайной величины $X$ как функции от элементарного события $\omega$, то есть функции $X{:}\;\Omega \to H$, отображающей пространство элементарных событий $\Omega$ в некоторое множество $H$, казалось бы, содержит в себе противоречие. О чём идёт речь: о величине или о функции? Дело в том, что наблюдается всегда лишь реализация случайной величины: её значение, соответствующее именно тому элементарному исходу опыта (элементарному событию), которое осуществилось в конкретной реальной ситуации. Наблюдается именно величина. А функция от элементарного события — это теоретическое понятие, основа вероятностной модели реального явления или процесса.

Отметим, что элементы $H$ — это не обязательно числа. Ими могут быть и последовательности чисел (вектора), и функции, и математические объекты иной природы, в частности, нечисловой (упорядочения и другие бинарные отношения, множества, нечёткие множества и другие) . Однако наиболее часто рассматриваются вероятностные модели, в которых элементы $H$ — числа, то есть $H=\mathbb {R} ^{1}$. В иных случаях обычно используют термины «случайный вектор», «случайное множество», «случайное упорядочение», «случайный элемент» и другие.

Математическое ожидание

Рассмотрим случайную величину с числовыми значениями. Часто оказывается полезным связать с этой функцией число — её «среднее значение» или, как говорят, «среднюю величину», «показатель центральной тенденции». По ряду причин, некоторые из которых будут ясны из дальнейшего, в качестве «среднего значения» обычно используют математическое ожидание.

Определение 3. Математическим ожиданием случайной величины $X$ называется число (4)

$M(X)=\sum _{\omega \in \Omega }X(\omega )P(\omega )$,

то есть математическое ожидание случайной величины — это взвешенная сумма значений случайной величины с весами, равными вероятностям соответствующих элементарных событий.

Пример 6. Вычислим математическое ожидание числа, выпавшего на верхней грани игрального кубика. Непосредственно из определения 3 следует, что

$M(X)=1\cdot {\frac {1}{6}}+2\cdot {\frac {1}{6}}+3\cdot {\frac {1}{6}}+4\cdot {\frac {1}{6}}+5\cdot {\frac {1}{6}}+6\cdot {\frac {1}{6}}={\frac {1+2+3+4+5+6}{6}}={\frac {21}{6}}=3{,}5$.

Утверждение 2. Пусть случайная величина $X$ принимает значения $x_{1},x_{2},\dots ,x_{m}$. Тогда справедливо равенство (5)

$M(X)=\sum _{i=1}^{m}x_{i}P(X=x_{i})$,

то есть математическое ожидание случайной величины — это взвешенная сумма значений случайной величины с весами, равными вероятностям того, что случайная величина принимает определённые значения.

В отличие от (4), где суммирование проводится непосредственно по элементарным событиям, случайное событие $\{X=x_{i}\}=\{\omega {:}\;X(\omega )=x_{i}\}$ может состоять из нескольких элементарных событий.

Иногда соотношение (5) принимают как определение математического ожидания. Однако с помощью определения 3, как показано далее, более легко установить свойства математического ожидания, нужные для построения вероятностных моделей реальных явлений, чем с помощью соотношения (5).

Для доказательства соотношения (5) сгруппируем в (4) члены с одинаковыми значениями случайной величины $X(\omega )$:

$M(X)=\sum _{i=1}^{m}\left(\sum _{\omega {:}\;X(\omega )=x_{i}}X(\omega )\cdot P(\omega )\right)$.

Поскольку постоянный множитель можно вынести за знак суммы, то

$\sum _{\omega {:}\;X(\omega )=x_{i}}X(\omega )\cdot P(\omega )=\sum _{\omega {:}\;X(\omega )=x_{i}}x_{i}\cdot P(\omega )=x_{i}\cdot \sum _{\omega {:}\;X(\omega )=x_{i}}P(\omega )$.

По определению вероятности события

$\sum _{\omega {:}\;X(\omega )=x_{i}}P(\omega )=P(X=x_{i})$.

Из двух последних соотношений получаем требуемое:

$M(X)=\sum _{i=1}^{m}\left(x_{i}\cdot \sum _{\omega {:}\;X(\omega )=x_{i}}P(\omega )\right)=\sum _{\omega {:}\;X(\omega )=x_{i}}{\Big (}x_{i}\cdot P(X=x_{i}){\Big )}$.

Понятие математического ожидания в вероятностно-статистической теории соответствует понятию центра масс в механике. Поместим в точки $x_{1},x_{2},\dots ,x_{m}$ на числовой оси массы $P(X=x_{1}),\;P(X=x_{2}),\;\dots ,\;P(X=x_{m})$ соответственно. Тогда равенство (5) показывает, что центр масс этой системы материальных точек совпадает с математическим ожиданием, что показывает естественность определения 3.

Утверждение 3. Пусть $X$ — случайная величина, $M(X)$ — её математическое ожидание, $a$ — некоторое число. Тогда

1. $M(a)=a$;
2. $M{\Big (}X-M(X){\Big )}=0$;
3. $M\left((X-a)^{2}\right)=M\left({\Big (}(X-M(X){\Big )}^{2}\right)+{\Big (}a-M(X){\Big )}^{2}$.

Для доказательства рассмотрим сначала случайную величину, являющуюся постоянной, $X(\omega )=a$, то есть функция $X(\omega )$ отображает пространство элементарных событий $\Omega$ в единственную точку $a$. Поскольку постоянный множитель можно выносить за знак суммы, то

$M(X)=\sum _{\omega \in \Omega }a\cdot P(\omega )=a\cdot \sum _{\omega \in \Omega }P(\omega )=a$.

Если каждый член суммы разбивается на два слагаемых, то и вся сумма разбивается на две суммы, из которых первая составлена из первых слагаемых, а вторая — из вторых. Следовательно, математическое ожидание суммы двух случайных величин $X+Y$, определённых на одном и том же пространстве элементарных событий, равно сумме математических ожиданий $M(X)$ и $M(Y)$ этих случайных величин:

$M(X+Y)=M(X)+M(Y)$.

А потому

$M{\Big (}X-M(X){\Big )}=M(X)-M{\Big (}M(X){\Big )}$.

Как показано выше, $M{\Big (}M(X){\Big )}=M(X)$. Следовательно,

$M{\Big (}X-M(X){\Big )}=M(X)-M(X)=0$.

Поскольку

$(X-a)^{2}={\biggr (}{\Big (}X-M(X){\Big )}+{\Big (}M(X)-a{\Big )}{\biggr )}^{2}=$

$={\Big (}X-M(X){\Big )}^{2}+2{\Big (}X-M(X){\Big )}{\Big (}M(X)-a{\Big )}+{\Big (}M(X)-a{\Big )}^{2}$,

то

$M{\Big (}(X-a)^{2}{\Big )}=M{\biggr (}{\Big (}X-M(X){\Big )}^{2}{\biggr )}+M{\biggr (}2{\Big (}X-M(X){\Big )}{\Big (}M(X)-a{\Big )}{\biggr )}+M{\biggr (}{\Big (}M(X)-a{\Big )}^{2}{\biggr )}$.

Упростим последнее равенство. Как показано в начале доказательства утверждения 3, математическое ожидание константы есть сама эта константа, а потому

$M{\biggr (}{\Big (}M(X)-a{\Big )}^{2}{\biggr )}={\Big (}M(X)-a{\Big )}^{2}$.

Поскольку постоянный множитель можно выносить за знак суммы, то

$M{\biggr (}2{\Big (}X-M(X){\Big )}{\Big (}M(X)-a{\Big )}{\biggr )}=2{\Big (}M(X)-a{\Big )}\cdot M{\Big (}X-M(X){\Big )}$.

Правая часть последнего равенства равна нулю, поскольку, как показано выше, $M{\Big (}X-M(X){\Big )}=0$. Следовательно,

$M{\Big (}(X-a)^{2}{\Big )}=M{\biggr (}{\Big (}X-M(X){\Big )}^{2}{\biggr )}+{\Big (}a-M(X){\Big )}^{2}$,

что и требовалось доказать.

Из сказанного вытекает, что $M{\Big (}(X-a)^{2}{\Big )}$ достигает минимума по $a$, равного $M{\biggr (}{\Big (}X-M(X){\Big )}^{2}{\biggr )}$, при $a=M(X)$, поскольку второе слагаемое в равенстве (3) всегда неотрицательно и равно нулю только при указанном значении $a$.

Утверждение 4. Пусть случайная величина $X$ принимает значения $x_{1},x_{2},\dots ,x_{m}$ а $f$ есть некоторая функция числового аргумента. Тогда

$M{\Big (}f(X){\Big )}=\sum _{i=1}^{m}f(x_{i})\cdot P(X=x_{i})$.

Для доказательства сгруппируем в правой части равенства (4), определяющего математическое ожидание, члены с одинаковыми значениями $X(\omega )$:

$M{\Big (}f(X){\Big )}=\sum _{i=1}^{m}\left(\sum _{\omega {:}\;X(\omega )=x_{i}}f{\Big (}X(\omega ){\Big )}\cdot P(\omega )\right)$.

Пользуясь тем, что постоянный множитель можно выносить за знак суммы, и определением вероятности случайного события (2), получаем

$M{\Big (}f(X){\Big )}=\sum _{i=1}^{m}\left(f(x_{i})\cdot \sum _{\omega {:}\;X(\omega )=x_{i}}P(\omega )\right)=\sum _{i=1}^{m}f(x_{i})\cdot P(X=x_{i})$,

что и требовалось доказать.

Утверждение 5. Пусть $X$ и $Y$ — случайные величины, определённые на одном и том же пространстве элементарных событий, а $a$ и $b$ — некоторые числа. Тогда

$M(aX+bY)=aM(X)+bM(Y)$.

С помощью определения математического ожидания и свойств символа суммирования получаем цепочку равенств:

$aM(X)+bM(Y)=a\sum _{\omega \in \Omega }X(\omega )P(\omega )+b\sum _{\omega \in \Omega }Y(\omega )P(\omega )=$

$=\sum _{\omega \in \Omega }{\Big (}aX(\omega )+bY(\omega ){\Big )}P(\omega )=M(aX+bY)$.

Требуемое доказано.

Выше показано, как зависит математическое ожидание от перехода к другому началу отсчёта и к другой единице измерения (переход $Y=aX+b$), а также к функциям от случайных величин. Полученные результаты постоянно используются в технико-экономическом анализе, при оценке финансово-хозяйственной деятельности предприятия, при переходе от одной валюты к другой во внешнеэкономических расчётах, в нормативно-технической документации и другом. Рассматриваемые результаты позволяют применять одни и те же расчётные формулы при различных параметрах масштаба и сдвига.

Независимость случайных величин — одно из базовых понятий теории вероятностей, лежащее в основе практических всех вероятностно-статистических методов принятия решений.

Определение 4. Случайные величины $X$ и $Y$, определённые на одном и том же пространстве элементарных событий, называются независимыми, если для любых чисел $a$ и $b$ независимы события $\{X=a\}$ и $\{Y=b\}$.

Утверждение 6. Если случайные величины $X$ и $Y$ независимы, $a$ и $b$ — некоторые числа, то случайные величины $X+a$ и $Y+b$ также независимы.

Действительно, события $\{X+a=c\}$ и $\{Y+b=d\}$ совпадают с событиями $\{X=c-a\}$ и $\{Y=d-b\}$ соответственно, а потому независимы.

Пример 7. Случайные величины, определённые по результатам различных испытаний в схеме независимых испытаний, сами независимы. Это вытекает из того, что события, с помощью которых определяется независимость случайных величин, определяются по результатам различных испытаний, а потому независимы по определению независимых испытаний.

В вероятностно-статистических методах принятия решений постоянно используется следующий факт: если $X$ и $Y$ — независимые случайные величины, $f(X)$ и $g(Y)$ — случайные величины, полученные из $X$ и $Y$ с помощью некоторых функций $f$ и $g$, то $f(X)$ и $g(Y)$ — также независимые случайные величины. Например, если $X$ и $Y$ независимы, то $X^{2}$ и $2Y+3$ независимы, $\lg X$ и $\lg Y$ независимы. Доказательство рассматриваемого факта — тема одной из контрольных задач.

Подавляющее большинство вероятностно-статистических моделей, используемых на практике, основывается на понятии независимых случайных величин. Так, результаты наблюдений, измерений, испытаний, анализов, опытов обычно моделируются независимыми случайными величинами. Часто считают, что наблюдения проводятся согласно схеме независимых испытаний. Например, результаты финансово-хозяйственной деятельности предприятий, выработка рабочих, результаты (данные) измерений контролируемого параметра у изделий, отобранных в выборку при статистическом регулировании технологического процесса, ответы потребителей при маркетинговом опросе и другие типы данных, используемых при принятии решений, обычно рассматриваются как независимые случайные величины, вектора́ или элементы. Причина такой популярности понятия независимости случайных величин состоит в том, что к настоящему времени теория продвинута существенно дальше для независимых случайных величин, чем для зависимых.

Часто используется следующее свойство независимых случайных величин.

Утверждение 7. Если случайные величины $X$ и $Y$ независимы, то математическое ожидание произведения $XY$ равно произведению математических ожиданий $X$ и $Y$, то есть

$M(XY)=M(X)M(Y)$.

Доказательство. Пусть $X$ принимает значения $x_{1},x_{2},\dots ,x_{m}$, в то время как $Y$ принимает значения $y_{1},y_{2},\dots ,y_{k}$. Сгруппируем в задающей $M(XY)$ сумме члены, в которых $X$ и $Y$ принимают фиксированные значения:(6)

$M(XY)=\sum _{1\leqslant i\leqslant m,\;1\leqslant j\leqslant k}\left(\sum _{\omega {:}\;X(\omega )=x_{i},\;Y(\omega )=y_{j}}X(\omega )Y(\omega )P(\omega )\right)$.

Поскольку постоянный множитель можно вынести за знак суммы, то

$\sum _{\omega {:}\;X(\omega )=x_{i},\;Y(\omega )=y_{j}}X(\omega )Y(\omega )P(\omega )=x_{i}y_{j}\sum _{\omega {:}\;X(\omega )=x_{i},\;Y(\omega )=y_{j}}P(\omega )$.

Из последнего равенства и определения вероятности события заключаем, что равенство (6) можно преобразовать к виду

$M(XY)=\sum _{1\leqslant i\leqslant m,\;1\leqslant j\leqslant k}x_{i}y_{j}\cdot P(X=x_{i},\;Y=y_{j})$.

$X$ и $Y$ независимы, поэтому

$P(X=x_{i},\,Y=y_{j})=P(X=x_{i})\cdot P(Y=y_{j})$.

Воспользовавшись этим равенством и свойством символа суммирования

$\sum _{1\leqslant i\leqslant m,\;1\leqslant j\leqslant k}c_{i}d_{j}=\left(\sum _{i=1}^{m}c_{i}\right)\left(\sum _{j=1}^{k}d_{j}\right)$,

заключаем, что (7)

$M(XY)=\left(\sum _{i=1}^{m}x_{i}\cdot P(X=x_{i})\right)\left(\sum _{j=1}^{k}y_{j}\cdot P(Y=y_{j})\right)$.

Из равенства (5) следует, что первый сомножитель в правой части (7) есть $M(X)$, а второй — $M(Y)$, что и требовалось доказать.

Пример 8. Построим пример, показывающий, что из равенства $M(XY)=M(X)\cdot M(Y)$ не следует независимость случайных величин $X$ и $Y$. Пусть вероятностное пространство состоит из трёх равновероятных элементов $\omega _{1}$, $\omega _{2}$, $\omega _{3}$. Пусть

$X(\omega _{1})=1$, $X(\omega _{2})=0$, $X(\omega _{3})=-1$, $Y(\omega _{1})=Y(\omega _{3})=1$, $Y(\omega _{2})=0$.

Тогда $XY=X$, $M(X)=M(XY)=0$, следовательно, $M(XY)=M(X)\cdot M(Y)$. Однако при этом

$P(X=0)=P(Y=0)=P(X=0,\;Y=0)=P(\omega _{2})={\frac {1}{3}}$,

в то время как вероятность события $\{X=0,\;Y=0\}$ в случае независимых $X$ и $Y$ должна была равняться ${\frac {1}{3}}\cdot {\frac {1}{3}}={\frac {1}{9}}$.

Независимость нескольких случайных величин $X,Y,Z,\dots$ означает по определению, что для любых чисел $x,y,z,\dots$ справедливо равенство

$P(X=x,\;Y=y,\;Z=z,\dots )=P(X=x)\cdot P(Y=y)\cdot P(Z=z)\cdot \dots$.

Например, если случайные величины определяются по результатам различных испытаний в схеме независимых испытаний, то они независимы.

Дисперсия случайной величины

Математическое ожидание показывает, вокруг какой точки группируются значения случайной величины. Необходимо также уметь измерить изменчивость случайной величины относительно математического ожидания. Выше показано, что $M\left((X-a)^{2}\right)$ достигает минимума по $a$ при $a=M(X)$. Поэтому за показатель изменчивости случайной величины естественно взять именно $M\left({\Big (}X-M(X){\Big )}^{2}\right)$.

Определение 5. Дисперсией случайной величины $X$ называется число

$\sigma ^{2}=D(X)=M\left({\Big (}X-M(X){\Big )}^{2}\right)$.

Установим ряд свойств дисперсии случайной величины, постоянно используемых в вероятностно-статистических методах принятия решений.

Утверждение 8. Пусть $X$ — случайная величина, $a$ и $b$ — некоторые числа, $Y=aX+b$. Тогда

$D(Y)=a^{2}D(X)$.

Как следует из утверждений 3 и 5, $M(Y)=aM(X)+b$. Следовательно,

$D(Y)=M\left({\Big (}Y-M(Y){\Big )}^{2}\right)=M\left({\Big (}aX+b-aM(X)-b{\Big )}^{2}\right)=M\left(a^{2}{\Big (}X-M(X){\Big )}^{2}\right)$.

Поскольку постоянный множитель можно выносить за знак суммы, то

$M\left(a^{2}{\Big (}X-M(X){\Big )}^{2}\right)=a^{2}M\left({\Big (}X-M(X){\Big )}^{2}\right)=a^{2}D(X)$.

Утверждение 8 показывает, в частности, как меняется дисперсия результата наблюдений при изменении начала отсчёта и единицы измерения. Оно даёт правило преобразования расчётных формул при переходе к другим значениям параметров сдвига и масштаба.

Утверждение 9. Если случайные величины $X$ и $Y$ независимы, то дисперсия их суммы $X+Y$ равна сумме дисперсий:

$D(X+Y)=D(X)+D(Y)$.

Для доказательства воспользуемся тождеством

${\biggr (}{\Big (}X+Y{\Big )}-{\Big (}M(X)+M(Y){\Big )}{\biggr )}^{2}={\Big (}X-M(X){\Big )}^{2}+2{\Big (}X-M(X){\Big )}{\Big (}Y-M(Y){\Big )}+{\Big (}Y-M(Y){\Big )}^{2}$,

которое вытекает из известной формулы элементарной алгебры $(a+b)^{2}=a^{2}+2ab+b^{2}$ при подстановке $a=X-M(X)$ и $b=Y-M(Y)$. Из утверждений 3 и 5 и определения дисперсии следует, что

$D(X+Y)=D(X)+D(Y)+2M\{{\Big (}X-M(X){\Big )}{\Big (}Y-M(Y){\Big )}\}$.

Согласно утверждению 6 из независимости $X$ и $Y$ вытекает независимость $X-M(X)$ и $Y-M(Y)$. Из утверждения 7 следует, что

$M{\biggr (}{\Big (}X-M(X){\Big )}{\Big (}Y-M(Y){\Big )}{\biggr )}=M{\Big (}X-M(X){\Big )}M{\Big (}Y-M(Y){\Big )}$.

Поскольку $M{\Big (}X-M(X){\Big )}=0$ (см. утверждение 3), то правая часть последнего равенства равна 0, откуда с учетом двух предыдущих равенств и следует заключение утверждения 9.

Утверждение 10. Пусть $X_{1},X_{2},\dots ,X_{k}$ — попарно независимые случайные величины (то есть $X_{i}$ и $X_{j}$ независимы, если $i\neq j$). Пусть $Y_{k}$ — их сумма, $Y_{k}=X_{1}+X_{2}+\dots +X_{k}$, тогда дисперсия суммы равна сумме дисперсий слагаемых,

$D(Y_{k})=D(X_{1})+D(X_{2})+\dots +D(X_{k})$.

Для любых случайкых величин математическое ожидание суммы равно сумме математических ожиданий слагаемых,

$M(Y_{k})=M(X_{1})+M(X_{2})+\dots +M(X_{k})$.

Соотношения, сформулированные в утверждении 10, являются основными при изучении выборочных характеристик, поскольку результаты наблюдений или измерений, включенные в выборку, обычно рассматриваются в математической статистике, теории принятия решений и эконометрике как реализации независимых случайных величин.

Для любого набора числовых случайных величин (не только независимых) математическое ожидание их суммы равно сумме их математических ожиданий. Это утверждение является обобщением утверждения 5. Строгое доказательство легко проводится методом математической индукции.

При выводе формулы для дисперсии $D(Y_{k})$ воспользуемся следующим свойством символа суммирования:

$\left(\sum _{1\leqslant i\leqslant k}a_{i}\right)^{2}=\left(\sum _{1\leqslant i\leqslant k}a_{i}\right)\left(\sum _{j=1}^{k}a_{j}\right)=\sum _{1\leqslant i\leqslant k,\;1\leqslant j\leqslant k}a_{i}a_{j}$.

Положим $a_{i}=X_{i}-M(X_{i})$, получим

${\Big (}X_{1}+X_{2}+\dots +X_{k}-M(X_{1})-M(X_{2})-\dots -M(X_{k}){\Big )}^{2}=\sum {\Big (}X_{i}-M(X_{i}){\Big )}{\Big (}X_{j}-M(X_{j}){\Big )}$.

Воспользуемся теперь тем, что математическое ожидание суммы равно сумме математических ожиданий: (8)

$D(Y_{k})=\sum _{1\leqslant i\leqslant k,\;1\leqslant j\leqslant k}M{\biggr (}{\Big (}X_{i}-M(X_{i}){\Big )}{\Big (}X_{j}-M(X_{j}){\Big )}{\biggr )}$.

Как показано при доказательстве утверждения 9, из попарной независимости рассматриваемых случайных величин следует, что $M{\biggr (}{\Big (}X_{i}-M(X_{i}){\Big )}{\Big (}X_{j}-M(X_{j}){\Big )}{\biggr )}=0$ при $i\neq j$. Следовательно, в сумме (8) остаются только члены с $i=j$, а они равны как раз $D(X_{i})$.

Полученные в утверждениях 8—10 фундаментальные свойства таких характеристик случайных величин, как математическое ожидание и дисперсия, постоянно используются практически во всех вероятностно-статистических моделях реальных явлений и процессов.

Пример 9. Рассмотрим событие $A$ и случайную величину $X$ такую, что $X(\omega )=1$, если $\omega \in A$, и $X(\omega )=0$ в противном случае, то есть если $\omega \in \Omega \backslash A$. Покажем, что $M(X)=P(A)$,$D(X)=P(A){\Big (}1-P(A){\Big )}$.

Воспользуемся формулой (5) для математического ожидания. Случайная величина $X$ принимает значения: 1 — с вероятностью $P(A)$ и 0 — с вероятностью $1-P(A)$, а потому

$M(X)=1\cdot P(A)+0\cdot {\Big (}1-P(A){\Big )}=P(A)$.

Аналогично ${\Big (}X-M(X){\Big )}^{2}={\Big (}1-P(A){\Big )}^{2}$ с вероятностью $P(A)$ и ${\Big (}X-M(X){\Big )}^{2}={\Big (}0-P(A){\Big )}^{2}$ с вероятностью $1-P(A)$, а потому

$D(A)={\Big (}1-P(A){\Big )}^{2}P(A)+{\Big (}P(A){\Big )}^{2}{\Big (}1-P(A){\Big )}$.

Вынося общий множитель, получаем, что $D(A)=P(A){\Big (}1-P(A){\Big )}$.

Пример 10. Рассмотрим $k$ независимых испытаний, в каждом из которых некоторое событие $A$ может наступить, а может и не наступить. Введём случайные величины $X_{1},X_{2},\dots ,X_{k}$ следующим образом: $X_{i}(\omega )=1$, если в $i$-ом испытании $A$ наступило, и $X_{i}(\omega )=0$ в противном случае. Тогда $X_{1},X_{2},\dots ,X_{k}$ попарно независимы (см. пример 7). Как показано в примере 9, $M(X_{i})=p$, $D(X_{i})=p(1-p)$, где $p=P(A)$. Иногда $p$ называют «вероятностью успеха» — в случае, если наступление события $A$ рассматривается как «успех».

Биномиальное распределение

Случайная величина $B=X_{1}+X_{2}+\dots +X_{k}$ называется биномиальной. Ясно, что $0\leqslant B\leqslant k$ при всех возможных исходах опытов. Чтобы найти распределение $B$, то есть вероятности $P(B=a)$ при $a=0,1,\dots ,k$, достаточно знать $p$ — вероятность наступления рассматриваемого события в каждом из опытов. Действительно, случайное событие $B=a$ осуществляется только когда событие $A$ наступает ровно при $a$ испытаниях. Если известны номера всех этих испытаний (то есть номера в последовательности испытаний), то вероятность одновременного осуществления в а опытах события $A$ и в $k-a$ опытах противоположного ему — это вероятность произведения $k$ независимых событий. Вероятность произведения равна произведению вероятностей: $p^{a}(1-p)^{k-a}$. Сколькими способами можно задать номера $a$ испытаний из $k$? Это $k \choose a$ — число сочетаний из $k$ элементов по $a$, рассматриваемое в комбинаторике. Как известно, ${k \choose a}={\frac {k!}{a!(k-a)!}}$, где символом $k!$ обозначено произведение всех натуральных чисел от 1 до $k$, то есть $k!=1\cdot 2\cdot \dots \cdot k$ (дополнительно принимают, что $0!=1$). Из сказанного следует, что биномиальное распределение, то есть распределение биномиальной случайной величины, имеет вид

$P(B=a)={k \choose a}p^{a}(1-p)^{k-a}$.

Название «биномиальное распределение» основано на том, что $P(B=a)$ является членом с номером $(a+1)$ в разложении по биному Ньютона

$(A+C)^{k}=\sum _{0\leqslant j\leqslant k}{k \choose j}A^{k-j}C^{j}$,

если положить $A=1-p$, $C=p$. При $j=a$ получим

${k \choose j}A^{k-j}C^{j}=P(B=a)$.

Для числа сочетаний из $k$ элементов по $a$, кроме ${k \choose a}$, используют более распространённое в отечественной литературе обозначение $C_{k}^{a}$.

Из утверждения 10 и расчётов примера 9 следует, что для случайной величины $B$, имеющей биномиальное распределение, математическое ожидание и дисперсия выражаются формулами $M(B)=kp$, $D(B)=kp(1-p)$, поскольку $B$ является суммой $k$ независимых случайных величин с одинаковыми математическими ожиданиями и дисперсиями, найденными в примере 9.

Неравенства Чебышёва

Во введении обсуждалась задача проверки равенства определённому числу доли дефектной продукции в партии. Для демонстрации вероятностно-статистического подхода к проверке подобных утверждений полезны неравенства, впервые применённые в теории вероятностей русским математиком Пафнутием Львовичем Чебышёвым и носящие его имя. Эти неравенства широко применяются в теории математической статистики, и в ряде практических задач принятия решений. Например, в задачах статистического анализа технологических процессов и качества продукции в случаях, когда явный вид функции распределения результатов наблюдений неизвестен. Они применяются также в задаче исключения резко отклоняющихся результатов наблюдений.

Первое неравенство Чебышёва

Пусть $X$ — неотрицательная случайная величина (то есть $X(\omega )\geqslant 0$ для любого $\omega \in \Omega$). Тогда для любого положительного числа $a$ справедливо неравенство

$P(X\geqslant a)\leqslant {\frac {M(X)}{a}}$.

Доказательство. Все слагаемые в правой части формулы (4), определяющей математическое ожидание, в рассматриваемом случае неотрицательны. Поэтому при отбрасывании некоторых слагаемых сумма не увеличивается. Оставим в сумме только те члены, для которых $X(\omega )\geqslant a$. Получим, что (9)

$M(X)\geqslant \sum _{\omega {:}\;X(\omega )\geqslant a}X(\omega )P(\omega )$.

Для всех слагаемых в правой части $X(\omega )\geqslant a$, поэтому (10)

$\sum _{\omega {:}\;X(\omega )\geqslant a}X(\omega )P(\omega )\geqslant a\sum _{\omega {:}\;X(\omega )\geqslant a}P(\omega )=aP(X\geqslant a)$.

Из (9) и (10) следует требуемое.

Второе неравенство Чебышёва

Пусть $X$ — случайная величина. Для любого положительного числа $a$ справедливо неравенство

$P{\Big (}|X-M(X)|\geqslant a{\Big )}\leqslant {\frac {D(X)}{a^{2}}}$.

Это неравенство содержалось в работе П. Л. Чебышёва «О средних величинах», доложенной Российской академии наук 17 декабря 1866 года и опубликованной в последовавшем году.

Для доказательства второго неравенства Чебышёва рассмотрим случайную величину $Y={\Big (}X-M(X){\Big )}^{2}$. Она неотрицательна, и потому для любого положительного числа $b$, как следует из первого неравенства Чебышёва, справедливо неравенство

$P(Y\geqslant b)\leqslant {\frac {M(Y)}{b}}={\frac {D(X)}{b}}$.

Положим $b=a^{2}$. Событие $\{Y\geqslant b\}$ совпадает с событием $\{|X-M(X)|\geqslant a\}$, а потому

$P{\Big (}|X-M(X)|\geqslant a{\Big )}=P(Y\geqslant a^{2})\leqslant {\frac {D(X)}{a^{2}}}$,

что и требовалось доказать.

Пример 11. Можно указать неотрицательную случайную величину $X$ и положительное число $a$ такие, что первое неравенство Чебышёва обращается в равенство.

Достаточно рассмотреть $X(\omega )=a$. Тогда $M(X)=a$, ${\frac {M(X)}{a}}=1$ и $P(a\geqslant a)=1$, то есть $P(X\geqslant a)={\frac {M(X)}{a}}=1$.

Следовательно, первое неравенство Чебышёва в его общей формулировке не может быть усилено. Однако для подавляющего большинства случайных величин, используемых при вероятностно-статистическом моделировании реальных явлений и процессов, левые части неравенств Чебышёва много меньше соответствующих правых частей.

Пример 12. Может ли первое неравенство Чебышёва обращаться в равенство при всех $a$? Оказывается, нет. Покажем, что для любой неотрицательной случайной величины с ненулевым математическим ожиданием можно найти такое положительное число $a$, что первое неравенство Чебышёва является строгим.

Действительно, математическое ожидание неотрицательной случайной величины либо положительно, либо равно нулю. В первом случае возьмем положительное $a$, меньшее положительного числа $M(X)$, например, положим $a={\frac {M(X)}{2}}$. Тогда ${\frac {M(X)}{a}}$ больше 1, в то время как вероятность события не может превышать 1, а потому первое неравенство Чебышева является для этого а строгим. Второй случай исключается условиями примера 11.

Отметим, что во втором случае равенство 0 математического ожидания влечет тождественное равенство 0 случайной величины. Для такой случайной величины левая и правая части первого неравенства Чебышёва равны 0 при любом положительном $a$.

Можно ли в формулировке первого неравенства Чебышева отбросить требование неотрицательности случайной величины $X$? A требование положительности $a$? Легко видеть, что ни одно из двух требований не может быть отброшено, ибо иначе правая часть первого неравенства Чебышева может стать отрицательной.

Закон больши́х чисел

Неравенство Чебышёва позволяет доказать замечательный результат, лежащий в основе математической статистики — закон больши́х чисел. Из него вытекает, что выборочные характеристики при возрастании числа опытов приближаются к теоретическим, а это даёт возможность оценивать параметры вероятностных моделей по опытным данным. Без закона больши́х чисел не было бы большей части прикладной математической статистики.

Теорема Чебышёва. Пусть случайные величины $X_{1},X_{2},\dots ,X_{k}$ попарно независимы и существует число $C$ такое, что $D(X_{i})\leqslant C$ при всех $i=1,2,\dots ,k$. Тогда для любого положительного $\varepsilon$ выполнено неравенство (11)

$P\left\{\left|{\frac {X_{1}+X_{2}+\dots +X_{k}}{k}}-{\frac {M(X_{1})+M(X_{2})+\dots +M(X_{k})}{k}}\right|\geqslant \varepsilon \right\}\leqslant {\frac {C}{k\varepsilon ^{2}}}$.

Доказательство. Рассмотрим случайные величины $Y_{k}=X_{1}+X_{2}+\dots +X_{k}$ и $Z_{k}={\frac {Y_{k}}{k}}$. Тогда согласно утверждению 10 $M(Y_{k})=M(X_{1})+M(X_{2})+\dots +M(X_{k})$, $D(Y_{k})=D(X_{1})+D(X_{2})+\dots +D(X_{k})$.

Из свойств математического ожидания следует, что $M(Z_{k})={\frac {M(Y_{k})}{k}}$, а из свойств дисперсии — что $D(Z_{k})={\frac {D(Y_{k})}{k^{2}}}$. Таким образом,

$M(Z_{k})={\frac {\{M(X_{1})+M(X_{2})+\dots +M(X_{k})\}}{k}}$,

$D(Z_{k})={\frac {\{D(X_{1})+D(X_{2})+\dots +D(X_{k})\}}{k^{2}}}$.

Из условия теоремы Чебышёва следует, что

$D(Z_{k})\leqslant {\frac {Ck}{k^{2}}}={\frac {C}{k}}$.

Применим к $Z_{k}$ второе неравенство Чебышёва. Получим для стоящей в левой части неравенства (11) вероятности оценку

$P\{|Z_{k}-M(Z_{k})|\geqslant \varepsilon \}\leqslant {\frac {D(Z_{k})}{e^{2}}}\leqslant {\frac {C}{k\varepsilon ^{2}}}$,

что и требовалось доказать.

Эта теорема была получена П. Л. Чебышёвым в той же работе 1867 года «О средних величинах», что и неравенства Чебышёва.

Пример 13. Пусть $C=1$, $\varepsilon =0{,}1$. При каких $k$ правая часть неравенства (11) не превосходит $0{,}1$? $0{,}05$? $0{,}00001$?

В рассматриваемом случае правая часть неравенства (11) равна ${\frac {100}{k}}$. Она не превосходит $0{,}1$, если $k\geqslant 1000$, не превосходит $0{,}05$, если $k\geqslant 2000$, не превосходит $0{,}00001$, если $k\geqslant 10\,000\,000$.

Правая часть неравенства (11), а вместе с ней и левая, при возрастании $k$ и фиксированных $C$ и $\varepsilon$ убывает, приближаясь к 0. Следовательно, вероятность того, что среднее арифметическое независимых случайных величин отличается от своего математического ожидания менее чем на $\varepsilon$, приближается к 1 при возрастании числа случайных величин, причём при любом $\varepsilon$. Это утверждение называют законом больши́х чисел.

Наиболее важен для вероятностно-статистических методов принятия решений (и для математической статистики в целом) случай, когда все $X_{i}$, $i=1,2,\dots$ имеют одно и то же математическое ожидание $M(X_{1})$ и одну и ту же дисперсию $\sigma ^{2}=D(X_{1})$. В качестве замены (оценки) неизвестного исследователю математического ожидания используют выборочное среднее арифметическое

${\overline {X}}={\frac {X_{1}+X_{2}+\dots +X_{k}}{k}}$.

Из закона больши́х чисел следует, что ${\overline {X}}$ при увеличении числа опытов (испытаний, измерений) сколь угодно близко приближается к $M(X_{1})$, что записывают так:

${\overline {X}}{\stackrel {P}{\to }}M(X_{1})$.

Здесь знак ${\stackrel {P}{\to }}$ означает «сходимость по вероятности». Это понятие отличается от «перехода к пределу» в математическом анализе. Последовательность $b_{n}$ имеет предел $b$ при $n\to \infty$, если для любого сколь угодно малого $\delta >0$ существует число $n(\delta )$ такое, что при любом $n>n(\delta )$ справедливо утверждение: $b_{n}\in (b-\delta ;b+\delta )$. При использовании понятия «сходимость по вероятности» элементы последовательности предполагаются случайными, вводится ещё одно сколь угодно малое число $\varepsilon >0$ и утверждение $b_{n}\in (b-\delta ;b+\delta )$ предполагается выполненным не наверняка, а с вероятностью не менее $1-\varepsilon$.

Сходимость частот к вероятностям

Уже́ отмечалось, что с точки зрения ряда естествоиспытателей вероятность события $A$ — это число, к которому приближается отношение количества осуществлений события $A$ к количеству всех опытов при безграничном увеличении числа опытов. Известный математик Якоб Бернулли (1654—1705) в самом конце XVII века доказал это утверждение в рамках математической модели (опубликовано доказательство было лишь после его смерти, в 1713 году).

Теорема Бернулли

Пусть $m$ — число наступлений события $A$ в $k$ независимых (попарно) испытаниях, и $p$ есть вероятность наступления события $A$ в каждом из испытаний. Тогда при любом $\varepsilon >0$ справедливо неравенство (12)

$P\left\{\left|{\frac {m}{k}}-p\right|\geqslant \varepsilon \right\}\leqslant {\frac {p(1-p)}{k\varepsilon ^{2}}}$.

Доказательство. Как показано в примере 10, случайная величина $m$ имеет биномиальное распределение с вероятностью успеха $p$ и является суммой $k$ независимых случайных величин $X_{i}$, $i=1,2,\dots ,k$, каждое из которых равно 1 с вероятностью $p$ и 0 с вероятностью $1-p$, то есть $m=X_{1}+X_{2}+\dots +X_{k}$. Применим к $X_{1},X_{2},\dots ,X_{k}$ теорему Чебышёва с $C=p(1-p)$ и получим требуемое неравенство (12).

Теорема Бернулли даёт возможность связать математическое определение вероятности (по Колмогорову) с определением ряда естествоиспытателей (по Рихарду Мизесу (1883—1953)), согласно которому вероятность есть предел частоты в бесконечной последовательности испытаний. Для показания этой связи сначала отметим, что $p(1-p)\leqslant {\frac {1}{4}}$ при всех $p$. Действительно, ${\frac {1}{4}}-p(1-p)=\left(p-{\frac {1}{2}}\right)^{2}\geqslant 0$.

Следовательно, в теореме Чебышёва можно использовать $C={\frac {1}{4}}$. Тогда при любом $p$ и фиксированном $\varepsilon$ правая часть неравенства (12) при возрастании $k$ приближается к 0, что и доказывает согласие математического определения в рамках вероятностной модели с мнением естествоиспытателей.

Есть и прямые экспериментальные подтверждения того, что частота осуществления определённых событий близка к вероятности, определённой из теоретических соображений. Рассмотрим бросания монеты. Поскольку и орёл, и решка имеют равные шансы оказаться сверху, то вероятность выпадения орла равна ${\frac {1}{2}}$ из соображений равновозможности. Французский естествоиспытатель XVIII века Жорж Бюффон бросил монету 4040 раз, орёл выпал при этом 2048 раз. Частота появления орлов опыте Бюффона равна 0,507. Английский статистик Карл Пирсон бросил монету 12 000 раз и при этом наблюдал 6019 выпадений орлов — частота 0,5016. В другой раз он бросил монету 24 000 раз, орёл выпал 12 012 раз — частота 0,5005. Как видим, во всех этих случаях частоты лишь незначительно отличаются от теоретической вероятности 0,5 , с. 148.

О проверке статистических гипотез

С помощью неравенства (12) можно кое-что сказать о проверке соответствия качества продукции заданным требованиям.

Пусть из 100 000 единиц продукции 30 000 оказались дефектными. Согласуется ли это с гипотезой о том, что вероятность дефектности равна 0,23? Прежде всего, какую вероятностную модель целесообразно использовать? Принимаем, что проводится сложный опыт, состоящий из 100 000 испытаний 100 000 единиц продукции на годность. Считаем, что испытания (попарно) независимы и что в каждом испытании вероятность того, что единица продукции является дефектной, равна $p$. В реальном опыте получено, что событие «единица продукции не является годной» осуществилось 30 000 раз при 100 000 испытаниях. Согласуется ли это с гипотезой о том, что вероятность дефектности $p=0{,}23$?

Для проверки гипотезы воспользуемся неравенством (12). В рассматриваемом случае $k=100\,000$, $m=30\,000$, ${\frac {m}{k}}=0{,}3$, $p=0{,}23$, ${\frac {m}{k}}-p=0{,}07$. Для проверки гипотезы поступают так. Оценим вероятность того, что ${\frac {m}{k}}$ отличается от $p$ так же, как в рассматриваемом случае, или больше, то есть оценим вероятность выполнения неравенства $\left|{\frac {m}{k}}-0{,}23\right|>0{,}07$. Положим в неравенстве (12) $p=0{,}23$, $\varepsilon =0{,}07$. Тогда (13)

$P\left\{\left|{\frac {m}{k}}-0{,}23\right|\geqslant 0{,}07\right\}\leqslant {\frac {0{,}23\cdot 0{,}77}{0{,}0049k}}\approx {\frac {36{,}11}{k}}$.

При $k=100\,000$ правая часть (13) меньше ${\frac {1}{2500}}$. Значит, вероятность того, что отклонение будет не меньше наблюдаемого, весьма мала. Следовательно, если исходная гипотеза верна, то в рассматриваемом опыте осуществилось событие, вероятность которого меньше ${\frac {1}{2500}}$, и поскольку это очень малое число, то исходную гипотезу надо отвергнуть.

Подробнее методы проверки статистических гипотез будут рассмотрены ниже. Здесь отметим, что одна из основных характеристик метода проверки гипотезы — уровень значимости, то есть вероятность отвергнуть проверяемую гипотезу (её в математической статистике называют нулевой и обозначают $H_{0}$), когда она верна. Для проверки статистической гипотезы часто поступают так. Выбирают уровень значимости — малое число $\alpha$. Если описанная в предыдущем абзаце вероятность меньше $\alpha$, то гипотезу отвергают, как говорят, на уровне значимости $\alpha$. Если эта вероятность больше или равна $\alpha$, то гипотезу принимают. Обычно в вероятностно-статистических методах принятия решений выбирают $\alpha =0{,}05$, значительно реже $\alpha =0{,}01$ или $\alpha =0{,}1$, в зависимости от конкретной практической ситуации. В рассматриваемом случае $\alpha$, напомним, — это та доля опытов (то есть проверок партий по 100 000 единиц продукции), в которой мы отвергаем гипотезу $H_{0}{:}\;p=0{,}23$, хотя она верна.

Насколько результат проверки гипотезы $H_{0}$ зависит от числа испытаний $k$? Пусть при $k=100$, $k=1000$, $k=10\,000$ оказалось, что $m=30$, $m=300$, $m=3000$ соответственно, так что во всех случаях ${\frac {m}{k}}=0{,}3$. Какие значения принимает вероятность

$P_{k}=P\left\{\left|{\frac {m}{k}}-0{,}23\right|\geqslant 0{,}07\right\}$

и её оценка — правая часть формулы (13)?

При $k=100$ правая часть (13) равна приблизительно 0,36, что не даёт оснований отвергнуть гипотезу. При $k=1000$ правая часть (13) равна примерно 0,036. Гипотеза отвергается на уровне значимости $\alpha =0{,}05$ (и $\alpha =0{,}1$), но на основе оценки вероятности с помощью правой части формулы (13) не удаётся отвергнуть гипотезу на уровне значимости $\alpha =0{,}01$. При $k=10\,000$ правая часть (13) меньше ${\frac {1}{250}}$, и гипотеза отвергается на всех обычно используемых уровнях значимости.

Более точные расчёты, основанные на применении центральной предельной теоремы теории вероятностей (см. ниже), дают $P_{100}=0{,}095$, $P_{1000}=0{,}0000005$, так что оценка (13) является в рассматриваемом случае весьма завышенной. Причина в том, что получена она из наиболее общих соображений, применительно ко всем возможным случайным величинам улучшить её нельзя (см. пример 11), но применительно к конкретному биномиальному распределению — можно.

Ясно, что без введения уровня значимости не обойтись, ибо даже очень большие отклонения ${\frac {m}{k}}$ от $p$ имеют положительную вероятность осуществления. Так, при справедливости гипотезы $H_{0}$ событие «все 100 000 единиц продукции являются дефектными» отнюдь не является невозможным с математической точки зрения, оно имеет положительную вероятность осуществления, равную $0{,}23^{100000}$, хотя эта вероятность и невообразимо мала.

Аналогично разберём проверку гипотезы о симметричности монеты.

Пример 14. Если монета симметрична, то $p={\frac {1}{2}}$, где $p$ — вероятность выпадения орлов. Согласуется ли с этой гипотезой результат эксперимента, в котором при 10 000 бросаниях выпало 4000 орлов?

В рассматриваемом случае ${\frac {m}{k}}=0{,}4$. Положим в неравенстве (12) $p=0{,}5$, $\varepsilon =0{,}1$:

$P\left\{\left|{\frac {m}{k}}-0{,}5\right|\geqslant 0{,}1\right\}\leqslant {\frac {0{,}5\cdot 0{,}5}{0{,}01k}}={\frac {25}{k}}$.

При $k=10\,000$ правая часть последнего неравенства равна ${\frac {1}{400}}$. Значит, если исходная гипотеза верна, то в нашем единственном эксперименте осуществилось событие, вероятность которого весьма мала — меньше ${\frac {1}{400}}$. Поэтому исходную гипотезу следует отвергнуть.

Если из 1000 бросаний монеты орлы выпали в 400 случаях, то правая часть выписанного выше неравенства равна ${\frac {1}{40}}$. Гипотеза симметричности отклоняется на уровне значимости 0,05 (и 0,1), но рассматриваемые методы не дают возможности отвергнуть её на уровне значимости 0,01.

Если $k=100$, а $m=40$, то правая часть неравенства равна $0{,}25$. Оснований для отклонения гипотезы нет. С помощью более тонких методов, основанных на центральной предельной теореме теории вероятностей, можно показать, что левая часть неравенства равна приблизительно 0,05. Это показывает, как важно правильно выбрать метод проверки гипотезы или оценивания параметров. Следовательно, целесообразна стандартизация подобных методов, позволяющая сэкономить усилия, необходимые для сравнения и выбора наилучшего метода, а также избежать устаревших, неверных или неэффективных методов.

Ясно, что даже по нескольким сотням опытов нельзя достоверно отличить абсолютно симметричную монету ($p={\frac {1}{2}}$) от несколько несимметричной монеты (для которой, скажем, $p=0{,}49$). Более того, любая реальная монета несколько несимметрична, так что монета с $p=0{,}5$ есть математическая абстракция. Между тем, в ряде управленческих и производственных ситуаций требуется осуществить справедливую жеребьёвку, а для этого требуется абсолютно симметричная монета. Например, речь может идти об очередности рассмотрения инвестиционных проектов комиссией экспертов, о порядке вызова для собеседования кандидатов на должность, об отборе единиц продукции из партии в выборку для контроля и тому подобном.

Пример 15. Можно ли с помощью несимметричной монеты получить последовательность испытаний с двумя исходами, каждый из которых имеет вероятность ${\frac {1}{2}}$?

Ответ: да, можно. Приведём способ, предложенный видным польским математиком Гуго Штейнгаузом (1887—1972).

Будем бросать монету два раза подряд и записывать исходы бросаний так (Г — орёл, Р — решка, на первом месте стоит результат первого бросания, на втором — второго): ГР запишем как Г, в то время РГ запишем как Р, а ГГ и PP вообще не станем записывать. Например, если исходы бросаний окажутся такими:

ГР,	РГ,	ГР,	PP,	ГР,	РГ,	ГГ,	РГ,	PP,	РГ,
то запишем их в виде:
Г,	Р,	Г,		Г,	Р,		Р,		Р.

Сконструированная таким образом последовательность обладает теми же свойствами, что и полученная при бросании идеально симметричной монеты, поскольку даже у несимметричной монеты последовательность ГР встречается столь же часто, как и последовательность РГ.

Применим теорему Бернулли и неравенство (12) к обработке реальных данных.

Пример 16. С 1871 по 1900 год в Швейцарии родился 1 359 671 мальчик и 1 285 086 девочек. Совместимы ли эти данные с предположением, что вероятность рождения мальчика равна 0,5? A с предположением, что она равна 0,515? Другими словами, требуется проверить нулевые гипотезы $H_{0}{:}\;p=0{,}5$ и $H_{0}{:}\;p=0{,}515$ с помощью неравенства (12).

Число испытаний равно общему числу рождений, то есть $1\,359\,671+1\,285\,086=2\,644\,757$. Есть все основания считать испытания независимыми. Число рождений мальчиков составляет приблизительно 0,514 всех рождений. В случае $p=0{,}5$ имеем $\varepsilon =0{,}014$, и правая часть неравенства (12) имеет вид

${\frac {0{,}5\cdot 0{,}5}{0{,}014\cdot 0{,}014\cdot 2\,644\,757}}\approx 0{,}00001$.

Таким образом, гипотезу $p=0{,}5$ следует считать несовместимой с приведёнными в условии данными. В случае $p=0{,}515$ имеем $\varepsilon =0{,}001$, и правая часть (12) равна приблизительно 0,1, так что с помощью неравенства (12) отклонить гипотезу $H_{0}{:}\;p=0{,}515$ нельзя.

Итак, здесь на основе элементарной теории вероятностей (с конечным пространством элементарных событий) мы сумели построить вероятностные модели для описания проверки качества деталей (единиц продукции) и бросания монет и предложить методы проверки гипотез, относящихся к этим явлениям. В математической статистике есть более тонкие и сложные методы проверки описанных выше гипотез, которыми и пользуются в практических расчётах.

Можно спросить: в рассмотренных выше моделях вероятности были известны заранее — со слов Струкова или же из-за того, что мы предположили симметричность монеты. A как строить модели, если вероятности неизвестны? Как оценить неизвестные вероятности? Теорема Бернулли — результат, с помощью которого даётся ответ на этот вопрос. Именно, оценкой неизвестной вероятности $p$ является число ${\frac {m}{k}}$, поскольку доказано, что при возрастании $k$ вероятность того, что ${\frac {m}{k}}$ отличается от $p$ более чем на какое-либо фиксированное число, приближается к нулю. Оценка будет тем точнее, чем больше $k$. Более того, можно доказать, что с некоторой точки зрения (см. далее) оценка ${\frac {m}{k}}$ для вероятности $p$ является наилучшей из возможных (в терминах математической статистики — состоятельной, несмещённой и эффективной).

Суть вероятностно-статистических методов

Как подходы, идеи и результаты теории вероятностей и математической статистики используются при обработке данных — результатов наблюдений, измерений, испытаний, анализов, опытов с целью принятия практически важных решений?

Базой является вероятностная модель реального явления или процесса, то есть математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания неопределённостей, которые надо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»). Иногда случайность вносится в ситуацию сознательно, например, при жеребьёвке, случайном отборе единиц для контроля, проведении лотерей или опросов потребителей.

Теория вероятностей позволяет по одним вероятностям рассчитать другие, интересующие исследователя. Например, по вероятности выпадения орла можно рассчитать вероятность того, что при 10 бросаниях монет выпадет не менее 3 орлов. Подобный расчёт опирается на вероятностную модель, согласно которой бросания монет описываются схемой независимых испытаний, кроме того, выпадения орла и решки равновозможны, а потому вероятность каждого из этих событий равна ${\frac {1}{2}}$. Более сложна модель, в которой вместо бросания монеты рассматривается проверка качества единицы продукции. Соответствующая вероятностная модель опирается на предположение о том, что контроль качества различных единиц продукции описывается схемой независимых испытаний. В отличие от модели с бросанием монет необходимо ввести новый параметр — вероятность $p$ того, что единица продукции является дефектной. Модель будет полностью описана, если принять, что все единицы продукции имеют одинаковую вероятность оказаться дефектными. Если последнее предположение неверно, то число параметров модели возрастает. Например, можно принять, что каждая единица продукции имеет свою вероятность оказаться дефектной.

Обсудим модель контроля качества с общей для всех единиц продукции вероятностью дефектности $p$. Чтобы при анализе модели «дойти до числа», необходимо заменить $p$ на некоторое конкретное значение. Для этого необходимо выйти из рамок вероятностной модели и обратиться к данным, полученным при контроле качества. Математическая статистика решает обратную задачу по отношению к теории вероятностей. Её цель — на основе результатов наблюдений (измерений, анализов, испытаний, опытов) получить выводы о вероятностях, лежащих в основе вероятностной модели. Например, на основе частоты появления дефектных изделий при контроле можно сделать выводы о вероятности дефектности (см. обсуждение выше с использованием теоремы Бернулли). На основе неравенства Чебышева делались выводы о соответствии частоты появления дефектных изделий гипотезе о том, что вероятность дефектности принимает определённое значение.

Таким образом, применение математической статистики опирается на вероятностную модель явления или процесса. Используются два параллельных ряда понятий: относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики суть оценки теоретических. При этом величины, относящиеся к теоретическому ряду, «находятся в головах исследователей», относятся к миру идей (по древнегреческому философу Платону), недоступны для непосредственного измерения. Исследователи располагают лишь выборочными данными, из которых они стараются установить интересующие их свойства теоретической вероятностной модели.

Зачем же нужна вероятностная модель? Дело в том, что только с её помощью можно перенести свойства, установленные по результатам анализа конкретной выборки, на другие выборки, а также на всю так называемую генеральную совокупность. Термин «генеральная совокупность» используется, когда речь идёт о большой, но конечной совокупности изучаемых единиц. Например, о совокупности всех жителей России или совокупности всех потребителей растворимого кофе в Москве. Цель маркетинговых или социологических опросов в том, чтобы утверждения, полученные по выборке из сотен или тысяч человек, перенести на генеральные совокупности в несколько миллионов человек. При контроле качества в роли генеральной совокупности выступает партия продукции.

Чтобы перенести выводы с выборки на более обширную совокупность, необходимы те или иные предположения о связи выборочных характеристик с характеристиками этой более обширной совокупности. Эти предположения основаны на соответствующей вероятностной модели.

Конечно, можно обрабатывать выборочные данные, не используя ту или иную вероятностную модель. Например, можно рассчитывать выборочное среднее арифметическое, подсчитывать частоту выполнения тех или иных условий. Однако результаты расчётов будут относиться только к конкретной выборке, перенос полученных с их помощью выводов на какую-либо иную совокупность некорректен. Иногда подобную деятельность называют «анализ данных». По сравнению с вероятностно-статистическими методами анализ данных имеет ограниченную познавательную ценность.

Итак, использование вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик — вот суть вероятностно-статистических методов принятия решений.

Подчеркнём, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий, один из которых соответствует вероятностным моделям, а второй — выборочным данным. К сожалению, в ряде литературных источников, устаревших либо написанных в рецептурном духе, не делается различия между выборочными и теоретическими характеристиками, что приводит читателей к недоумениям и ошибкам при практическом использовании статистических методов.

Случайные величины и их распределения

Распределения случайных величин и функции распределения

Распределение числовой случайной величины — это функция, однозначно определяющая вероятность того, что случайная величина принимает заданное значение или принадлежит к некоторому заданному интервалу.

Первое — если случайная величина принимает конечное число значений. Тогда распределение задаётся функцией $P(X=x)$, ставящей каждому возможному значению $x$ случайной величины $X$ вероятность того, что $X=x$.

Второе — если случайная величина принимает бесконечно много значений. Это возможно лишь тогда, когда вероятностное пространство, на котором определена случайная величина, состоит из бесконечного числа элементарных событий. Тогда распределение задаётся набором вероятностей $P(a\leqslant X<b)$ для всех пар чисел $a,b$ таких, что $a<b$. Распределение может быть задано с помощью так называемой функции распределения $F(x)=P(X<x)$, определяющей для всех действительных $x$ вероятность того, что случайная величина $X$ принимает значения, меньшие $x$. Ясно, что

$P(a\leqslant X<b)=F(b)-F(a)$

Это соотношение показывает, что как распределение может быть рассчитано по функции распределения, так и, наоборот, функция распределения — по распределению.

Используемые в прикладных исследованиях функции распределения бывают либо дискретными, либо непрерывными, либо их комбинациями.

Дискретные функции распределения соответствуют дискретным случайным величинам, принимающим конечное число значений или же значения из множества, элементы которого можно перенумеровать натуральными числами (такие множества в математике называют счётными). Их график имеет вид ступенчатой лестницы (рисунок 1).

Пример 17. Число $X$ дефектных изделий в партии принимает значение 0 с вероятностью 0,3, значение 1 с вероятностью 0,4, значение 2 с вероятностью 0,2 и значение 3 с вероятностью 0,1. График функции распределения случайной величины X изображен на рисунке 1.

Рисунок 1. График функции распределения числа дефектных изделий.

F(x)  ^
      |
   1,0|                 <-----
   0,9|           <-----
      |
   0,7|     <-----
      |
      |
      |
   0,3|<----
      |
      |
   ---+---------------------->
    0 |     1     2     3
                            х

Непрерывные функции распределения не имеют скачков. Они монотонно возрастают при увеличении аргумента, — от 0 при $x\to -\infty$ до 1 при $x\to +\infty$. Случайные величины, имеющие непрерывные функции распределения, называют непрерывными.

Практически используемые непрерывные функции распределения, как правило, имеют производные. Первая производная $f(x)$ функции распределения $F(x)$ называется плотностью вероятности:

$f(x)={\frac {dF(x)}{dx}}$.

По плотности вероятности можно определить функцию распределения:

$F(x)=\int \limits _{-\infty }^{x}f(y)\,dy$.

Для любой функции распределения

$\lim _{x\to -\infty }F(x)=0$, $\lim _{x\to +\infty }F(x)=1$,

а потому

$\int \limits _{-\infty }^{+\infty }f(x)\,dx=1$.

Перечисленные свойства функций распределения постоянно используются в вероятностно-статистических методах принятия решений. В частности, из последнего равенства вытекает конкретный вид констант в формулах для плотностей вероятностей, рассматриваемых ниже.

Пример 18. Часто используется следующая функция распределения:(14)

$F(x)={\begin{cases}0,\ x<a\\{\frac {x-a}{b-a}},\ a\leqslant x\leqslant b\\1,\ x>b\end{cases}}$,

где $a$ и $b$ суть некоторые числа, $a<b$. Найдём плотность вероятности этой функции распределения:

$f(x)={\begin{cases}0,\ x<a\\{\frac {1}{b-a}},\ a<x<b\\0,\ x>b\end{cases}}$,

(в точках $x=a$ и $x=b$ производная функции $F(x)$ не существует).

Случайная величина с функцией распределения (14) называется «равномерно распределённой на отрезке $[a;b]$».

Смешанные функции распределения встречаются, в частности, тогда, когда наблюдения в какой-то момент прекращаются. Например, при анализе статистических данных, полученных при использовании планов испытаний на надёжность, предусматривающих прекращение испытаний по истечении некоторого срока. Или при анализе данных о технических изделиях, потребовавших гарантийного ремонта.

Пример 19. Пусть, например, срок службы электрической лампочки — случайная величина с функцией распределения $F(t)$, а испытание проводится до выхода лампочки из строя, если это произойдет менее чем за 100 часов от начала испытаний, или до момента $t_{0}=100$ часов. Пусть $G(t)$ — функция распределения времени эксплуатации лампочки в исправном состоянии при этом испытании. Тогда

$G(t)={\begin{cases}F(t),\ t\leqslant 100\\1,\ t>100\end{cases}}$.

Функция $G(t)$ имеет скачок в точке $t_{0}$, поскольку соответствующая случайная величина принимает значение $t_{0}$ с вероятностью $1-F(t_{0})>0$.

Характеристики случайных величин

В вероятностно-статистических методах используется ряд характеристик случайных величин, выражающихся через функции распределения и плотности вероятностей.

Квантили

При описании дифференциации доходов, при нахождении доверительных границ для параметров распределений случайных величин и во многих иных случаях применяется такое понятие, как «квантиль порядка $p$», где $0<p<1$ (иатробозначается $x_{p}$). Квантиль порядка $p$ — значение случайной величины, для которого функция распределения принимает значение $p$ или имеет место «скачок» со значения меньше $p$ до значения больше $p$ (рисунок 2). Может случиться, что это условие выполняется для всех значений $x$, принадлежащих этому интервалу (то есть функция распределения постоянна на этом интервале и равна $p$). Тогда каждое такое значение называется «квантилем порядка $p$». Для непрерывных функций распределения, как правило, существует единственный квантиль $x_{p}$ порядка $p$ (рисунок 2), причём(15)

$F(x_{p})=p$.

Пример 20. Найдём квантиль $x_{p}$ порядка $p$ для функции распределения $F(x)$ из (13).

При $0<p<1$ квантиль $x_{p}$ находится из уравнения

${\frac {x-a}{b-a}}=p$,

то есть $x_{p}=a+p(b-a)=a(1-p)+bp$. При $p=0$ любое $x\leqslant a$ является квантилем порядка $p=0$. Квантилем порядка $p=1$ является любое число $x\geqslant b$.

Для дискретных распределений, как правило, не существует $x_{p}$, удовлетворяющих уравнению (14). Точнее, если распределение случайной величины даётся таблицей 2, где $x_{1}<x_{2}<\dots <x_{k}$, то равенство (14), рассматриваемое как уравнение относительно $x_{p}$, имеет решения только для $k$ значений $p$, а именно

$p=p_{1}$