Экспоненциальное распределение с параметром

Содержание
  1. Экспоненциальное распределение
  2. 1. Почему мы изобрели экспоненциальное распределение?
  3. 2. Вывод плотности вероятности
  4. Экспоненциальное распределение
  5. 1. Почему мы изобрели экспоненциальное распределение?
  6. 2. Вывод плотности вероятности
  7. 3. Отсутствие последействия
  8. 5. Вкратце: связь между экспоненциальным и пуассоновским распределениями
  9. 6. Упражнение
  10. СОДЕРЖАНИЕ
  11. Определения
  12. Функция плотности вероятности
  13. Кумулятивная функция распределения
  14. Альтернативная параметризация
  15. Характеристики
  16. Среднее, дисперсия, моменты и медиана
  17. Без памяти
  18. Квантили
  19. Дивергенция Кульбака – Лейблера
  20. Максимальное распределение энтропии
  21. Распределение минимума экспоненциальных случайных величин
  22. Совместные моменты экспоненциальной порядковой статистики iid
  23. Сумма двух независимых экспоненциальных случайных величин
  24. Связанные дистрибутивы
  25. Статистические выводы
  26. Оценка параметров
  27. Приближенный минимизатор ожидаемой квадратичной ошибки
  28. Информация Fisher
  29. Доверительные интервалы
  30. Байесовский вывод
  31. Возникновение и приложения
  32. Возникновение событий
  33. Прогноз
  34. Вычислительные методы
  35. Генерация экспоненциальных переменных
  36. Экспоненциальное распределение и его свойства
  37. Основные свойства экспоненциального распределения

Экспоненциальное распределение

Oct 10, 2019 · 6 min read

1*H9c5fhP9LcAFPUgyQjkXrw

Мы всегда начинаем с вопроса “почему”, прежде чем переходить к формулам. Если вы понимаете, почему что-то работает, вы с большей вероятностью будете применять это в своей работе.

1. Почему мы изобрели экспоненциальное распределение?

Ответ: чтобы получить распределение, предсказывающее периоды времени между событиями (такими как успех, отказ, доставка и так далее).

Например, мы хотим предсказать следующее:

Следующий вопрос такой: почему λ * e^(−λt) — это плотность вероятности времени до следующего события?

И следующий вопрос: что значит X

EXP(0,25)? Параметр 0,25 означает 0,25 минут, часов или дней, а, может, 0,25 событий?

Предполагается, что вы хорошо знакомы с распределением Пуассона. Если нет, эта статья поможет разобраться.

EX P (λ) ➡ Э кспоненциальный параметр λ тот же самый, что и λ в распределении Пуассона?

Важная вещь, которая позже поможет вам не запутаться с X

EXP(0,25). 0,25 — это не временной период, а число событий, совпадающее с параметром λ в процессе Пуассона.

Например, ваш блог посещают 500 пользователей в день. Это среднее значение. Количество клиентов магазина за час, землетрясений в год, автомобильных аварий в неделю, опечаток на странице и так далее — это средние значения событий (λ) в единицу времени, являющиеся параметром распределения Пуассона.

Однако при моделировании времени между событиями удобнее использовать термины времени, а не количества. Например, число лет, в течение которых компьютер может включаться без ошибок — 10 лет (это удобнее, чем говорить “ 0,1 ошибка в год”), новый покупатель приходит каждые 10 минут, крупные ураганы возникают каждые 7 лет и так далее.

Путаница возникает, когда вы видите термин “ затухание”, или еще хуже, “ скорость затухания”, которые часто используются в экспоненциальном распределении. З атухание выражается через время (каждые 10 минут, каждые 7 лет и т.д.) и является обратной величиной параметра (λ) в распределении Пуассона. Смотрите: если у вас 3 посетителя в час, значит у вас 1 посетитель каждую треть часа.

Итак, мы можем ответить на вопрос:
Что значит “X

Это означает, что параметр Пуассона будет равен 0,25. В течение единицы времени (неважно, в минутах, часах или годах) событие происходит в среднем 0,25 раз. Переводя в термины времени — пройдет 4 часа, прежде чем событие произойдет, если за единицу времени принят 1 час.

2. Вывод плотности вероятности

Наш первый вопрос был: почему λ * e^(−λt) — это плотность вероятности времени до следующего события?

Определение экспоненциального распределения — это распределение вероятности времени *между* событиями в процессе Пуассона.

Смотрите: в период ожидания не происходит ни одного события. Другими словами, Пуассон (X=0).

1*e vLcZ5fQ5IuF0 3uhMKmw

Есть важная вещь, которую стоит помнить о пуассоновской плотности вероятности: период времени, в течение которого возникают пуассоновские события (X=k), составляет только одну (1) единицу времени.

Как смоделировать распределение вероятности не просто в течение одной единицы времени, а “ ничего не произошло в период времени t”?

Распределение Пуассона предполагает, что события возникают независимо друг от друга. Следовательно, можно посчитать вероятность нулевого успеха в течение t единиц времени, умножив P(X=0 в единицу времени) на t раз.

Плотность вероятности — это производная от кумулятивной функции распределения вероятности.

Поскольку у нас уже есть кумулятивная функция распределения вероятности экспоненциального распределения, 1 — P(T > t), мы можем получить плотность вероятности, продифференцировав ее.

Источник

Экспоненциальное распределение

image 2019 10 09 15 15 48

Мы всегда начинаем с вопроса “почему”, прежде чем переходить к формулам. Если вы понимаете, почему что-то работает, вы с большей вероятностью будете применять это в своей работе.

1. Почему мы изобрели экспоненциальное распределение?

Ответ: чтобы получить распределение, предсказывающее периоды времени между событиями (такими как успех, отказ, доставка и так далее).

Например, мы хотим предсказать следующее:

Следующий вопрос такой: почему λ * e^(−λt) — это плотность вероятности времени до следующего события?

И следующий вопрос: что значит X

EXP(0,25)?Параметр 0,25 означает 0,25 минут, часов или дней, а, может, 0,25 событий?

Предполагается, что вы хорошо знакомы с распределением Пуассона. Если нет, эта статья поможет разобраться.

EXP(λ) ➡ Экспоненциальный параметр λ тот же самый, что и λ в распределении Пуассона?

Важная вещь, которая позже поможет вам не запутаться с X

EXP(0,25).0,25 — это не временной период, а число событий, совпадающее с параметром λ в процессе Пуассона.

Например, ваш блог посещают 500 пользователей в день. Это среднее значение. Количество клиентов магазина за час, землетрясений в год, автомобильных аварий в неделю, опечаток на странице и так далее — это средние значения событий (λ) в единицу времени, являющиеся параметром распределения Пуассона.

Однако при моделировании времени между событиями удобнее использовать термины времени, а не количества. Например, число лет, в течение которых компьютер может включаться без ошибок — 10 лет (это удобнее, чем говорить “0,1 ошибка в год”), новый покупатель приходит каждые 10 минут, крупные ураганы возникают каждые 7 лет и так далее.

Путаница возникает, когда вы видите термин “затухание”, или еще хуже, “скорость затухания”, которые часто используются в экспоненциальном распределении. Затухание выражается через время (каждые 10 минут, каждые 7 лет и т.д.) и является обратной величиной параметра (λ) в распределении Пуассона. Смотрите: если у вас 3 посетителя в час, значит у вас 1 посетитель каждую треть часа.

Итак, мы можем ответить на вопрос:
Что значит “X

Это означает, что параметр Пуассона будет равен 0,25. В течение единицы времени (неважно, в минутах, часах или годах) событие происходит в среднем 0,25 раз. Переводя в термины времени — пройдет 4 часа, прежде чем событие произойдет, если за единицу времени принят 1 час.

2. Вывод плотности вероятности

Наш первый вопрос был: почему λ * e^(−λt) — это плотность вероятности времени до следующего события?

Определение экспоненциального распределения — это распределение вероятности времени *между* событиями в процессе Пуассона.

Смотрите: в период ожидания не происходит ни одного события. Другими словами, Пуассон (X=0).

1*e vLcZ5fQ5IuF0 3uhMKmwПуассон (X=0): первый этап экспоненциального распределения

Есть важная вещь, которую стоит помнить о пуассоновской плотности вероятности: период времени, в течение которого возникают пуассоновские события (X=k), составляет только одну (1) единицу времени.

Как смоделировать распределение вероятности не просто в течение одной единицы времени, а “ничего не произошло в период времени t”?

Распределение Пуассона предполагает, что события возникают независимо друг от друга. Следовательно, можно посчитать вероятность нулевого успеха в течение t единиц времени, умножив P(X=0 в единицу времени) на t раз.

Плотность вероятности — это производная от кумулятивной функции распределения вероятности.

Поскольку у нас уже есть кумулятивная функция распределения вероятности экспоненциального распределения, 1 — P(T > t), мы можем получить плотность вероятности, продифференцировав ее.

3. Отсутствие последействия

1*UXEicaTDvzz4LSMye3mjkQ

1*Kw2HrVybR9s 3npORjbjiQ

Отсутствие последействия — полезный параметр?

Рационально ли моделировать долговечность механического устройства, используя экспоненциальное распределение?

Например, если устройство уже проработало девять лет, отсутствие последействия означает, что вероятность его бесперебойной работы в следующие три года (то есть в сумме 12 лет) точно такая же, как для совершенно нового механизма.

Это уравнение кажется вам разумным?

Мне нет. Как показывает мой опыт, чем старше устройство, тем вероятнее поломка. Смоделировать этот параметр — возрастающую интенсивность отказов — можно с помощью распределения Вейбулла.

Так когда же стоит применять экспоненциальное распределение (постоянную интенсивность отказов)?

Автомобильные происшествия. Если никто не врезался в вас за последние пять часов, это не снижает и не повышает шансы попадания в аварию.

Где еще есть отсутствие последействия?

Экспоненциальное распределение — это единственное непрерывное распределение с отсутствием последействия (или распределение с постоянной интенсивностью отказов). Геометрическое распределение, его дискретный аналог, является единственным дискретным распределением с отсутствием последействия.

a) Моделирование времени ожидания

У значений экспоненциальной случайной величины есть много маленьких значений и немного крупных значений. Автобус, который вы ждете, скорее всего приедет в течение 10 минут нежели в течение 60 минут.

Используя экспоненциальное распределение, можно ответить на следующие вопросы:

1. Автобус в среднем приезжает каждые 15 минут (предположим, что время между прибытием автобусов имеет экспоненциальное распределение, значит, количество автобусов, прибывающих в течение часа имеет распределение Пуассона). И я только что пропустила автобус! Водитель был злой. Как только я пришла, он закрыл двери и уехал. Если следующий автобус не приедет в течение десяти мнут, я вызову Uber, иначе опоздаю. Какова вероятность того, что ожидание следующего автобуса займет меньше 10 минут?

2. Девяносто процентов автобусов прибывают через сколько минут после предыдущего?

3. В течение какого времени в среднем прибывают два автобуса?

b) Моделирование отказа

Раз мы можем смоделировать успешное событие (прибытие автобуса), почему бы не смоделировать отказ — время поломки продукта.

Количество часов, которое AWS оборудование способно проработать без перезагрузки, соответствует экспоненциальному распределению со средним значением 8 000 часов в год.

1. У вас нет резервного сервера, а вам нужна бесперебойная работа в течение 10 000 часов. Какова вероятность того, что вы сможете выполнить эту задачу без перезагрузки сервера?

2. Какова вероятность того, что сервер не потребует перезагрузки между 12 и 18 месяцами?

Заметьте, что иногда экспоненциальное распределение не подходит — когда интенсивность отказов изменяется в течение срока службы. Тем не менее это единственное распределение, обладающее уникальным параметром — постоянной интенсивностью отказов.

c) Моделирование времени обслуживания (Теория очередей)

Время обслуживания (например, как долго в кафе готовят мне буррито) тоже можно смоделировать как экспоненциально распределенные переменные.

Общая длина процесса — последовательность нескольких независимых задач — соответствует распределению Эрланга: распределению суммы нескольких независимых экспоненциально распределенных переменных.

5. Вкратце: связь между экспоненциальным и пуассоновским распределениями

Если число событий в единицу времени соответствует распределению Пуассона, тогда период времени между событиями соответствует экспоненциальному распределению.

Предположим, что на период времени между событиями не влияют предыдущие события (то есть они независимы), тогда число событий в единицу времени соответствует распределению Пуассона со значением λ = 1/μ.

6. Упражнение

Как оказалось, в понимании математических тем мне помогает решение задач. Попробуйте решить задания ниже.

2. Максимальное значение плотности распределения вероятности на оси y — λ. Почему?

3. X1 и X2 — независимые экспоненциальные случайные переменные со значением λ.

Какова плотность вероятности Y?
Где может быть использовано это распределение?

Источник

СОДЕРЖАНИЕ

Определения

Функция плотности вероятности

Функция плотности вероятности (pdf) экспоненциального распределения имеет вид

Кумулятивная функция распределения

Альтернативная параметризация

Характеристики

Среднее, дисперсия, моменты и медиана

220px

220px

Среднее или ожидаемое значение экспоненциально распределенной случайной величины X с параметром скорости λ определяется выражением

Без памяти

Экспоненциально распределенная случайная величина T подчиняется соотношению

Квантили

220px

Функция квантиля (обратная кумулятивная функция распределения) для Exp ( λ ) равна

Таким образом, квартилями являются:

Дивергенция Кульбака – Лейблера

Направлено Кульбак-Либлер расхождение в нац из ( «аппроксимирующих» распределение) из ( «истинного» распределения) задается е λ <\ displaystyle e ^ <\ lambda>> svgе λ 0 <\ displaystyle e ^ <\ lambda _ <0>>> svg

Максимальное распределение энтропии

Распределение минимума экспоненциальных случайных величин

также имеет экспоненциальное распределение с параметром

Индекс переменной, которая достигает минимума, распределяется согласно категориальному распределению.

Доказательство выглядит следующим образом:

Обратите внимание, что

не распределяется экспоненциально.

Совместные моменты экспоненциальной порядковой статистики iid

Это можно увидеть, применив закон полного ожидания и свойство без памяти:

X _ <(i)>= x \ подразумевает X _ <(j)>\ geq x \ right) \\ & = \ int _ ^ <\ infty>x \ left [\ operatorname \ left [X _ <(j)>\ right] + x \ right] f_ > (x) \, dx && \ left (<\ текст <по свойству без памяти>> \ right) \\ & = \ sum _ ^ <\ frac <1><(nk) \ lambda>> \ operatorname \ left [X _ <(i)>\ right] + \ operatorname \ left [X _ <(i)>^ <2>\ right]. \ End <выравнивается>>> svg

Сумма двух независимых экспоненциальных случайных величин

Энтропия этого распределения доступна в закрытой форме: если предположить (без ограничения общности), то \lambda _<2>>»> λ 1 > λ 2 <\ displaystyle \ lambda _ <1>> \ lambda _ <2>> svg\ lambda _ <2>«>

Связанные дистрибутивы

Парето (1, λ), то log ( X )

Другие связанные дистрибутивы:

Статистические выводы

Оценка параметров

Оценка максимального правдоподобия для λ строится следующим образом:

Икс ¯ знак равно 1 п ∑ я знак равно 1 п Икс я <\ displaystyle <\ overline > = <\ frac <1>> \ sum _ ^ x_ > svg

Производная логарифма функции правдоподобия:

Следовательно, оценка максимального правдоподобия для параметра скорости составляет:

λ ^ mle знак равно 1 Икс ¯ знак равно п ∑ я Икс я <\ displaystyle <\ widehat <\ lambda>> _ <\ text > = <\ frac <1><\ overline >> = <\ frac <\ sum _ x_ < я>>>> svg

Смещение равно λ ^ mle <\ displaystyle <\ widehat <\ lambda>> _ <\ text >> svg

Приближенный минимизатор ожидаемой квадратичной ошибки

Предположим, у вас есть как минимум три образца. Если мы ищем минимизатор ожидаемой среднеквадратичной ошибки (см. Также: Компромисс смещения и дисперсии ), который аналогичен оценке максимального правдоподобия (то есть мультипликативной поправке к оценке правдоподобия), мы имеем:

Информация Fisher

я ( λ ) знак равно E ⁡ [ ( ∂ ∂ λ бревно ⁡ ж ( Икс ; λ ) ) 2 | λ ] знак равно ∫ ( ∂ ∂ λ бревно ⁡ ж ( Икс ; λ ) ) 2 ж ( Икс ; λ ) d Икс <\ displaystyle <\ mathcal > (\ lambda) = \ operatorname \ left [\ left. \ left ( <\ frac <\ partial><\ partial \ lambda>> \ log f (x; \ lambda) \ right) ^ <2>\ right | \ lambda \ right] = \ int \ left ( <\ frac <\ partial><\ partial \ lambda>> \ log f (x; \ lambda) \ right) ^ <2>f (x; \ lambda) \, dx> svg

Подключение раздачи и решения дает:

Доверительные интервалы

Это приближение может быть приемлемым для образцов, содержащих не менее 15-20 элементов.

Байесовский вывод

Затем апостериорное распределение p может быть выражено через функцию правдоподобия, определенную выше, и априорную гамму:

Теперь апостериорная плотность p была указана с точностью до отсутствующей нормирующей константы. Поскольку он имеет форму гамма-PDF, его можно легко заполнить и получить:

Здесь гиперпараметр α можно интерпретировать как количество предыдущих наблюдений, а β как сумму предыдущих наблюдений. Апостериорное значение здесь:

Возникновение и приложения

Возникновение событий

В реальных сценариях предположение о постоянной скорости (или вероятности в единицу времени) редко выполняется. Например, скорость входящих телефонных звонков зависит от времени суток. Но если мы сосредоточимся на временном интервале, в течение которого скорость примерно постоянна, например, с 14 до 16 часов в рабочие дни, экспоненциальное распределение можно использовать в качестве хорошей приблизительной модели для времени до следующего телефонного звонка. Подобные предостережения применимы к следующим примерам, которые дают приблизительно экспоненциально распределенные переменные:

Экспоненциальные переменные также можно использовать для моделирования ситуаций, когда определенные события происходят с постоянной вероятностью на единицу длины, например расстояние между мутациями в цепи ДНК или между авариями на дороге.

lossless page1 260px

В гидрологии экспоненциальное распределение используется для анализа экстремальных значений таких переменных, как месячные и годовые максимальные значения суточных осадков и объемов речного стока.

Прогноз

Байесовский подход обеспечивает прогнозирующее распределение, которое учитывает неопределенность оцениваемого параметра, хотя это может в решающей степени зависеть от выбора априорного значения.

Прогностическое распределение, свободное от проблем выбора априорных значений, возникающих при субъективном байесовском подходе, является

который можно рассматривать как

Вычислительные методы

Генерация экспоненциальных переменных

Концептуально очень простой метод генерации экспоненциальных переменных основан на выборке с обратным преобразованием : для заданной случайной переменной U, взятой из равномерного распределения на единичном интервале (0, 1), переменная

Другие методы генерации экспоненциальных переменных обсуждаются Кнутом и Деврой.

Также доступен быстрый метод создания набора готовых экспоненциальных переменных без использования процедуры сортировки.

Источник

Экспоненциальное распределение и его свойства

Экспоненциальное распределение играет важную роль в задачах телекоммуникации, так как позволяет моделировать интервалы времени между наступлением событий.

Из экспоненциальных величин строятся другие важные величины, например, случайные величины, имеющие распределение Эрланга.

Мы говорим, что случайная величина image006имеет экспоненциальное (показательное) распределение, если

image002(0)

Пусть image006– время ожидания события, тогда из формулы (0) следует, что вероятность того, что это событие наступит раньше x равна image2. Этот удобный формализм позволяет описывать моменты возникновения случайных событий.

Параметр λ оценивается на основе реальных данных.

Плотность экспоненциального распределения имеет вид

image004, (1)

где λ>0 —положительная постоянная, называемая параметром экспоненциального распределения.

Заметьте, экспоненциальное распределение сосредоточено на положительной полуоси.

Экспоненциальная случайная величина принимает положительные значения.

Среднее значение image006равно image008

image010

Дисперсия image006равна image012

image014

Из формулы (0) следует:

image016

Иными словами, вероятность того, что следующее событие наступит через время больше image018, равна image020

Основные свойства экспоненциального распределения

Свойство отсутствия последействия:

Пусть image006— экспоненциальная случайная величина с плотностью вида (1).

Тогда image022(2)

Равенство (2) означает следующее.

Пусть некоторая элементарная операция (например, телефонный разговор) имеет случайную длительность image006с экспоненциальным распределением.

Пусть, далее, известно, что до момента image024данная операция продолжалась в течение t единиц времени.

Тогда остаток от момента image024до момента окончания операции имеет экспоненциальное распределение с параметром λ независимо от t.

Это важнейшее свойство экспоненциального распределения называется отсутствием последействия.

Отсутствие последействия называется также Марковским свойством.

Именно в силу этого свойства экспоненциальные модели имеют довольно простое аналитическое решение.

При малых положительных h: image027(3)

Действительно, по формуле Тейлора имеем:

image029.

Равенство (3) можно объяснить так.

Пусть в момент image024длится некоторая операция, имеющая случайную длительность с плотностью задаваемой формулой (1).

Тогда вероятность окончания данной операции в данном интервале ( t0, t0+h) равна image031.

Пусть в момент image024длятся n операций.

Рассмотрим случайные величины image033, где image035— время от момента image024до момента окончания i-ой фазы из этих операций, 1≤i≤n.

Если величины image035независимы и имеют экспоненциальное распределение с параметрами image038, 1≤i≤n, то:

а) image040имеет экспоненциальное распределение с параметром image042;

б) если известно, что image044, то не зависимо от t≥0

image046, (4)

Доказательство

image048

— свойство а) доказано.

image050image052

image054

image056a

image056b

В то же время image058(7)

Подставим выражения (6) и (7) в равенство (5), получим формулу (4).

Таким образом, утверждение б) также доказано.

Пусть выполнены те же условия, что и в формулировке предыдущего свойства.

Обозначим через image060число операций, которые закончатся в интервале ( t0, t0+h).

image062, (8)

image064, (9)

image066, (10)

image068, (11)

Доказательство. Событие ( nu) эквивалентно событию image070, откуда

image072,

т.е. справедливость формулы (8) доказана.

Событие ( nu1) противоположно событию image074, откуда

image076— получена формула (10).

Далее можно записать image078, откуда

image080

image050

— формула (9) доказана.

Наконец, image083,

откуда image085.

Подставляя в это равенство соотношения (9) и (10), найдем

image087.

Справедливость формулы (11) так же установлена.

При доказательстве формул дважды использована формула

image089.

Разумеется, следует проверить несовместимость событий image091.

В рассмотренных случаях она непосредственно очевидна.

Пусть выполнены условия предыдущего пункта и в момент окончания i-ой операции начинается одна или несколько новых операций, длительности которых независимы между собой, не зависят от ( image033) и имеют экспоненциальное распределение.

Для доказательства, в дополнении к предыдущему, остаточно заметить, что событие ( nu2) сводится к выполнению одного или конечного числа неравенств вида image099, где image101, image103— независимые экспоненциально распределенные величины.

Имеем image105,

где image107— параметры распределения image101, image103. Отсюда же следует что pnu.

Обозначим через gвремя от момента t0 до момента окончания операции.

Тогда если случайная величина image006распределена по экспоненциальному закону с параметром λ, то

1(12)

Доказательство

За время от t0 до t0+t может быть выполнено image111, image113ед. работы.

Значит, операции закончится за время, меньше t, при условии что ksia.

2.

В заключение сделаем замечание и дадим ряд задач для лучшего понимания свойств экспоненциальных величин.

Замечание

В случае дискретного времени аналогом экспоненциальной величины является геометрическая величина (случайная величина, имеющая геометрическое распределение).

Задача 1. Найти распределение максимума двух независимых экспоненциальных величин.

Задача 2. Найти распределение минимума двух независимых экспоненциальных величин.

Задача 3. Найти распределение суммы k независимых экспоненциальных величин.

Источник

Справочник по обустройству дома и дачи
Adblock
detector