데이터 분석 기술 블로그

체비셰프 부등식(Chebyshev Inequality)은확률 분포의 기댓값과 분산만 알면, 확률 변수가 기댓값에서 얼마나 벗어날 수 있는지를 상한으로 제시해 주는 강력한 불평등식이다.공식 확률 변수가 평균에서 멀어질수록 (큰 k)→ 그럴 확률은 더 작아진다정확한 분포를 몰라도 적용 가능→ 분산만 존재하면 사용 가능하다. 예제 즉, 평균에서 3σ 이상 벗어날 확률은 최대 11.1%

마르코프 부등식(Markov Inequality)은확률 변수의 기댓값만으로 어떤 값 이상이 될 확률의 상한을 구할 수 있는 중요한 불평등식이다. 특히 확률의 tail bound (꼬리 확률 상한)를 제공해 준다.공식 기댓값이 작을수록, 큰 값을 가질 확률은 작다는 걸 수식으로 표현  X의 평균이 2라면, X ≥1 0일 확률은 최대 2/10 = 0.22/10 = 0.2실제 확률은 이보다 작을 수 있음 → 상한(bound)이기 때문이다. 예제

단조성(monotonicity)은 확률 변수 간의 비교, 함수 적용, 확률 측도의 특성에서 중요한 역할을 한다.단조 증가함수에서의 기댓값 비교 기댓값은 순서 보존적(order-preserving)특히 단조 증가함수 f가 있을 때:확률 측도의 단조성 더 큰 집합일수록 확률이 더 크거나 같음 → 확률은 단조적으로 증가하는 함수확률 변수 열의 단조 수렴 (Monotone Convergence) → 이걸 Monotone Convergence Theorem (단조 수렴 정리)라고 한다.

정의성질

다변량 확률 벡터의 MGF 정의확률 벡터 X = (X1, X2, …, Xn)에 대해,그 모멘트 생성 함수는 다음과 같이 정의된다:각 모멘트 도출 이 도함수들을 통해 공분산, 상관, 고차 모멘트 등을 구할 수 있다.독립성의 확인 다변량 MGF가 성분별 MGF의 곱으로 분해되면 → 독립임을 의미

기댓값과 분산 기댓값은 항상 선형,분산은 독립일 때만 분리 가능분포의 형태 이항 분포 + 이항 분포 = 또 다른 이항 분포(같은 성공 확률일 때)정규 분포 + 정규 분포 = 또 다른 정규 분포포아송 분포 + 포아송 분포 = 또 다른 포아송 분포(독립이고 평균만 다를 때)컨볼루션 관점확률 밀도 함수(PDF 또는 PMF) 관점에서는,독립 확률 변수의 합의 분포는 컨볼루션으로 계산된다:  → 앞에서 배운 convolution 개념과 동일하다.

특성 함수(Characteric Function, CF)는 확률 분포를 복소수 영역에서 표현한 함수로,모멘트 생성 함수(MGF)와 비슷하지만 모든 확률 분포에 대해 항상 존재한다는 강력한 성질을 가진다. → 중심극한정리, 수렴 이론, 분포 식별 등에 핵심적이다.정의복소 지수 함수로 정의됨실수 t에 대해 항상 존재 (MGF보다 안정적)모멘트와의 관계모멘트가 존재한다면, 다음과 같은 관계가 성립한다:  중요한 성질 즉, 특성 함수가 같으면 두 분포는 완전히 같은 분포라는 뜻이다.

모멘트 생성 함수(MGF)는 확률 분포의 모든 모멘트(moment)즉, 평균, 분산, 비대칭도, 첨도 등을 수학적으로 '생성'해낼 수 있는 함수이다. 또한 확률 분포를 특정한 형태로 표현하고 특정한 성질을 분석할 때도 많이 사용된다.정의확률 변수 X의 MGF는 다음과 같이 정의된다:모멘트와의 관계MGF를 t = 0에서 미분하면 모멘트가 나온다:성질예제: 정규분포 이 식은 정규분포의 핵심적인 특징 중 하나고,MGF를 이용해 정규성 여부를 확인하거나, 확률 분포를 판별할 수도 있음