데이터 분석 기술 블로그

코시-슈바르츠 부등식(Cauchy–Schwarz Inequality)은기댓값과 분산, 공분산 계산의 기초가 되는 매우 중요한 불평등식이다.선형대수에서도 자주 등장하지만, 확률 이론에서도 핵심적으로 쓰인다.공식 (확률 변수 버전) 두 변수의 곱의 기댓값(상관도)이, 각각의 제곱 기댓값(분산 수준)의 곱의 제곱근보다 크지 않음벡터 내적의 확률 버전이 부등식은(벡터 내적 ≤ 노름 곱)이라는 선형대수의 공식과 완전히 같은 구조이다.→ 확률 이론에서는 내적 = 기대값, 노름 = 제곱기댓값의 제곱근으로 해석동등 조건 즉, X = aY 같은 형태일 때만 부등식이 등호가 됨활용상관계수 정의에서 증명에 사용:불확실성 하한 증명회귀 분석의 수학적 기반내적 공간 성질 이해예제 → 두 값이 같음 → X, Y는 선형 관계

체비셰프 부등식(Chebyshev Inequality)은확률 분포의 기댓값과 분산만 알면, 확률 변수가 기댓값에서 얼마나 벗어날 수 있는지를 상한으로 제시해 주는 강력한 불평등식이다.공식 확률 변수가 평균에서 멀어질수록 (큰 k)→ 그럴 확률은 더 작아진다정확한 분포를 몰라도 적용 가능→ 분산만 존재하면 사용 가능하다. 예제 즉, 평균에서 3σ 이상 벗어날 확률은 최대 11.1%

마르코프 부등식(Markov Inequality)은확률 변수의 기댓값만으로 어떤 값 이상이 될 확률의 상한을 구할 수 있는 중요한 불평등식이다. 특히 확률의 tail bound (꼬리 확률 상한)를 제공해 준다.공식 기댓값이 작을수록, 큰 값을 가질 확률은 작다는 걸 수식으로 표현  X의 평균이 2라면, X ≥1 0일 확률은 최대 2/10 = 0.22/10 = 0.2실제 확률은 이보다 작을 수 있음 → 상한(bound)이기 때문이다. 예제

단조성(monotonicity)은 확률 변수 간의 비교, 함수 적용, 확률 측도의 특성에서 중요한 역할을 한다.단조 증가함수에서의 기댓값 비교 기댓값은 순서 보존적(order-preserving)특히 단조 증가함수 f가 있을 때:확률 측도의 단조성 더 큰 집합일수록 확률이 더 크거나 같음 → 확률은 단조적으로 증가하는 함수확률 변수 열의 단조 수렴 (Monotone Convergence) → 이걸 Monotone Convergence Theorem (단조 수렴 정리)라고 한다.

정의성질

다변량 확률 벡터의 MGF 정의확률 벡터 X = (X1, X2, …, Xn)에 대해,그 모멘트 생성 함수는 다음과 같이 정의된다:각 모멘트 도출 이 도함수들을 통해 공분산, 상관, 고차 모멘트 등을 구할 수 있다.독립성의 확인 다변량 MGF가 성분별 MGF의 곱으로 분해되면 → 독립임을 의미

기댓값과 분산 기댓값은 항상 선형,분산은 독립일 때만 분리 가능분포의 형태 이항 분포 + 이항 분포 = 또 다른 이항 분포(같은 성공 확률일 때)정규 분포 + 정규 분포 = 또 다른 정규 분포포아송 분포 + 포아송 분포 = 또 다른 포아송 분포(독립이고 평균만 다를 때)컨볼루션 관점확률 밀도 함수(PDF 또는 PMF) 관점에서는,독립 확률 변수의 합의 분포는 컨볼루션으로 계산된다:  → 앞에서 배운 convolution 개념과 동일하다.

특성 함수(Characteric Function, CF)는 확률 분포를 복소수 영역에서 표현한 함수로,모멘트 생성 함수(MGF)와 비슷하지만 모든 확률 분포에 대해 항상 존재한다는 강력한 성질을 가진다. → 중심극한정리, 수렴 이론, 분포 식별 등에 핵심적이다.정의복소 지수 함수로 정의됨실수 t에 대해 항상 존재 (MGF보다 안정적)모멘트와의 관계모멘트가 존재한다면, 다음과 같은 관계가 성립한다:  중요한 성질 즉, 특성 함수가 같으면 두 분포는 완전히 같은 분포라는 뜻이다.