[통계학] 기댓값, 분산, 표준편차, 공분산, 조건부 기댓값, 조건부 분산

 

 

기댓값(Expected Value)

 

✔ 확률변수 $X$의 확률분포가 $f(x)$일 때 $E(X)$

 

1. 이산형 : $E(X) = \sum_{모든 x_{i}}^{}x_{i}f(x_{i})$

 

2. 연속형 : $E(X) = \int_{-\infty}^{\infty} xf(x) \text{d}x$

 

 

✔ 확률변수 $X$의 확률분포가 $f(x)$일 때 $E(g(X))$

 

1. 이산형 : $E(g(X)) = \sum_{모든 x_{i}}^{}g(x_{i})f(x_{i})$

 

2. 연속형 : $E(g(X)) = \int_{-\infty}^{\infty} g(x)f(x) \text{d}x$

 

 

✔ 확률변수 $X$와 $Y$의 결합확률분포가 $f_{X, Y}(x,y)$일 때 $E(X)$

 

1. 이산형 : $E(X) = \sum_{모든 x_{i}}\sum_{모든 y_{i}}x_{i}f_{X,Y}(x_{i},y_{i})$

 

2. 연속형 : $E(X) = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xf_{X,Y}(x,y)\text{d}x \text{d}y$

 

 

✔ 기댓값의 성질 : 기댓값의 선형성

 

확률변수 $X$와 상수 $a, b$에 대하여 $E(aX+b) = aE(X) + b$

 

 

✔ 독립확률변수의 기댓값

 

확률변수 $X$와 $Y$가 서로 독립이면 $E(XY) = E(X)E(Y)$

 

c.f. 독립확률변수의 필요충분조건 : $f_{X,Y}(x,y) = f_{X}(x)f_{Y}(y)$

 

 

 

분산(Variance)과 표준편차(Standard Deviation)

 

✔ 분산

 

$Var(X) = E[(X-\mu)^2]$ (이 때 $\mu$는 $E(X)$를 의미)

 

 

✔ 표준편차

 

$\sigma = \sqrt{Var(X)}$

 

 

✔ 분산의 성질

 

1. $Var(X) = E(X^2) - \left\{{E(X)}\right\}^2$

 

2. $Var(aX+b) = a^2Var(X)$

 

 

✔ 독립확률변수의 분산

 

확률변수 $X$와 $Y$가 서로 독립이면 $Var(X+Y) = Var(X) + Var(Y)$

 

c.f. 확률변수 $X$와 $Y$가 서로 독립이 아닐 경우

$Var(X+Y)$ $= Var(X) + Var(Y) +2Cov(X, Y)$

$Var(X-Y)$ $= Var(X) + Var(Y) - 2Cov(X,Y)$

 

 

 

공분산(Covariance)

 

 

✔ 공분산

 

1. 공분산이란, 두 확률변수가 같이 변하는 정도의 측도이다.

 

2. $Cov(X, Y) = E[(X-\mu_{x})(Y-\mu_{y})]$ $= E(XY)-E(X)E(Y)$

 

 

✔ 공분산의 성질

 

1. $Cov(X, X) = Var(X)$

 

2. $Cov(aX+b, cY+d) = acCov(X,Y)$

 

 

✔ 독립확률변수의 공분산

 

확률변수 $X$와 $Y$가 서로 독립이면 $Cov(X,Y) = 0$

 

c.f. 독립확률변수의 기댓값, 분산, 공분산 정리 : 확률변수 $X$와 $Y$가 서로 독립이면

$E(XY) = E(X)E(Y)$

$Var(X+Y) = Var(X) + Var(Y)$

$Cov(X,Y) = 0$

 

 

 

 

 

조건부 기댓값(Conditional Expectation)

 

 

✔ 확률변수 $X=x$로 주어졌을 때 $Y$의 조건부 기댓값 $E(Y|X=x)$

 

1. 이산형 : $E(Y|X=x) = \sum_{모든 y_{i}} y_{i}f(y_{i}|x)$

 

2. 연속형 : $E(Y|X=x) = \int_{-\infty}^{\infty}yf(y|x)dy$

 

c.f. 조건부 기댓값 $E(Y|X=x)$는 $x$에 대한 함수이다. $x$와 $y$가 섞인 함수를 $y$에 대해 적분하면 $x$만 남기 때문이다.

 

 

✔ 조건부 기댓값의 성질 : 이중기댓값의 정리

 

$E[E(Y|X=x)] = E(Y)$

 

c.f. $Y$의 조건부 기댓값의 기댓값은 그냥 $Y$의 기댓값과 같다.

 

 

✔ 독립확률변수와 조건부 기댓값

 

확률변수 $X$와 $Y$가 독립이면

$E(Y|X=x) =E(Y)$

$E(X|Y = y) = E(X)$

 

 

 

 

조건부 분산(Conditional Variance)

 

 

✔ 확률변수 $X=x$로 주어졌을 때 $Y$의 조건부 분산

 

$Var(Y|X=x)$ $= E(Y^2|X=x) - \left\{E(Y|X=x)\right\}^2$

 

 

✔ 분산, 조건부 기댓값, 조건부 분산의 관계

 

$Var(Y)$ $= E[Var(Y|X=x)] + Var[E(Y|X=x)]$