확률과정 - Stochastic process #
정의 #
확률과정(Stochastic Process)은 시간에 따라 변화하는 확률변수들의 집합이다. 수학적으로는 확률공간 (Ω, F, P) 위에서 정의된 함수 X(t, ω)로 표현되며, 여기서 t는 시간 매개변수, ω는 표본공간의 원소다.
형식적으로 확률과정 {X(t), t ∈ T}는 다음과 같이 정의된다:
- X: T × Ω → S
- T: 시간 집합 (index set)
- S: 상태공간 (state space)
- Ω: 표본공간
기본 개념 #
1. 상태공간 (State Space) #
확률과정이 취할 수 있는 모든 가능한 값들의 집합이다.
분류:
- 이산 상태공간: S = {0, 1, 2, …} 또는 유한집합
- 예: 큐의 고객 수, 주식 가격의 틱 단위 변화
- 연속 상태공간: S = ℝ 또는 ℝ^n
- 예: 온도, 주식 가격, 위치
2. 시간 매개변수 (Time Parameter) #
시간의 흐름을 나타내는 매개변수다.
분류:
- 이산시간: T = {0, 1, 2, …} 또는 T = ℤ
- 표기: {X_n, n ≥ 0} 또는 {X_n}_{n∈ℤ}
- 예: 매일의 주가, 매년 인구수
- 연속시간: T = [0, ∞) 또는 T = ℝ
- 표기: {X(t), t ≥ 0} 또는 {X(t)}_{t∈ℝ}
- 예: 브라운 운동, 방사능 붕괴
3. 궤적 (Sample Path) #
고정된 ω ∈ Ω에 대해 시간 t의 함수로서의 X(t, ω)를 말한다. 이는 확률과정의 한 실현(realization)이며, 실제 관측되는 데이터에 해당한다.
궤적의 성질:
- 연속성: 거의 모든 궤적이 연속인가?
- 단조성: 증가하거나 감소하는 성질
- 주기성: 일정한 패턴의 반복
4. 유한차원 분포 (Finite-dimensional Distributions) #
임의의 시점들 t₁ < t₂ < … < t_n에 대한 결합분포 F(x₁, …, x_n; t₁, …, t_n)를 말한다. 콜모고로프의 확장정리에 의해 이들이 확률과정을 완전히 결정한다.
주요 유형 #
1. 마르코프 과정 (Markov Process) #
**무기억성(Memoryless Property)**을 만족하는 확률과정이다.
수학적 정의: P(X(t+s) ∈ A | ℱ_s) = P(X(t+s) ∈ A | X(s))
여기서 ℱ_s는 시간 s까지의 정보를 나타내는 σ-field다.
마르코프 연쇄 (Markov Chain) 이산시간, 이산상태 마르코프 과정이다.
- 전이확률: P_ij(n) = P(X_{n+1} = j | X_n = i)
- 전이행렬: P = (P_ij)
- Chapman-Kolmogorov 방정식: P^{(n+m)} = P^{(n)} · P^{(m)}
예시:
- 날씨 모델: 맑음 → 흐림 → 비
- 주식 가격의 상승/하락
- DNA 서열 분석
2. 브라운 운동 (Brownian Motion) #
연속시간, 연속상태 확률과정으로 물리학의 브라운 입자 운동을 모델링한다.
표준 브라운 운동의 성질:
- W(0) = 0 (거의 확실히)
- 독립증분: 겹치지 않는 구간에서의 증분들이 독립
- 정상증분: W(t+h) - W(t) ~ N(0, h)
- 연속 궤적: 거의 모든 궤적이 연속
수학적 성질:
- E[W(t)] = 0
- Var(W(t)) = t
- Cov(W(s), W(t)) = min(s, t)
기하 브라운 운동: S(t) = S(0)exp((μ - σ²/2)t + σW(t))
이는 Black-Scholes 모델의 기초가 된다.
3. 포아송 과정 (Poisson Process) #
단위시간당 평균 λ번 발생하는 사건들의 계수과정이다.
정의: {N(t), t ≥ 0}가 강도 λ인 포아송 과정이라면:
- N(0) = 0
- 독립증분: 겹치지 않는 구간에서의 증분들이 독립
- 정상증분: N(t+h) - N(t) ~ Poisson(λh)
성질:
- E[N(t)] = λt
- Var(N(t)] = λt
- 사건 간 도착시간은 지수분포 Exp(λ)를 따름
복합 포아송 과정: X(t) = Σ_{i=1}^{N(t)} Y_i
여기서 Y_i는 독립동일분포를 따르는 확률변수다.
응용:
- 전화 교환기의 호출 도착
- 보험 청구 발생
- 지진 발생 모델
4. 랜덤 워크 (Random Walk) #
이산시간 확률과정으로 입자의 무작위 이동을 모델링한다.
단순 랜덤 워크: S_n = X_1 + X_2 + … + X_n
여기서 X_i는 독립이고 P(X_i = 1) = p, P(X_i = -1) = 1-p다.
성질:
- E[S_n] = n(2p - 1)
- Var(S_n) = 4np(1-p)
대칭 랜덤 워크 (p = 1/2):
- 재귀적(recurrent): 원점으로 무한히 많이 돌아옴
- E[S_n] = 0, Var(S_n) = n
연속시간 극한: 적절한 스케일링 하에서 브라운 운동으로 수렴한다 (Donsker’s theorem).
5. 레비 과정 (Lévy Process) #
독립정상증분을 갖는 연속시간 확률과정이다.
특성:
- 레비-키친 공식으로 특성함수가 결정됨
- 점프를 허용하는 일반화된 브라운 운동
- 무한분해가능분포와 일대일 대응
중요한 성질 #
1. 정상성 (Stationarity) #
시간이동에 대한 불변성을 나타낸다.
강정상성 (Strict Stationarity): 모든 n, h에 대해 (X(t₁), …, X(t_n))과 (X(t₁+h), …, X(t_n+h))가 같은 분포를 갖는다.
약정상성 (Weak Stationarity):
- E[X(t)] = μ (상수)
- Cov(X(s), X(t)) = γ(|t-s|) (시간차에만 의존)
자기상관함수: ρ(h) = γ(h)/γ(0)
2. 에르고딕성 (Ergodicity) #
시간평균이 앙상블평균과 같아지는 성질이다.
평균 에르고딕성: lim_{T→∞} (1/T)∫₀ᵀ X(t)dt = E[X(0)] (거의 확실히)
응용:
- 장기 예측의 이론적 근거
- 몬테카를로 시뮬레이션의 정당화
3. 마르틴게일 (Martingale) #
공정한 게임을 수학적으로 모델링한 개념이다.
정의: E[X(t) | ℱ_s] = X(s) (s ≤ t)
변형:
- 상마르틴게일: E[X(t) | ℱ_s] ≥ X(s)
- 하마르틴게일: E[X(t) | ℱ_s] ≤ X(s)
중요한 정리:
- 도브 분해정리: 모든 적분가능한 과정은 마르틴게일과 예측가능한 과정의 합으로 분해
- 선택정리: 마르틴게일의 정지시간에서의 값
4. 갱신과정 (Renewal Process) #
독립동일분포를 따르는 양의 확률변수들의 부분합으로 정의되는 과정이다.
정의: N(t) = max{n : S_n ≤ t}
여기서 S_n = X₁ + … + X_n이고 X_i는 독립동일분포다.
갱신함수: m(t) = E[N(t)] = Σ_{n=1}^∞ F^{(n)}(t)
갱신정리: lim_{t→∞} m(t)/t = 1/μ (μ = E[X₁])
응용 분야 #
1. 금융 (Mathematical Finance) #
Black-Scholes 모델: dS(t) = μS(t)dt + σS(t)dW(t)
옵션 가격 결정:
- 유럽형 콜옵션: C = S₀Φ(d₁) - Ke^{-rT}Φ(d₂)
- 리스크 중립 측도 하에서의 기댓값
포트폴리오 최적화:
- 마르코위츠 평균-분산 모델
- 동적 포트폴리오 관리
2. 큐잉 이론 (Queueing Theory) #
M/M/1 큐:
- 도착: 포아송 과정 (강도 λ)
- 서비스: 지수분포 (강도 μ)
- 정상상태 확률: π_n = ρⁿ(1-ρ), ρ = λ/μ
성능 지표:
- 평균 대기시간: W = ρ/(μ(1-ρ))
- 평균 큐 길이: L = ρ/(1-ρ)
3. 신뢰성 이론 (Reliability Theory) #
생존함수: S(t) = P(T > t) = 1 - F(t)
위험률 함수: h(t) = f(t)/S(t) = -d/dt log S(t)
갱신과정 응용:
- 부품 교체 정책
- 예방정비 최적화
4. 생물학 및 의학 #
인구 동역학:
- 출생-사망 과정
- 전염병 확산 모델 (SIR 모델)
유전학:
- Wright-Fisher 모델
- 돌연변이와 선택의 확률모델
5. 물리학 #
확산 과정: ∂u/∂t = D∇²u (확산방정식)
통계역학:
- 랑주뱅 방정식
- 오른슈타인-울렌벡 과정
수학적 도구 #
1. 이토 적분 (Itô Integral) #
브라운 운동에 대한 확률적분이다.
정의: ∫₀ᵗ f(s)dW(s) = lim_{n→∞} Σ_{i=0}^{n-1} f(t_i)(W(t_{i+1}) - W(t_i))
이토 공식: df(X(t)) = f’(X(t))dX(t) + (1/2)f’’(X(t))(dX(t))²
2. 확률미분방정식 (SDE) #
일반형: dX(t) = μ(t, X(t))dt + σ(t, X(t))dW(t)
해의 존재성과 유일성:
- 립시츠 조건과 선형성장 조건 하에서 보장
오른슈타인-울렌벡 과정: dX(t) = -θX(t)dt + σdW(t)
해: X(t) = X(0)e^{-θt} + σ∫₀ᵗ e^{-θ(t-s)}dW(s)
3. 생성함수와 특성함수 #
확률생성함수: G_X(s) = E[s^X] = Σ_{k=0}^∞ P(X=k)s^k
특성함수: φ_X(t) = E[e^{itX}] = ∫ e^{itx}dF(x)
응용:
- 합성곱의 계산
- 중심극한정리의 증명
- 분포의 수렴성 연구
4. 스펙트럴 분석 #
자기공분산함수의 푸리에 변환: f(ω) = (1/2π)∫_{-∞}^∞ γ(h)e^{-iωh}dh
스펙트럴 밀도: 정상과정의 주파수 영역 특성을 나타낸다.
고급 주제 #
1. 점과정 (Point Process) #
정의: 무작위로 발생하는 사건들의 시점을 모델링하는 확률과정이다.
강도 측도: Λ(A) = E[N(A)]
호킨스 과정: λ(t) = μ + Σ_{t_i<t} α(t-t_i)
자기흥분성을 갖는 점과정으로 지진, 금융시장의 거래 등을 모델링한다.
2. 분수 브라운 운동 (Fractional Brownian Motion) #
정의: B_H(t) = (1/Γ(H+1/2))∫_{-∞}^t [(t-s)^{H-1/2} - (-s)^{H-1/2}]dW(s)
허스트 지수 H ∈ (0,1):
- H = 1/2: 표준 브라운 운동
- H > 1/2: 장기 의존성 (persistent)
- H < 1/2: 반지속성 (anti-persistent)
3. 확률편미분방정식 (SPDE) #
확률적 열방정식: ∂u/∂t = Δu + σ(u)Ẇ(t,x)
여기서 Ẇ는 시공간 백색잡음이다.
수치적 방법 #
1. 몬테카를로 시뮬레이션 #
브라운 운동 시뮬레이션: W(t_{i+1}) = W(t_i) + √(Δt)Z_i
여기서 Z_i ~ N(0,1)이다.
2. 오일러-마루야마 방법 #
SDE의 수치해: X_{n+1} = X_n + μ(t_n, X_n)Δt + σ(t_n, X_n)ΔW_n
3. 밀스타인 방법 #
더 높은 차수의 정확도를 갖는 수치해법이다.
참고문헌 #
기초 교재:
- Ross, S. M. (2014). Introduction to Probability Models
- Karlin, S., & Taylor, H. M. (1975). A First Course in Stochastic Processes
- Grimmett, G., & Stirzaker, D. (2001). Probability and Random Processes
고급 교재:
- Øksendal, B. (2003). Stochastic Differential Equations
- Revuz, D., & Yor, M. (1999). Continuous Martingales and Brownian Motion
- Kallenberg, O. (2002). Foundations of Modern Probability
응용 분야:
- Shreve, S. E. (2004). Stochastic Calculus for Finance
- Asmussen, S. (2003). Applied Probability and Queues
- Durrett, R. (2008). Probability Models for DNA Sequence Evolution