태그: 베이즈 정리
이 태그가 포함된 글들입니다. (총 1개)
나이브 베이즈
나이브 베이즈 (Naive Bayes) #
나이브 베이즈(Naive Bayes)는 베이즈 정리(Bayes’ theorem)를 기반으로 하는 확률적 분류 알고리즘이다. “나이브(Naive)“라는 이름이 붙은 이유는 모든 특성들이 서로 독립적이라는 강한 가정을 하기 때문이다. 이 가정이 현실적으로는 맞지 않는 경우가 많지만, 실제로는 놀라울 정도로 좋은 성능을 보여주는 알고리즘이다.
베이즈 정리 (Bayes’ Theorem) #
나이브 베이즈의 핵심은 베이즈 정리이다:
$$P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}$$분류 문제에 적용하면:
$$P(C_k|X) = \frac{P(X|C_k) \cdot P(C_k)}{P(X)}$$여기서:
- $P(C_k|X)$: 특성 X가 주어졌을 때 클래스 $C_k$에 속할 후확률(posterior probability)
- $P(X|C_k)$: 클래스 $C_k$가 주어졌을 때 특성 X가 나타날 우도(likelihood)
- $P(C_k)$: 클래스 $C_k$의 사전확률(prior probability)
- $P(X)$: 특성 X의 주변확률(marginal probability)
나이브 가정 (Naive Assumption) #
나이브 베이즈는 모든 특성들이 조건부 독립이라고 가정한다: