태그: 확률적 분류

나이브 베이즈 (Naive Bayes) #

나이브 베이즈(Naive Bayes)는 베이즈 정리(Bayes’ theorem)를 기반으로 하는 확률적 분류 알고리즘이다. “나이브(Naive)“라는 이름이 붙은 이유는 모든 특성들이 서로 독립적이라는 강한 가정을 하기 때문이다. 이 가정이 현실적으로는 맞지 않는 경우가 많지만, 실제로는 놀라울 정도로 좋은 성능을 보여주는 알고리즘이다.

베이즈 정리 (Bayes’ Theorem) #

나이브 베이즈의 핵심은 베이즈 정리이다:

분류 문제에 적용하면:

여기서:

• $P(C_k|X)$: 특성 X가 주어졌을 때 클래스 $C_k$에 속할 후확률(posterior probability)
• $P(X|C_k)$: 클래스 $C_k$가 주어졌을 때 특성 X가 나타날 우도(likelihood)
• $P(C_k)$: 클래스 $C_k$의 사전확률(prior probability)
• $P(X)$: 특성 X의 주변확률(marginal probability)

나이브 가정 (Naive Assumption) #

나이브 베이즈는 모든 특성들이 조건부 독립이라고 가정한다:

로지스틱 회귀 (Logistic Regression) #

로지스틱 회귀(Logistic Regression)는 선형 회귀를 분류 문제에 적용할 수 있도록 확장한 통계적 기계학습 알고리즘이다. 이름에 “회귀"가 들어있지만 실제로는 분류 알고리즘으로, 시그모이드 함수를 사용하여 입력 데이터가 특정 클래스에 속할 확률을 예측한다.

로지스틱 회귀의 기본 개념 #

로지스틱 회귀는 선형 회귀의 출력값을 0과 1 사이의 확률값으로 변환하여 분류 문제를 해결한다. 핵심은 시그모이드(sigmoid) 함수 또는 로지스틱 함수를 사용하는 것이다.

시그모이드 함수 #

여기서 z는 선형 결합식이다: