태그: 차원 축소

선형 판별 분석 (Linear Discriminant Analysis, LDA) #

선형 판별 분석(Linear Discriminant Analysis, LDA)은 차원 축소와 분류를 동시에 수행할 수 있는 통계적 기법이다. 클래스 간의 분산은 최대화하고 클래스 내의 분산은 최소화하는 방향으로 데이터를 투영하여 최적의 판별 축을 찾는다. LDA는 1936년 로널드 피셔(Ronald Fisher)에 의해 개발되어 “피셔의 선형 판별"이라고도 불린다.

LDA의 기본 개념 #

1. 목적 #

• 클래스 분리: 서로 다른 클래스를 최대한 멀리 떨어뜨림
• 클래스 집중: 같은 클래스 내의 데이터는 가능한 한 가깝게 모음
• 차원 축소: 분류에 유용한 저차원 공간으로 데이터 투영

2. 기본 가정 #

• 정규분포: 각 클래스의 데이터가 다변량 정규분포를 따름
• 동일한 공분산: 모든 클래스가 같은 공분산 행렬을 가짐
• 선형 분리: 클래스들이 선형적으로 분리 가능

LDA의 수학적 원리 #

1. 클래스 간 분산과 클래스 내 분산 #

클래스 내 분산 행렬 (Within-class scatter matrix):