태그: CatBoost

그래디언트 부스팅 (Gradient Boosting) #

그래디언트 부스팅(Gradient Boosting)은 약한 학습기들을 순차적으로 학습시켜 강한 학습기를 만드는 앙상블 기법이다. 각 단계에서 이전 모델들의 오차를 줄이는 방향으로 새로운 모델을 학습하며, 손실 함수의 기울기(gradient)를 이용해 최적화를 수행한다. 현재 캐글을 비롯한 많은 데이터 과학 경진대회에서 가장 널리 사용되는 알고리즘 중 하나이다.

그래디언트 부스팅의 기본 원리 #

1. 순차적 학습 #

• 각 모델이 이전 모델들의 잔차(residual)를 학습
• 매 단계마다 예측 성능이 점진적으로 향상
• 편향(bias)을 효과적으로 감소시킴

2. 기울기 기반 최적화 #

손실 함수 L(y, F(x))에 대해 기울기를 계산하고, 이 기울기를 새로운 모델의 타겟으로 사용: