L1, L2정규화

정규화

일반적으로 선형회귀를 구현해보면 과소적합(underfit) 과 과적합(overfit)을 마주칠 수 있다.
과소적합은 분산이 낮고 편향이 높아

가설함수가 너무 간단해 데이터를 설명하기 부족한 경우,
과적합은 분산이 높고 편향이 낮아 가설함수가 너무 복잡해

test data에서의 일관성이 없는 경우이다.

 

과소적합은 다항회귀등과 같이 복잡한 모델을 써서 방지할 수 있고
과적합은 정규화를 사용해 줄 수 있다.
# 다항회귀에서 항변환을 하면서 헷갈렸던 점을 적어보면

속성이 6개라고 6차항 변환을 해주는 게 아니고 차수는 우리가 정해줄 수 있다.

 

 

여기서 정규화는

L1 (Lasso)
L2 (Ridge) 모델이 있고 세타값을 가설함수에 추가한 형태이다.

L1 regularization

L1 은 절대값을 취해준 형태로 보통 속성을 없애주는 방식이다.

L2 regularization

L2는 제곱을 해준 형태로 값을 줄여주는 방식이다.