정규방정식(Normal equation)

정규방정식

최소 제곱법에 의해 추정값을 얻기 위한 연립방정식 -국어사전-

우리는 단순선형회귀 또는 다중선형회귀에서 경사하강을 통해 최적값을 찾아낼 수 있었다.
하지만 선형회귀에서는 정규방정식이라는 다른 방법이 존재한다.

간단하게 말하면 미분값이 0인 지점을 바로 찾는 방법이다.

이러한 정규방정식의 해는 행렬로 아래 공식이 유도된다.

일반적으로 정규방정식은 데이터가 많아지면 연산이 많아지기 때문에

각자의 장단점을 파악하여 데이터가 많으면 경사하강을 사용하는 것이 좋다.

 

Convex 함수

선형회귀는 손실함수가 아래로 볼록한 Convex 함수였기 때문에

경사하강과 정규방정식이 가능할 수 있었다.