선형회귀(linear regression)-최소자승법

이글은 순수하게 다크프로그래머 님의 기계학습 중 

함수 최정확 기법정리 부분을 인용하여, 내용은 정리한 수준입니다.

http://darkpgmr.tistory.com/142

*residual 이 최소가 되는 일반적인 최소자승법

* parameter 에 linear 한 모델의 경우 아래와 같이 수식 유도 가능합니다. -> Ap

* 선형회귀(linear-regression) 경우 pseudo inverse 를 통해 특정해를 구할 수 있습니다. 

*일반적인 해를 구하는 방식으로 아래 4가지 방식에 대해서 추가 설명 드리겠습니다.

1. Gradient Descent

2. Newton-raphson

3. Gauss-Newton

4. Levenberg_marquardt