코드 한줄

똑똑한 후배에게 Gradient descent 를 설명해 주었더니, learning rate 구현을 빼먹어서 error function 이 발산하는 쪽으로 가버렸네요.. 최적화 방법 중에 그럼, learning rate 없이 할 수 있는 방법을 없을 까요? *Gauss-Newton Method 설명을 위해서 Newton's Method 에 대한 설명이 필수적이라, 먼저 간략히 설명 뒤에 Gauss-Newton Method에 진행하겠습니다. Newton's methodWikipedia : https://en.wikipedia.org/wiki/Newton%27s_method - 임의의 시작점에서 함수의 미분을 이용하여 1차 식으로 근사하여 0과 만나는 다음의 x 값으로 x를 업데이트 진행하는 방식입니다. 아..

Gradient Descent 방법 중 업데이트 시 데이터를 사용하는 기준에 따른 분류 Batch Gradient DescentStochastic Gradient DescentMini-batch Gradient Descent $$ \large \begin{matrix} \\ \vec p_{t+1} = \vec p_t - \lambda \nabla E(\vec p_t) \tag {1} \end{matrix} \\ \\ \lambda \text{ : learning rate } $$ 우선 Batch 경우는 $\vec p_{t+1}$ 업데이트를 할때 주어진 학습 데이터를 전부 사용하여 진행하기 때문에 방향에 대해서는 정확할 수 있지만, 계산량 면에서는 너무 많을 수 있습니다. 다음 경우로 Stochastic ..

써먹을 일 없다고 내려두었던 내용들이 누군가에게 도움이 된다면, Linear regression 에 대해서는 closed-form 인 pseudo inverse 존재하기 때문에 대부분은 gradient descent 방식을 시도 조차 하지 않습니다. 하지만, nonlinear 로 넘어가면 꽤나 간단하면서 직관적인 최적화 방법이기 때문에 많이 사용하고 있습니다. 제가 이번에 다룰 내용은 polynomial 함수 (y = ax^2 + bx + c), 2차 함수에 대해서 gradient descent 방법을 통해 최적화 하는 방법을 다루도록 하겠습니다. 시작에 앞서 기초적인 내용과 수식을 설명 드리겠습니다. 수식 전개에 앞서서 저랑 약속 한개만 할께요, 모든 벡터는 열벡터 이고 위와 같이 열벡터를 볼드체로 표..

요즘은 어느 곳이든 머신 러닝이라는 말을 많이 사용합니다.더 나아가 딥러닝이란 말도 사용하는데 정말 머신러닝이 무엇을까요? 대부분 사람은 아래 x와 그 결과가 나온 표를 보고는 f(10) 이 무엇이 될지 단박에 알아 냅니다.어떻게 이런 일이 일어나고 있는 것일까요? 1. 입력과 출력의 데이터를 쭈욱 본다.2. 출력에 연관된 함수(모델)을 몇가지 생각해본다.3. 잘 들어맞는 함수를 찾아낸다.4. 그 함수에 최종 10 값을 넣어 그 결과를 도출한다. 위 예를 가지고 용어를 정리해보도록 하겠습니다.정답지가 주어져 있는 경우를 supervised 그렇지 않은 경우를 unsupervised 라고 합니다. unsupervised 우선 논외로 하고 위에처럼 정답지 데이터가 주어진 경우를 머신러닝에서는 supervis..

Web 을 하기에 여러종류의 있지만, Java 계열의 spring boot 에 대해서 포스트를 진행하도록 하겠습니다.우선 가장 중요한 것은 개발 환경을 잘 구성하는 것 입니다. 1. Eclipse.org 접속 - Download 2. Download Packages - 설치파일로 받고 싶은신 분은 바로 Download 64 Bit 로 설치하시면 됩니다.(제 경우는 binary 실행파일로 설치하고 하는 경우 입니다.) 3. eclipse-jee-neon-*.zip 파일을 다운로드 하여 적당한 곳에 압축을 풀고 eclipse 실행 4. eclipse market place 에서 Spring 으로 검색하셔서 Spring IDE 최신 버전을 인스톨5. New Project 에서 Spring Spring Star..