코드 한줄

■ Degradation 문제 Deep Residual Learning for Image Recognition 논문을 보면 시작은 56-layer를 사용하면 이론적으로 더 error 가 낮아야 하지만, 20-layer 보다 더 높은 값을 나타내고 있습니다. 이는 다시말하면 layer가 깊어질수록 overfitting 의 문제가 아닌, training error 가 증가한다는 말로 네트워크가 학습이 잘 진행이 되지 않는다는 것을 의미합니다. ■ Shortcut connection (skip connection) Degradation 문제를 해결하기 위해 논문에서 제안한 방법이 shutcut connection 이란 방법으로 Gradient 를 유지할 수 있도록 shorcut을 만든 다는 것이 핵심입니다. ..

asyncio 와 asiohttp 에 대한 자세한 내용은 구글을 검색을 통해 얻을 수 있습니다. single thread 를 활용한 비동기 프로그래밍 이라고 생각하시면 될 것 같습니다. I/O Bound 와 CPU Bound 라는 개념 또한 나오는데 Synchronous(동기) 방식을 사용하면 I/O Bound 성능에 따라서 프로그램의 속도에 아주 큰 영향을 미치게 됩니다. (asyncio 에 대해서 추후 정리하도록 하겠습니다.) 동기 방식을 이용하여 간단히 네이버 금융을 통해서 삼성전자의 주식을 50페이지 정도 조회하게 되면 1.797 s 의 시간이 소요 됩니다. import requests import time url = 'https://finance.naver.com/item/sise_day.nhn..

ML 과 DL 에서 feature selection 을 이용하는 알고리즘과 해당 내용에 대해서 써볼 예정입니다. Autoencoder Random forest PCA Machine Learning - Filter Method (통계 테스트) - Wrapper Method (Forward Selection, Backward Elimination, Recursive Feature Elimination) - Embedded Method (LASSO, RIDGE) [참고] https://sherry-data.tistory.com/12

위 책을 읽고 코드로 구현하기에 적합하도록 수식을 변경하여 정리했습니다. keras, tensorflow 등의 라이브러리 없이 numpy 행렬 연산을 통해 직접 feed forward, back propagation 을 구현하여 학습을 할 수 있도록 코드를 구현했습니다. Perceptron 다수의 입력을 받아서 모두 더한 뒤 특정한 함수를 통과시켜 얻은 결과는 아래와 같이 정리할 수 있습니다. $ u = \sum_{i=1}^{3}{w_i \cdot a_i} + b $ $ z = f(u) $ f : activation function Multiple Layer Perceptron ■ 다층 layer를 가지는 퍼셉트론을 도식화 하면 아래와 같은 그림으로 표현 가능합니다. 우선 진행에 앞서 혼동이 되지 않도록..

* Variational Autoencoder 생성 모델 중 VAE 정리 진행 중 (영상 대신 1d 시그널 생성 모델) # coding: utf-8 # In[1]: import os import keras import numpy as np import matplotlib.pyplot as plt import tensorflow as tf # In[2]: def sinosoidal(v): fix_wave = np.arange(100) return (fix_wave**0.2)*np.sin(0.3*fix_wave + v) + v # In[3]: spectrum_y = np.random.normal(size=(1000,1),scale= 0.5) spectrum_x = np.vstack([sinosoidal(i[..