2wnswoo 님의 블로그

RNN 모델의 핵심은 루프가 있다"라는 것이다.그 루프를 펼쳐보면, 히든 투 히든 스테이트로 연결고리가 있다.Norm선형대수학에서 놈은 벡터의 크기( Magnitude ) 또는 길이 ( length )를 측정하는 방법이다. 놈은 크게 Vector norm 과 Matrix norm으로 나눌 수 있고 L1, L2, Frobenius norm 등 여러가지 계산방법에 따라 어떻게 정의 하느냐에 따라 그 값이 달라진다. 따라서, 놈을 다룰때는 어떤 norm인지 명확히 제시해야한다. L1 norm ( 맨하탄 놈 )L2 norm ( 유클리드 놈 ) = 원점( 0,0 )에서 떨어진 점의 거리 공식이다.Gradient Clipping딥러닝에서 역전파( Backpropagation ) 시 계산된 gradient ( 기울기..

1D vector의 의미 : [1, 2, 3, 4, 5] > 이것은 1D vector, Dimension[[1,2,3], [4,5,6]] 2D vector > 행렬loss의 의미 : MSE에서는, loss = (예측값 - 실제값)^2 # Mean Squared ErrorValidation test : Traning Data의 일부를 데이터 검증하는데 활용하겠다는 의미하이퍼파라미터 : 머신러닝 모델이 학습되기전 사용자가 직접 설정해줘야 하는 값, 모델이 아닌 사람이 정해주는 값batch : 데이터셋에서 한 번 훈련할 때 몇개를 모델에 넣어학습시킬거냐? Ex. Batch 64 > 64개 가져오겠다Activation Function에서 Relu 가장 많이 사용비선형성 부여가 핵심 Bias 가 있어야 기울..

대부분의 딥러닝 기법은 인공신경망을 사용인공신경망은 여러 개의 Hidden Layer를 가지고 있음데이터에서 수동으로 특징을 추출하지 않고, 학습을 통해 적절한 특징을 찾을 수 있는 능력을 학습DNN에서 Hidden Layer 수가 많을수록 고차원의 feature 특징 학습이 가능해짐그러나 Non-Linearlity 제공을 하지 않으면 의미가 없음. 고차원 feature 특징 학습이 불가능함따라서 각 Hidden Layer에 비선형성 부여위한 Activation Function 들어가야함 Activation 함수는 "비선형 부여" 반드시 기억하자Hidden Layer 많이 쌓을 때 고차원 feature 학습 위해서 비선형 부여해야 한다는 것도 Perceptron은 이진 분류( Binary Classifi..

Process of the start and advancement of Neural Network1. 1943 / 맥컬럭-피츠 모델( 신경망을 논리회로 모델링 )  - 각 노드 뉴런을 나타냄, 신호 전달 시 0,1로 전달하여 논리 회로로 설명2. 1949 / 도날드 헵이 뉴런 간 신경 강도 강화 규칙 제시  - 이후, 노드 간 연결 강도 모델링에 영향3. 1957 / 로젠블럿의 단층 퍼셉트론( 마크1 퍼셉트론 )  - 다수의 아날로그 신호 연결망으로 일부 문자를 구별하고 인식4. 1969 / '퍼셉트론즈' 저서에서 한계 제시  - 인공지능의 아버지라고 불리는 MIT 민즈키 교수의 저서  - XOR과 같은 비선형 분리 불가 한계 제시5. 1984 / 다층 퍼셉트론, 역전파 알고리즘에 의해 재부흥  - 1~..

Components- Two input nodes- One hidden node- One output node

--    --

Genarative Adversarial Network:structure which two neural networks learn by competing each other Two components of the GAN  - Generator : Role which generates new data , 무작위 노이즈를 입력받아 실제 데이터와 유사한 데이터를 만듦  - Discriminator : The role that segments real data from data made by the generator and judges whether the data created by the generator is real or fake. 1. Overview of Generative Adverserial Ne..