Techbrad

딥러닝(DeepLearning)이란? 딥러닝 주제 중에 자연어처리 등 코딩으로 학습을 위주로 하면서 경사하강법, 로스 등 적용되는 원리에 대해 많이 생각해본 적이 없었다. 이번 대학원 강의 수업은 딥러닝의 원리를 파악하는데 techbrad.tistory.com 이전 글에서 딥러닝이란 인공 신경망을 사용해서 데이터를 가장 잘 표현하는 weight를 구하는 것이라는 것을 익혔다. weight를 구하기 위해서 실제 값과 예측 값의 차이를 구한 손실 (Loss)를 활용하는 것이다. 근데 이게 직관적으로 와닿진 않는다. 손실은 x.xxxx와 같이 소수점으로 표현이 될텐데 이걸로 가중치를 어떻게 업데이트 할까? 감이 안잡힌다... 일단 먼저 Pytorch 학습 코드를 좀 봐보자. outputs = Model(ima..

딥러닝 주제 중에 자연어처리 등 코딩으로 학습을 위주로 하면서 경사하강법, 로스 등 적용되는 원리에 대해 많이 생각해본 적이 없었다. 이번 대학원 강의 수업은 딥러닝의 원리를 파악하는데 많은 도움이 되었다. 딥러닝 목표는 데이터를 입력했을때 출력값에 대해 예상 값과 실제 값과의 차이를 최소화하는 학습 방법? 이다. 굉장히 단순해 보인다 ^^; 고양이 사진을 데이터로 입력하고 예상 값은 고양이라는 레이블인데 개라는 레이블이 출력이 되었을 때의 차이를 최소화 하는 것이다. 대충 감이 오는데 사진의 차이를 구한다? 이거를 어떻게 학습하지? 어떤 방식인지 많은 의문이 생겼다! "모든 입력 값은 숫자로 변환되어 차이를 구하게 된다." 고양이 사진이나 텍스트 등 입력값은 컴퓨터가 인식할 수 있도록 숫자로 입력된다...

프로젝트를 진행하다보면 외부 라이브러리나 패키지를 사용해야하는 경우가 많다. 패키지에는 서로 버전에 맞는 의존성이 있기 때문에 프로젝트마다 다른 패키지 버전을 사용하게 된다. 프로젝트마다 독립적인 환경으로 관리하면 패키지를 지웠다 설치했다 반복할 필요없고 버전간의 충돌을 최소화 할 수 있다. 그래서 가상환경을 이용해서 프로젝트를 관리해야할 필요성이 있다. 그럼 Anaconda 설치 후 가상환경 생성과 파이썬 IDE 중 파이참에 어떻게 적용하는지 알아보자. 1. Anaconda Prompt 실행 2. 가상환경 생성 - 프롬프트에서 conda create -n 가상환경이름 python=파이썬버전 을 입력한다. - 잠시후 Y를 입력하여 생성을 계속 진행한다. 3. 생성된 가상환경 확인 - conda env l..

LSTM은 시퀀스 데이터에서 다음을 예측하는데 활용한다. Bidirectional LSTM은 이전 데이터 뿐만 아니라 다음의 데이터를 통해 이전에 뭐가 나올지 예측을 하는 모델이다. 예를 들어 나는 __ 이라는 문장이 있다면 나는 다음에 무엇이 나올지 예측하는 것은 어렵다. 하지만 나는 __ 먹었다. 와 같은 문장이 있다면 “먹었다”를 통해 목적어에 먹는 음식이 나온다는 것을 예측할 수 있다. 그래서 Bidirectional LSTM모델은 앞에서 뒤로 한방향, 뒤에서 앞으로 한방향 양방향으로 학습하여 모델의 성능을 높인다. 출력은 양 방향의 값을 concatenate 하여 word vector를 출력한다. keras 홈페이지에 있는 코드를 보면 아래와 같다. model = Sequential() mode..