[NLP] BiDirectional LSTM 의 개념과 keras 코드

LSTM은 시퀀스 데이터에서 다음을 예측하는데 활용한다. Bidirectional LSTM은 이전 데이터 뿐만 아니라 다음의 데이터를 통해 이전에 뭐가 나올지 예측을 하는 모델이다.

 

예를 들어 나는 __ 이라는 문장이 있다면 나는 다음에 무엇이 나올지 예측하는 것은 어렵다. 하지만 나는 __ 먹었다. 와 같은 문장이 있다면 “먹었다”를 통해 목적어에 먹는 음식이 나온다는 것을 예측할 수 있다.

 

그래서 Bidirectional LSTM모델은 앞에서 뒤로 한방향, 뒤에서 앞으로 한방향 양방향으로 학습하여 모델의 성능을 높인다. 출력은 양 방향의 값을 concatenate 하여 word vector를 출력한다.

keras 홈페이지에 있는 코드를 보면 아래와 같다.

model = Sequential()
model.add(Bidirectional(LSTM(10, return_sequences=True), input_shape=(5, 10)))
model.add(Bidirectional(LSTM(10)))
model.add(Dense(5))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

 # With custom backward layer
 model = Sequential()
 forward_layer = LSTM(10, return_sequences=True)
 backward_layer = LSTM(10, activation='relu', return_sequences=True,
                       go_backwards=True)
 model.add(Bidirectional(forward_layer, backward_layer=backward_layer,
                         input_shape=(5, 10)))
 model.add(Dense(5))
 model.add(Activation('softmax'))
 model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

forward와 backward를 각각 LSTM 모델에 넣고 OUTPUT을 Bidirectional 에 input하게 된다.