딥러닝 - 트랜스포머(Transformer)

트랜스포머(Transformer)는 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르지만, 내부적으로 RNN 레이어 없이, 어텐션(Attention)으로만 구현한 모델이다.

 

RNN을 이용한 기존 seq2seq의 한계

기존의 seq2seq 모델은 인코더-디코더 구조로 구성되어있고, 여기서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해 출력 시퀀스를 만들어냈다. 하지만 이러한 구조는 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실되는 단점이 있었다. 또한 RNN의 고질적인 기울기 소실 문제까지 더해졌다.

 

트랜스포머(Transformer)의 주요 하이퍼파라미터

 

트랜스포머(Transformer)

트랜스포머는 RNN을 사용하지 않지만 기존 seq2seq처럼 인코더-디코더 구조를 유지하고 있다. 이전 seq2seq 구조에서는 인코더와 디코더에서 각각 하나의 RNN이 t개의 시점(time step)을 가지는 구조였다면, 트랜스포머는 인코더와 디코더가 각각 N개층으로 쌓여있는 구조이다.

 

 

위 그림은 각 인코더, 디코더가 6개의 층으로 쌓여있는 구조이다.

 

 

큰 구조를 보면 기존의 seq2seq 구조와 비슷하다.

 

포지셔널 인코딩(Positional Encoding)

RNN이 자연어 처리에서 유용했던 이유는 단어의 위치에 따라 단어를 순차적으로 입력받아서 처리하는 RNN의 특성으로 인해 각 단어의 위치 정보를 가질 수 있다는 점에 있었다. 하지만 트랜스포머는 단어 입력을 순차적으로 받는 방식이 아니라, 단어의 위치 정보를 알려 줄 수 있는 방법이 필요했다. 그래서 트랜스포머는 단어의 위치 정보를 얻기 위해 각 단어의 임베딩 벡터에 위치 정보들을 더하여 모델의 입력으로 사용하는데 이를 포지셔널 인코딩이라고 한다.

 

 

위 그림을 보면 각 인코더, 디코드 층에 입력이 들어가기전 포지셔널 인코딩 레이어가 있는 것이 특징이다. 

포지셔널 인코딩 값들을 임베딩 벡터에 반영하기 위해 아래 두개의 함수를 이용한다.

 

 

트랜스포머는 사인 함수와 코사인 함수의 값을 임베딩 벡터에 더해주므로서 단어의 순서 정보를 더한다. 실제 계산은 임베딩 벡터가 모여 만들어진 문장 행렬과 포지셔널 인코딩 행렬의 덧셈 연산을 통해 이루어진다.

 

pos는 입력 문장에서의 임베딩 벡터의 위치를 나타내며, i는 임베딩 벡터 내의 차원의 인덱스를 의미한다. 위의 식에 따르면 임베딩 벡터 내의 각 차원의 인덱스가 짝수인 경우에는 사인함수, 홀수 인경우에는 코사인 함수를 이용한다. 위와 같이 포지셔널 인코딩 방법을 이용하면 순서정보가 보존되는데, 같은 단어라고 하더라도 문장 내의 위치가 다르면 트랜스포머의 입력으로 들어가는 임베딩 벡터의 값이 달라진다. 즉, 트랜스포머의 입력은 순서 정보가 고려된 임베딩 벡터가 된다.

 

어텐션

아래 그림은 트랜스포머에서 사용되는 세 가지의 어텐션이다.

 

 

인코더의 셀프 어텐션 : Query = Key = Value
디코더의 마스크드 셀프 어텐션 : Query = Key = Value
디코더의 인코더-디코더 어텐션 : Query : 디코더 벡터 / Key = Value : 인코더 벡터

 

 

위 그림은 세가지 어텐션이 각각 어디에서 이루어지는지를 보여주는 그림이다.

 

인코더

인코더를 하나의 층이라는 개념으로 보면, 하나의 인코더는 크게 총 2개의 셀프 어텐션과 피드 포워드 서브층으로 나뉜다.

 

인코더의 셀프 어텐션

셀프 어텐션이란 어텐션을 자기 자신에게 수행한다는 의미다. 

 

Q : 입력 문장의 모든 단어 벡터들
K : 입력 문장의 모든 단어 벡터들
V : 입력 문장의 모든 단어 벡터들

 

셀프 어텐션은 입력 문장의 단어 벡터들을 가지고 수행한다고 했지만, 사실 셀프 어텐션은 인코더의 초기 입력인 dmodel의 차원을 가지는 단어 벡터들을 사용하여 셀프 어텐션을 수행하는 것이 아니라 우선 각 단어 벡터들로부터 Q벡터, K벡터, V벡터를 얻는 작업을 거친다. 이때  Q벡터, K벡터, V벡터들은 초기 입력인 dmodel의 차원을 가지는 단어 벡터들보다 더 작은 차원을 가지는데 논문에서는 512의 차원을 가졌던 단어 벡터들을 64의 차원을 가지는 벡터로 변환하였다.

 

64라는 값은 트랜스포머의 num_heads 하이퍼파라미터로 결정되는데, 트랜스포머는 dmodel 차원을 num_heads로 나눈 값을 각 Q, K, V 벡터의 차원으로 결정한다.

기존의 벡터로부터 더 작은 벡터는 가중치 행렬을 곱하므로서 완성된다. 해당 가중치 행렬은 훈련 과정에서 학습된다. 

 

스케일드 닷-프로덕트 어텐션

스케일드 닷-프로덕트 어텐션은 이전 포스팅에서 설명한 닷-프로덕트 어텐션에 값을 스케일링하는 것을 추가한것이다. 아래 그림을 보면 내적한 값에 특정 값으로 나눠준다.

 

Q, K, V 벡터를 얻었다면 지금부터는 기존의 어텐션 메커니즘과 동일하다. 각 Q벡터는 모든 K벡터에 대해 어텐션 스코어를 구하고, 어텐션 분포를 구한 뒤에 이를 사용하여 모든 V벡터를 가중합하여 어텐션 값 또는 컨텍스트 벡터를 구한다. 이를 모든 Q벡터에 대해 반복한다. 스케일드 닷-프로덕트 어텐션은 이전 포스팅에서 다뤘던 어텐션 기법과는 다르게 어텐션 스코어를 구하기 위해 Q, V벡터의 내적만 하는 것이 아니라 아래와 같은 값을 스케일하는 수식이 하나더 들어간다.

 

 

위 그림의 어텐션 스코어는 단어 I가 각 단어 I, am, a, student와 얼마나 연관이 있는지 보여주는 수치이다. 트랜스포머에서는 두 벡터의 내적값을 스케일링하는 값으로 K벡터의 차원(64)을 나타내는 dk에 루트를 씌우는 값을 이용했다. 여기서 dk는 8이라는 값을 가진다.

 

그렇게 나온 값을 소프트맥스 함수에 통과시켜 모든합이 1이되는 확률 분포를 만들고 이 확률(어텐션 가중치)를 모든 V벡터와 가중합하여 최종적인 어텐션 값을 구한다. 이 어텐션 값을 위 예제로 표현하면 단어 I에 대한 어텐션 값 또는 컨텍스트 벡터라고 할 수 있다. 이러한 과정을 모든 단어에 동일하게 반복한다. 하지만 내부적으로 따로 계산하지는 않고 모든 단어에대해 한번에 행렬 연산으로 모든 단어의 어텐션 값을 구하는 연산을 진행한다.

 

행렬 연산으로 일괄 계산하기

우선 각 단어 벡터마다 일일히 가중치 행렬을 곱하는 것이 아니라, 문장 행렬에 가중치 행렬을 곱하여 Q, K, V 행렬을 구한다.

 

 

그렇게 나온 Q행렬과 K행렬로는 어떻게 어텐션 스코어를 구할까? 위 그림과 같이 K행렬을 전치한 행렬과 Q행렬을 곱하고 스케일링 값을 나눠주면(K벡터의 루트를 씌운값) 각 단어의 어텐션스코어가 포함된 행렬이 나오게 된다. 예를 들어 I행과 student열의 값은 단어 I의 Q벡터와 student K벡터의 어텐션 스코어 값이다.

 

 

이제 각 단어의 어텐션 값은 아래 수식대로 계산하면 나오게 된다.

위의 행렬 연산에 사용된 행렬의 크기를 모두 정리하자면, 우선 입력문장의 길이를 seq_len이라고 하면, 문장 행렬의 크기는 (seq_len, dmodel)이다. 여기에 3개의 가중치 행렬을 곱해서 Q, K, V 행렬을 만든다.

 

우선 행렬의 크기를 정의하기 위해 행렬의 각 행에 해당되는 Q벡터와 K벡터의 차원을 dk라고하고, V벡터의 차원을 dv라고 하자. 그렇다면 Q행렬과 K행렬의 크기는 (seq_len, dk)이며, V행렬의 크기는 (seq_len, dv)가 되어야한다. 그렇다면 문장 행렬과 Q, K, V 행렬의 크기로 가중치 행렬의 크기 추정이 가능하다. Wq, Wk는 (dmodel, dk)의 크기를 가지며, Wv는 (dmodel, dv)의 크기를 가진다. 단 논문에서는 dk와 dv의 차원은 dmodel/num_heads와 같다. 즉, dmodel/num_heads == dk == dv이다.

 

멀티 헤드 어텐션(Multi-head Attention)

 

트랜스포머를 개발한 연구진은 한 번의 어텐션을 하는 것보다 여러번의 어텐션을 병렬로 사용하는 것이 더 효과적이라고 판단했다. 그래서 dmodel의 차원을 num_heads개로 나누어 dmodel/num_heads의 차원을 가지는 Q, K, V에 대해서 num_heads개의 병렬 어텐션을 수행한다. 다시 말해 위에서 설명한 어텐션이 8개로 병렬로 이루어지는 것인데, 이때 각각의 어텐션 값 행렬을 어텐션 헤드라고 부른다. 이때 가중치 행렬 Wq, Wk, Wv의 값은 8개의 어텐션 헤드마다 모두 다른 행렬이다.(같은 가중치로 병렬로 어텐션을 수행해봐야 같은 어텐션 값이 나올테니, 서로 다른 행렬로 수행하고 이 가중치들은 모두 훈련 과정에서 학습된다.) 즉, 서로 다른 가충치를 가지고 병렬로 어텐션을 수행하니 모든 어텐션 헤드들은 다른 시각으로 다른 정보들을 수집하게 되는 것이다.

 

 

병렬 어텐션을 모두 수행하였다면, 모든 어텐션 헤드를 연결(concatenate)한다. 모두 연결된 어텐션 헤드 행렬의 크기는 (seq_len, dmodel)이 된다. 즉, 입력으로 들어온 행렬의 크기와 같게 된다.

 

어텐션 헤드를 모두 연결한 행렬은 또 다른 가중치 행렬 Wo를 곱하게 되는데, 이렇게 나온 결과 행렬이 멀티-헤드 어텐션의 최종 출력이 된다. 즉, 멀티-헤드 어텐션 행렬은 인코더의 입력이었던 문장 행렬의 (seq_len, dmodel) 크기와 동일하다. 다시 말해 인코더의 첫번째 서브층인 멀티-헤드 어텐션 서브층을 지나서 나온 출력이 인코더의 입력 행렬크기로 유지되고 있는 것이다. 또한 다음 서브층인 포지션 와이즈 피드 포워드 층으로 들어가는 입력 크기도 그대로 유지되서 들어가야한다.

 

패딩 마스크(Padding Mask)

스케일드 닷 프로덕트 어텐션 함수 내부를 보면 mask라는 인자가 존재한다. 이는 입력 문장에 <PAD> 토큰이 있을 경우 어텐션에서 제외하기 위한 연산을 위함이다.

 

 

사실 패딩을 위한 토큰은 실질적인 의미를 담은 단어는 아니고, 시퀀스의 길이를 맞춰주기 위한 더미 토큰이기 때문에 트랜스포머에서는 Key의 경우 패딩 토큰이 존재한다면 유사도를 구하지 않도록 마스킹을 해준다.

 

마스킹을 하는 방법은 어텐션 스코어 행렬의 마스킹 위치에 매우 작은 음수값을 넣는것이다. 즉 이렇게 되면, 해당 위치는 소프트맥스 함수를 지나도 0에 아주 가까운 값이 되기에 유사도 구하는데 큰 역할을 하지 못하게 된다.

 

 

포지션-와이즈 피드 포워드 신경망(Position-wise FFNN)

포지션-와이즈 피드 포워드 신경망은 인코더와 디코더에서 공통적으로 가지고 있는 서브층이다. 쉽게 말하면 포지션-와이즈 피드 포워드 신경망은 완전 연결 FFNN(Fully-connected FFNN)이라고 해석할 수 있다.

 

위 수식을 그림으로 표현하면 아래와 같다.

 

여기서 x는 멀티 헤드 어텐션의 결과로 나온 (seq_len, dmodel)의 크기를 가지는 행렬을 말한다. 가중치 행렬 W1은 (dmodel, dff)의 크기를 가지고, 가중치 행렬 W2는 (dff, dmodel)의 크기를 가진다. 논문에서는 은닉층의 크기인 dff는 2048의 크기를 가진다.

 

여기서 매개변수 W1, W2, b1, b2는 하나의 인코더 층 내에서는 다른 문장, 다른 단어들마다 정확하게 동일한 행렬을 가진다. 하지만 서로 다른 인코더 층마다는 다른 값을 가진다.

 

여기서 기억해야할 것은 서브층을 모두 지나게 된 은닉층의 행렬크기를 보면 입력과 동일하다는 것이다.

 

잔차 연결(Residual connection)과 층 정규화(Layer Normalization)

트랜스포머에서는 두 개의 서브층을 가진 인코더에 추가적으로 사용하는 Add & Norm이라는 기법이 있다. 그림을 보면 화살표가 서브층의 이전의 입력에서 시작되어 서브층의 출력부분을 향하고 있다.

 

잔차 연결

 

위 그림을 보면, 어떤 함수의 입력값과 함수의 결과를 더하고 있는 H(x) 함수가 있다. 여기서 어떤 함수 F(x)가 트랜스포머에서는 각 서브층을 뜻하게 되는데, 쉽게 말해 잔차 연결은 서브층의 입력과 출력을 더한것과 같다. 앞서 설명했듯이 트랜스포머에서 서브층의 입력과 출력은 동일한 차원을 가지고 있으므로, 서브층의 입력과 서브층의 출력은 행렬 덧셈 연산이 가능하다. 잔차 연결은 컴퓨터 비전 분야에서 주로 사용되는 모델의 학습을 돕는 기법이다.

 

 

서브층이 멀티 헤드 어텐션이었다면 잔차 연결 연산은 위 그림과 같다.

 

층 정규화

전차 연결을 거친 결과는 이어서 층 정규화 과정을 거치게 된다. 잔차 연결의 입력을 x, 잔차 연결과 층 정규화 두 가지 연산을 모두 수행한 후의 결과 행렬을 LN이라고 했을 때, 잔차 연결 후 층 정규화 연산을 수식으로 표현하면 다음과 같다.

층 정규화는 텐서의 마지막 차원에 대해서 평균과 분산을 구하고, 이를 가지고 어떤 수식을 통해 값을 정규화하여 학습을 돕는다. 여기서 텐서의 마지막 차원이란 트랜스포머에서는 dmodel 차원을 의미한다.

 

 

층 정규화를 위해서 우선, 화살표 방향으로 각각 평균과 분산을 구한다. dmodel 크기의 벡터는 아래와 같은 수식으로 정규화 된다.

 

층 정규화는 크게 두 가지 과정으로 이루어지는데, 첫번째는 평균과 분산을 통한 정규화, 두번째는 감마와 베타를 도입하는 것이다. 우선 평균과 분산을 통해 벡터 x를 정규화 해준다. 여기서 평균과 분산값은 스칼라값이다.

 

여기서 입실론은 분모가 0이 되는 것을 방지하는 값이다. 마지막으로 감마와 베타를 도입한 최종 정규화 수식은 아래와 같다.(여기서 감마와 베타는 처음에 0과 1로 초기화 된다.)

케라스에서는 층 정규화를 위해 LayerNormalization()을 제공한다. 지금까지 설명한 인코더 층에서의 출력은 디코더의 연산에 사용된다.

 

디코더의 첫번째 서브층: 셀프 어텐션과 룩-어헤드 마스크

 

위 그림과 같이 디코더도 인코더와 동일하게 포지셔널 인코딩 단계를 거친 후 입력으로 들어간다. 트랜스포머 또한 RNN셀로 이루어진 seq2seq와 마찬가지로 교사 강요를 사용하여 훈련되므로 학습 과정에서 디코더는 번역할 문장에 해당 되는 <sos> je suis étudiant의 문장 행렬을 한 번에 입력받는다. 그리고 디코더는 이 문장 행렬로부터 각 시점의 단어를 예측하도록 훈련한다. 하지만 여기서 문제가 있는데, 기존 RNN으로 이루어진 seq2seq는 매 시점마다 순차적으로 입력받으므로 다음 단어 예측에 현재 시점을 포함한 이전 시점에 입력된 단어들만 참고할 수 있다. 반면, 트랜스포머는 문장 행렬을 한번에 입력받아서 현재 시점의 단어를 예측하고자 할 때, 입력 문장 행렬로부터 미래 시점의 단어까지도 참고할 수 있는 현상이 발생되는데, 이를 위해 트랜스포머의 디코더에서는 현재 시점의 예측에서 현재 시점보다 미래에 있는 단어들을 참고하지 못하도록 룩-어헤드 마스크를 도입했다.

 

 

룩-어헤드 마스크는 디코더의 첫번째 서브층에서 이루어진다. 디코더의 첫번째 서브층인 멀티 헤드 셀프 어텐션 층은 인코더의 첫번째 서브층인 멀티 헤드 셀프 어텐션과 동일한 연산을 수행한다. 하지만 다른 점은 어텐션 스코어 행렬에서 미래 단어를 예측하지 못하도록 마스킹을 적용한다는 점만 다르다.

 

위와 같이 어텐션 스코어 행렬을 얻는다. 그 다음 이제 자신의 시점보다 미래에 있는 시점의 단어는 예측하지 못하도록 아래와 같이 마스킹한다.

 

 

디코더의 두번째 서브층: 인코더-디코더 어텐션

디코더의 두번째 서브층은 멀티 헤드 어텐션을 수행은 하지만, 앞서 설명한것과는 다르게 셀프 어텐션이 아니다. 앞서 설명한 어텐션을 포함해 인코더-디코더 어텐션의 각 Q, K, V의 정의는 아래와 같다.

 

인코더의 첫번째 서브층 : Query = Key = Value
디코더의 첫번째 서브층 : Query = Key = Value
디코더의 두번째 서브층 : Query : 디코더 행렬 / Key = Value : 인코더 행렬

디코더의 두번째 서브층을 보면 아래 그림과 같이 인코더로부터 두 개의 화살표가 그려져있다.

두 개의 화살표는 각각 Key와 Value를 의미한다. Query는 그림과 같이 디코더의 첫번째 서브층의 결과 행렬을 뜻한다.

그 외에 멀티 헤드 어텐션을 수행하는 과정은 다른 어텐션과 동일하다.