hchang 15 Nov 2021
Conditional distribution 현 상황은 x의 언어를 y의 언어로 번역하려는 상황이다. x로 된 문장이 주어지면, 거기에 대응하는 y값이 있을 수 있는데, 언어이니, 당연히 여러가지 답안이 존재하고 그것이 확률적으로 선택될 수 있겠다. 이 확률이 주어지는 x에 따라서도 달라지는데, 이것이, y의 Conditional Distribution이다.
“Shifted right”
저 그 input layer에서 나온 값은 중간에 들어가는 걸로 되어 잇는데
그러면 decoder에서 처음 들어가는 output은 뭔지 궁금해요!
모델 그림에는 Outputs밑에 shifted right라고 되어 있는데
무슨 말인지 모르겠네요ㅠㅠ
BLEU는 무엇인가?
구글링 하면 나오는데, 나는 무엇을 한것..?(정배님 감사합니다..)
기계의 번역이 얼마나 뛰어난지, 어떻게 측정할 수 있을까요? 입력값도 언어, 결과 값도 언어이니, 읽어보고 직접 평가하지 않으면, 어려울 것 같은 느낌이 물씬 풍깁니다. 이를 위한 정량적 측정방법이 있으니,
조금 과감하게 트렌스포머로 뛰어들어서, 이전 어텐션 논문을 일부 봐야했습니다.
In this paper, we conjecture that the use of a fixed-length vector is a
bottleneck in improving the performance of this basic encoder–decoder architecture,
and propose to extend this by allowing a model to automatically (soft-)search
for parts of a source sentence that are relevant to predicting a target word, without
having to form these parts as a hard segment explicitly
이 논문에서는 고정적인 길이 벡터를 사용하는 것이 encoder-decoder 구조의 병목으로서 작용한다고 추측한다. 그리고 이 연장선에서 명확하게 단편으로 형성시키지 않고 타겟단어에 가장 영향을 미칠 소스문장을 자동적으로 찾아주는 모델을 제시한다.