Sequence to Sequence

Одна сеть стала кодировать последовательность, а другая — порождать новую: общий шаблон для перевода и генерации.

Seq2Seq отделила понимание входной последовательности от генерации выхода и показала, что один обучаемый контур может переводить текст без вручную заданных лингвистических правил. Ограничение фиксированного вектора памяти позже подтолкнуло развитие внимания.

Источники

arXivОткрыть первоисточник