Một trong những yếu tố quan trọng trong Transformer là cơ chế attention. Trong mô hình này, mỗi phần tử trong chuỗi đầu vào được so sánh với tất cả các phần tử