Skip to content

Commit

Permalink
Edit "attention (vietnamese)" by @ngvutuan2811 (#502)
Browse files Browse the repository at this point in the history 
* Edit "attention (vietnamese)" by @ngvutuan2811

* Edit "attention (vietnamese)" by @ngvutuan2811

* Edit "attention (vietnamese)" by @ngvutuan2811
  • Loading branch information
@3b1b
3b1b authored Apr 11, 2024
1 parent fc7b525 commit b3da5e1
Show file tree
Hide file tree
Showing 2 changed files with 33 additions and 33 deletions.
12 changes: 6 additions & 6 deletions 2024/attention/vietnamese/description.json
View file
Original file line number Diff line number Diff line change
Expand Up @@ -25,9 +25,9 @@
},
{
"input": "Other resources about transformers",
"translatedText": "Các tài nguyên khác về máy biến áp",
"translatedText": "Các tài nguyên khác về Transformer",
"model": "google_nmt",
"n_reviews": 0
"n_reviews": 1
},
{
"input": "",
Expand Down Expand Up @@ -151,9 +151,9 @@
},
{
"input": "Timestamps:",
"translatedText": "Dấu thời gian:",
"translatedText": "Mốc thời gian:",
"model": "google_nmt",
"n_reviews": 0
"n_reviews": 1
},
{
"input": "0:00 - Recap on embeddings",
Expand All @@ -169,9 +169,9 @@
},
{
"input": "4:29 - The attention pattern",
"translatedText": "4:29 - Kiểu chú ý",
"translatedText": "4:29 - Mẫu chú ý",
"model": "google_nmt",
"n_reviews": 0
"n_reviews": 1
},
{
"input": "11:08 - Masking",
Expand Down
54 changes: 27 additions & 27 deletions 2024/attention/vietnamese/sentence_translations.json
View file
Original file line number Diff line number Diff line change
Expand Up @@ -681,23 +681,23 @@
},
{
"input": "If you do that, then after applying softmax, all of those get turned into zero, but the columns stay normalized.",
"translatedText": "Nếu bạn làm điều đó, thì sau khi áp dụng softmax, tất cả những thứ đó sẽ chuyển thành 0, nhưng các cột vẫn được chuẩn hóa.",
"translatedText": "Nếu bạn làm điều đó, thì sau khi áp dụng softmax, tất cả sẽ chuyển thành 0, nhưng các cột vẫn được chuẩn hóa.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 739.68,
"end": 745.18
},
{
"input": "This process is called masking.",
"translatedText": "Quá trình này được gọi là mặt nạ.",
"translatedText": "Quá trình này được gọi là gắn mặt nạ.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 746,
"end": 747.54
},
{
"input": "There are versions of attention where you don't apply it, but in our GPT example, even though this is more relevant during the training phase than it would be, say, running it as a chatbot or something like that, you do always apply this masking to prevent later tokens from influencing earlier ones.",
"translatedText": "Có những phiên bản chú ý mà bạn không áp dụng nó, nhưng trong ví dụ GPT của chúng ta, mặc dù điều này phù hợp hơn trong giai đoạn đào tạo so với việc chạy nó dưới dạng chatbot hoặc thứ gì đó tương tự, bạn vẫn luôn áp dụng việc che giấu này để ngăn chặn các mã thông báo sau ảnh hưởng đến các mã thông báo trước đó.",
"translatedText": "Có những phiên bản chú ý mà bạn không áp dụng nó, nhưng trong ví dụ GPT của chúng ta, dù điều này phù hợp hơn trong giai đoạn đào tạo so với việc chạy nó dưới dạng chatbot hoặc thứ gì đó tương tự, bạn vẫn luôn áp dụng việc che giấu này để ngăn chặn các mã thông báo sau ảnh hưởng đến các mã thông báo trước đó.",
"model": "google_nmt",
"n_reviews": 1,
"start": 747.54,
Expand Down Expand Up @@ -753,9 +753,9 @@
},
{
"input": "What I'm going to do here is first show you the most straightforward way that you could do this, though there's a slight way that this gets modified in the context of multi-headed attention.",
"translatedText": "Điều tôi sắp làm ở đây trước tiên là chỉ cho bạn cách đơn giản nhất mà bạn có thể làm điều này, mặc dù có một chút cách để điều này được sửa đổi trong bối cảnh có sự chú ý đa chiều.",
"translatedText": "Điều đầu tiên tôi sắp chỉ cho bạn ở đây là cách đơn giản nhất có thể làm, dù có một cách dễ hơn trong bối cảnh có sự chú ý nhiều đầu với cách sửa đổi này.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 815.46,
"end": 823.46
},
Expand Down Expand Up @@ -873,7 +873,7 @@
},
{
"input": "These key and query matrices each have 12,288 columns, matching the embedding dimension, and 128 rows, matching the dimension of that smaller key query space.",
"translatedText": "Mỗi ma trận khóa và truy vấn này có 12.288 cột, khớp với thứ nguyên nhúng và 128 hàng, khớp với chiều của không gian truy vấn khóa nhỏ hơn đó.",
"translatedText": "Mỗi ma trận khóa và truy vấn này có 12.288 cột, khớp với chiều nhúng và 128 hàng, khớp với chiều của không gian truy vấn khóa nhỏ hơn đó.",
"model": "google_nmt",
"n_reviews": 1,
"start": 969.3,
Expand Down Expand Up @@ -1001,9 +1001,9 @@
},
{
"input": "I'll talk about it in a minute.",
"translatedText": "Tôi sẽ nói về nó trong một phút.",
"translatedText": "Tôi sẽ nói về nó sau vài phút.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1078.38,
"end": 1079.52
},
Expand Down Expand Up @@ -1033,9 +1033,9 @@
},
{
"input": "As a quick side note, to be a little more accurate, everything described so far is what people would call a self-attention head, to distinguish it from a variation that comes up in other models that's called cross-attention.",
"translatedText": "Xin lưu ý nhanh, chính xác hơn một chút, mọi thứ được mô tả cho đến nay đều là thứ mà mọi người gọi là đầu tự chú ý, để phân biệt với một biến thể xuất hiện trong các mô hình khác được gọi là chú ý chéo.",
"translatedText": "Cần lưu ý nhanh để đảm bảo chính xác hơn, mọi thứ được mô tả cho đến nay đều là thứ mà mọi người gọi là đầu tự chú ý, để phân biệt với một biến thể xuất hiện trong các mô hình khác được gọi là sự chú ý chéo.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1102.04,
"end": 1111.5
},
Expand Down Expand Up @@ -1081,9 +1081,9 @@
},
{
"input": "Staying focused on self-attention though, if you understood everything so far, and if you were to stop here, you would come away with the essence of what attention really is.",
"translatedText": "Tuy nhiên, hãy tập trung vào sự chú ý của bản thân, nếu bạn hiểu mọi thứ cho đến nay và nếu bạn dừng lại ở đây, bạn sẽ hiểu được bản chất của sự chú ý thực sự là gì.",
"translatedText": "Tuy nhiên, hãy tập trung vào sự tự chú ý, nếu bạn hiểu mọi thứ cho đến nay và nếu bạn dừng lại ở đây, bạn sẽ hiểu được bản chất của sự chú ý thực sự là gì.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1157.18,
"end": 1165.18
},
Expand Down Expand Up @@ -1137,15 +1137,15 @@
},
{
"input": "And again, in practice the true behavior of these maps is much more difficult to interpret, where the weights are set to do whatever the model needs them to do to best accomplish its goal of predicting the next token.",
"translatedText": "Và một lần nữa, trên thực tế, hành vi thực sự của những ánh xạ này khó diễn giải hơn nhiều, trong đó các trọng số được đặt để làm bất cứ điều gì mà mô hình cần chúng làm để hoàn thành tốt nhất mục tiêu dự đoán mã thông báo tiếp theo.",
"translatedText": "Và một lần nữa, thực tế thì hành vi thực sự của những ánh xạ này khó diễn giải hơn nhiều, trong đó các trọng số được đặt để làm bất cứ điều gì mà mô hình cần chúng làm để hoàn thành tốt nhất mục tiêu dự đoán mã thông báo tiếp theo.",
"model": "google_nmt",
"n_reviews": 1,
"start": 1219.98,
"end": 1230.14
},
{
"input": "As I said before, everything we described is a single head of attention, and a full attention block inside a transformer consists of what's called multi-headed attention, where you run a lot of these operations in parallel, each with its own distinct key query and value maps.",
"translatedText": "Như tôi đã nói trước đây, mọi thứ mà ta mô tả là một khối chú ý duy nhất và một khối chú ý đầy đủ bên trong Transformer bao gồm cái được gọi là chú ý nhiều đầu, trong đó bạn chạy song song nhiều thao tác này, mỗi thao tác có một truy vấn khóa riêng biệt và ánh xạ giá trị.",
"translatedText": "Như tôi đã nói trước đây, mọi thứ mà ta mô tả là một khối chú ý duy nhất và một khối chú ý đầy đủ bên trong Transformer bao gồm thứ được gọi là nhiều đầu chú ý, trong đó bạn chạy song song nhiều thao tác này, mỗi thao tác có một truy vấn khóa riêng biệt và ánh xạ giá trị.",
"model": "google_nmt",
"n_reviews": 1,
"start": 1231.4,
Expand All @@ -1161,9 +1161,9 @@
},
{
"input": "Considering that each one is already a bit confusing, it's certainly a lot to hold in your head.",
"translatedText": "Vì mỗi câu chuyện đều hơi khó hiểu nên chắc chắn bạn sẽ phải ghi nhớ rất nhiều điều trong đầu.",
"translatedText": "Vì mỗi câu chuyện đều hơi khó hiểu nên chắc chắn bạn sẽ phải ghi nhớ rất nhiều điều thứ.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1252.02,
"end": 1256.46
},
Expand Down Expand Up @@ -1241,15 +1241,15 @@
},
{
"input": "There's one added slightly annoying thing that I should really mention for any of you who go on to read more about transformers.",
"translatedText": "Có thêm một điều hơi khó chịu mà tôi thực sự nên đề cập đến cho bất kỳ ai trong số các bạn tiếp tục đọc thêm về máy biến áp.",
"translatedText": "Có thêm một điều hơi khó chịu mà tôi nên đề cập với bất kỳ ai tiếp tục đọc thêm về các Transformer.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1336.42,
"end": 1341.8
},
{
"input": "You remember how I said that the value map is factored out into these two distinct matrices, which I labeled as the value down and the value up matrices.",
"translatedText": "Bạn còn nhớ tôi đã nói rằng ánh xạ giá trị được tính thành hai ma trận riêng biệt này, tôi gắn nhãn là ma trận giá trị giảm và ma trận giá trị tăng.",
"translatedText": "Bạn còn nhớ tôi đã nói rằng ánh xạ giá trị được tính thành hai ma trận riêng biệt này, tôi ký hiệu là ma trận giá trị giảm và ma trận giá trị tăng.",
"model": "google_nmt",
"n_reviews": 1,
"start": 1342.08,
Expand Down Expand Up @@ -1281,9 +1281,9 @@
},
{
"input": "All of these value up matrices for each head appear stapled together in one giant matrix that we call the output matrix, associated with the entire multi-headed attention block.",
"translatedText": "Tất cả các ma trận tăng giá trị này cho mỗi đầu xuất hiện được ghim lại với nhau trong một ma trận khổng lồ mà chúng tôi gọi là ma trận đầu ra, được liên kết với toàn bộ khối chú ý nhiều đầu.",
"translatedText": "Tất cả các ma trận tăng giá trị này cho mỗi đầu xuất hiện được ghim lại với nhau trong một ma trận khổng lồ mà ta gọi là ma trận đầu ra, được liên kết với toàn bộ khối chú ý nhiều đầu.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1365.34,
"end": 1376.38
},
Expand Down Expand Up @@ -1329,7 +1329,7 @@
},
{
"input": "We'll talk more about those in the next chapter.",
"translatedText": "Chúng ta sẽ nói nhiều hơn về những điều đó trong chương sau.",
"translatedText": "Ta sẽ nói nhiều hơn về những điều đó trong chương sau.",
"model": "google_nmt",
"n_reviews": 1,
"start": 1413.12,
Expand Down Expand Up @@ -1369,9 +1369,9 @@
},
{
"input": "Turning back one more time to our scorekeeping, GPT-3 includes 96 distinct layers, so the total number of key query and value parameters is multiplied by another 96, which brings the total sum to just under 58 billion distinct parameters devoted to all of the attention heads.",
"translatedText": "Quay lại một lần nữa với quy trình ghi điểm của chúng tôi, GPT-3 bao gồm 96 lớp riêng biệt, do đó, tổng số thông số giá trị và truy vấn chính được nhân với 96 khác, đưa tổng số lên chỉ dưới 58 tỷ thông số riêng biệt dành cho tất cả các đầu chú ý.",
"translatedText": "Quay lại một lần nữa với quy trình ghi điểm của chúng ta, GPT-3 bao gồm 96 lớp riêng biệt, do đó, tổng số thông số giá trị và truy vấn chính được nhân với 96 khác, đưa tổng số lên chỉ dưới 58 tỷ thông số riêng biệt dành cho tất cả các đầu chú ý.",
"model": "google_nmt",
"n_reviews": 0,
"n_reviews": 1,
"start": 1456.7,
"end": 1474.5
},
Expand All @@ -1393,7 +1393,7 @@
},
{
"input": "In the next chapter, you and I will talk more about those other blocks and also a lot more about the training process.",
"translatedText": "Trong chương sau, bạn và tôi sẽ nói nhiều hơn về những khối khác đó cũng như nhiều điều hơn về quá trình đào tạo.",
"translatedText": "Trong chương sau, chúng ta sẽ nói nhiều hơn về những khối khác đó cũng như nhiều hơn về quá trình đào tạo.",
"model": "google_nmt",
"n_reviews": 1,
"start": 1488.56,
Expand Down

0 comments on commit b3da5e1

Please sign in to comment.