LLM là một mạng nơ-ron sâu rất lớn được huấn luyện trên dữ liệu văn bản. Khi huấn luyện, mô hình liên tục dự đoán token bị che hoặc token tiếp theo, đo sai số rồi điều chỉnh hàng tỷ tham số qua nhiều lớp. Khi suy luận, các tham số hầu như được giữ cố định và được dùng để dự đoán lần lượt từng token tiếp theo.
Từ học sâu đến LLM: trang trước cho thấy mạng nơ-ron gồm các lớp, trọng số và độ lệch toán học. LLM dùng cùng nguyên lý nhưng ở quy mô lớn hơn nhiều. Các lớp Transformer xử lý quan hệ giữa token; quá trình huấn luyện điều chỉnh rất nhiều trọng số; khi suy luận, mô hình chạy qua các lớp nhiều lần để tạo văn bản. Độ lệch (bias) trong công thức toán không đồng nghĩa với thiên lệch xã hội hoặc văn hóa trong kết quả.
Kỹ sư xây dựng Transformer gồm nhiều lớp nơ-ron và cơ chế chú ý, giúp mô hình cân nhắc các token liên quan trong ngữ cảnh.
Văn bản được tách thành token. Mô hình dự đoán token, so sánh với đáp án huấn luyện rồi dùng sai số để điều chỉnh tham số. Các bước tinh chỉnh và phản hồi của con người tiếp tục định hướng hành vi.
Câu lệnh được tách thành token và đi qua các lớp. Mô hình tính xác suất của token tiếp theo, chọn một token, nối vào kết quả rồi lặp lại cho đến khi dừng.
Văn bản có thể chứa bất bình đẳng lịch sử, định kiến, quan điểm chiếm ưu thế, sự vắng mặt của một số cộng đồng và mức đại diện không đều giữa các ngôn ngữ, văn hóa.
Cách chọn và lọc dữ liệu, gắn nhãn, đặt mục tiêu, xây dựng quy tắc an toàn và thu thập phản hồi đều ảnh hưởng đến hành vi của mô hình.
Câu lệnh, môi trường sử dụng, cách chọn token theo xác suất và việc kiểm thử chưa đủ cho từng nhóm có thể làm lộ hoặc khuếch đại các mẫu đã học.
Mô hình bắt đầu với rất nhiều ví dụ ngôn ngữ viết.
Mô hình luyện dự đoán token và điều chỉnh trọng số khi dự đoán sai.
Các mẫu đã học được biểu diễn phân tán qua những con số trong mô hình.
Sau khi nhận câu lệnh, mô hình lần lượt dự đoán từng token tiếp theo.
Văn bản được tách thành token. Token có thể là một từ, một phần của từ hoặc dấu câu.
Khi huấn luyện, mô hình tập dự đoán token tiếp theo dựa trên các token phía trước.
Các mẫu học được được biểu diễn trong trọng số. Bản minh họa đơn giản hóa chúng thành một bảng nhỏ.
Khi suy luận, mô hình dùng câu lệnh và trọng số để tạo từng token.
Chọn một bộ dữ liệu nhỏ, xem mô hình tìm thấy mẫu nào rồi chạy suy luận từ một câu lệnh.
Trong LLM thật, huấn luyện điều chỉnh hàng tỷ trọng số. Bản minh họa này dùng một bảng nhỏ để giải thích đơn giản các mẫu token.
| Ngữ cảnh đã gặp | Token tiếp theo có thể | Vì sao có mẫu này |
|---|
Mô hình bắt đầu từ câu lệnh, xét các mẫu phù hợp với ngữ cảnh gần nhất rồi chọn token tiếp theo có xác suất cao nhất trong bản minh họa này.
Đây là phần cốt lõi của suy luận: sau khi huấn luyện, mô hình gán xác suất khác nhau cho các token có thể xuất hiện tiếp theo.