Chúng ta đã đạt được những thành tựu đáng kinh ngạc với AI trong vài năm qua, nhưng các mô hình nền tảng có sẵn vẫn còn những hạn chế khiến chúng không thể được sử dụng trực tiếp trong sản xuất, ngay cả đối với các nhiệm vụ đơn giản nhất.

Về cốt lõi, các mô hình ngôn ngữ lớn (LLM) học từ một lượng dữ liệu khổng lồ thu thập từ Internet, sách và bài viết. Mặc dù dữ liệu này phong phú và chứa nhiều thông tin, nhưng nó cũng đầy rẫy những sai sót và thiên vị xã hội. Khi cố gắng hiểu dữ liệu này, LLM đôi khi rút ra những kết luận sai lầm, dẫn đến ảo giác và thiên kiến.

Việc nhận diện, hiểu rõ và giải quyết vấn đề này sẽ là một bước quan trọng trong quá trình phổ biến rộng rãi AI.

Ảo giác trong các mô hình ngôn ngữ lớn (LLM) xảy ra khi mô hình tạo ra văn bản không chính xác và không có cơ sở thực tế. Hiện tượng này liên quan đến việc mô hình tự tin tạo ra các phản hồi không dựa trên dữ liệu huấn luyện của nó. Có một số nguyên nhân dẫn đến ảo giác trong LLM:

• LLM có thể được huấn luyện trên tập dữ liệu thiếu kiến thức cần thiết để trả lời các câu hỏi cụ thể.

• Các mô hình này thường không có cơ chế để xác minh tính chính xác của thông tin đầu ra, dẫn đến việc tạo ra những câu trả lời có vẻ thuyết phục nhưng thực tế lại sai.

• Dữ liệu huấn luyện có thể chứa nội dung hư cấu hoặc mang tính chủ quan, bao gồm cả quan điểm hoặc niềm tin.

• LLM không được thiết kế để thể hiện sự không chắc chắn hoặc thừa nhận sự thiếu thông tin. Khi đối mặt với dữ liệu không đầy đủ, LLM có xu hướng tạo ra một chuỗi văn bản có xác suất cao nhất. Tuy nhiên, "xác suất cao nhất" không đồng nghĩa với "đúng". Điều này có thể dẫn đến ảo giác vì mục tiêu chính của mô hình ngôn ngữ là học các mẫu phân bố từ ngữ, chứ không phải phân biệt đúng sai.

Ví dụ: Vào ngày 12 tháng 4 năm 2023, Databricks công bố "Dolly 2.0", một mô hình ngôn ngữ mã nguồn mở với 12 tỷ tham số, được tinh chỉnh bằng một tập dữ liệu phục vụ việc tuân theo hướng dẫn của con người.

GPT-3.5, với dữ liệu huấn luyện chỉ đến năm 2022, không có thông tin về Dolly 2. Khi được hỏi:

"Liệu Dolly của Databricks có đóng góp giá trị cho cộng đồng mã nguồn mở không?"

GPT-3.5 có thể phản hồi như sau:

"Databricks Dolly là một sản phẩm của Databricks, nhằm hỗ trợ người dùng trong việc chuyển dữ liệu giữa các nền tảng, đặc biệt là từ trung tâm dữ liệu tại chỗ sang các nền tảng đám mây như AWS hoặc Azure. Mặc dù Databricks Dolly không phải là mã nguồn mở, nhưng nó có thể mang lại lợi ích cho cộng đồng mã nguồn mở theo một số khía cạnh."

Ngoài việc đúng ở điểm nhận diện "Databricks Dolly" là một sản phẩm của Databricks, câu trả lời này chứa nhiều thông tin sai. Nó mô tả Dolly như một công cụ di chuyển dữ liệu, trong khi thực tế Dolly 2 là một mô hình ngôn ngữ. Do GPT-3.5 nhận diện được Databricks là một công ty chuyên về dữ liệu, nên nó đã tạo ra một mô tả có vẻ hợp lý nhưng thực tế lại sai về Dolly 2.

Đây là một ví dụ về ảo giác trong GPT-3.5 của OpenAI, nhưng vấn đề này không chỉ giới hạn ở mô hình này. Các LLM khác như Bard hay LLaMA cũng có thể mắc lỗi tương tự.

Các mô hình ngôn ngữ lớn có thể tạo ra nội dung có vẻ đáng tin cậy nhưng thực tế lại không chính xác do khả năng hiểu sự thật và kiểm chứng thông tin còn hạn chế. Điều này khiến chúng vô tình có thể lan truyền thông tin sai lệch. Ngoài ra, còn có nguy cơ một số cá nhân có ý đồ xấu có thể cố ý sử dụng LLM để phát tán thông tin sai lệch, tạo ra và khuếch đại những câu chuyện không có thật.

Theo một nghiên cứu của Blackberry, khoảng 49% người được khảo sát tin rằng GPT-4 có thể bị lợi dụng để lan truyền thông tin sai lệch. Việc phát tán không kiểm soát những thông tin không chính xác từ LLM có thể gây ra tác động sâu rộng đến các lĩnh vực xã hội, văn hóa, kinh tế và chính trị. Giải quyết những thách thức liên quan đến ảo giác trong LLM là điều quan trọng đối với việc ứng dụng các mô hình này một cách đạo đức.

Một số chiến lược giúp giảm thiểu ảo giác bao gồm:

• Điều chỉnh các tham số hướng dẫn quá trình tạo văn bản.

• Cải thiện chất lượng dữ liệu huấn luyện.

• Thiết kế lời nhắc (prompt) một cách cẩn thận.

• Sử dụng kiến trúc truy xuất thông tin (retriever architectures), giúp liên kết phản hồi với các tài liệu cụ thể, đảm bảo đầu ra của mô hình có cơ sở thực tế.

>_ Điều chỉnh các tham số tạo văn bản

Các tham số như nhiệt độ (temperature), hình phạt tần suất (frequency penalty), hình phạt xuất hiện (presence penalty), và top-p ảnh hưởng đáng kể đến đầu ra của LLM:

• Nhiệt độ thấp giúp mô hình tạo ra phản hồi có tính dự đoán cao hơn và nhất quán hơn.

• Hình phạt tần suất làm giảm khả năng lặp lại các từ hoặc cụm từ đã sử dụng trước đó, khiến văn bản ít bị lặp lại hơn.

• Hình phạt xuất hiện khuyến khích mô hình tạo ra các từ mới, chưa từng xuất hiện trong văn bản đã sinh trước đó.

• Top-p kiểm soát sự đa dạng của câu trả lời bằng cách giới hạn xác suất tích lũy cho việc lựa chọn từ tiếp theo, giúp điều chỉnh phạm vi phản hồi của mô hình.

Tất cả các yếu tố trên đều góp phần làm giảm nguy cơ xuất hiện ảo giác trong phản hồi của LLM.

>_ Tận dụng tài liệu bên ngoài với kiến trúc truy xuất

Độ chính xác của LLM có thể được cải thiện bằng cách tích hợp kiến thức chuyên ngành thông qua tài liệu bên ngoài. Quá trình này giúp cập nhật cơ sở tri thức của mô hình với thông tin phù hợp, giúp các câu trả lời trở nên chính xác hơn.

Khi nhận được một câu hỏi, hệ thống sẽ thực hiện quy trình truy xuất như sau:

1. Tạo một biểu diễn nhúng (embedding) cho câu hỏi.

1. Dùng biểu diễn nhúng này để tìm kiếm ngữ nghĩa trong một cơ sở dữ liệu tài liệu (bằng cách so sánh nhúng và tính điểm tương đồng).

1. Mô hình sử dụng các đoạn văn bản được truy xuất có điểm cao nhất làm ngữ cảnh để tạo ra câu trả lời cuối cùng. LLM cần trích xuất câu trả lời từ các đoạn văn này mà không tự tạo ra thông tin ngoài phạm vi của chúng.

>_ RAG (Retrieval-Augmented Generation) là một kỹ thuật giúp nâng cao khả năng của mô hình ngôn ngữ bằng cách bổ sung dữ liệu từ các nguồn bên ngoài. Thông tin này được kết hợp với ngữ cảnh có sẵn trong phần nhắc (prompt), giúp mô hình đưa ra phản hồi chính xác và phù hợp hơn.

Việc truy cập các nguồn dữ liệu bên ngoài trong quá trình tạo phản hồi giúp mở rộng cơ sở tri thức của mô hình, giảm thiểu ảo giác bằng cách hướng mô hình đến việc tạo ra câu trả lời có cơ sở thực tế và phù hợp với bối cảnh.

Các mô hình ngôn ngữ lớn, bao gồm GPT-3.5 và GPT-4, đã làm dấy lên những lo ngại đáng kể về quyền riêng tư và đạo đức. Nhiều nghiên cứu cho thấy các mô hình này có thể chứa thiên vị nội tại, dẫn đến việc tạo ra nội dung thiên lệch hoặc xúc phạm. Điều này làm gia tăng các vấn đề liên quan đến ứng dụng và quy định của chúng.

Thiên vị trong LLM có thể phát sinh từ nhiều nguồn khác nhau, bao gồm:

• Dữ liệu huấn luyện

• Quá trình gán nhãn dữ liệu

• Cách biểu diễn đầu vào

• Cấu trúc mô hình

• Phương pháp nghiên cứu

Sự thiếu đa dạng ngôn ngữ trong dữ liệu huấn luyện có thể dẫn đến thiên vị nhân khẩu học. LLM có thể vô tình học theo các khuôn mẫu định kiến trong dữ liệu, khiến chúng tạo ra nội dung mang tính phân biệt đối xử dựa trên chủng tộc, giới tính, tôn giáo và dân tộc.

Ví dụ, nếu dữ liệu huấn luyện chứa thông tin thiên vị, một LLM có thể tạo ra nội dung mô tả phụ nữ trong vai trò thấp kém hoặc gán ghép một số dân tộc với tính cách bạo lực hoặc thiếu đáng tin cậy. Tương tự, nếu mô hình được huấn luyện trên dữ liệu chứa ngôn từ kích động thù địch hoặc nội dung độc hại, nó có thể tạo ra phản hồi củng cố những định kiến tiêu cực và thiên vị xã hội.

AI Hiến Pháp là một khuôn khổ được phát triển bởi các nhà nghiên cứu tại Anthropic nhằm điều chỉnh hệ thống AI theo các giá trị của con người, tập trung vào việc làm cho chúng trở nên hữu ích, an toàn và đáng tin cậy.

Ban đầu, mô hình được huấn luyện để đánh giá và điều chỉnh phản hồi của mình dựa trên một tập hợp các nguyên tắc đã thiết lập cùng với một số lượng giới hạn ví dụ minh họa. Tiếp theo, mô hình trải qua giai đoạn huấn luyện bằng học tăng cường (reinforcement learning), trong đó AI tự đưa ra phản hồi dựa trên các nguyên tắc này để chọn phản hồi phù hợp nhất, từ đó giảm sự phụ thuộc vào phản hồi của con người.

AI Hiến Pháp áp dụng các phương pháp như huấn luyện tự giám sát (self-supervision training), giúp AI điều chỉnh theo các nguyên tắc hướng dẫn mà không cần sự giám sát trực tiếp từ con người.

Chiến lược này cũng tạo ra các kỹ thuật tối ưu hóa có giới hạn, đảm bảo rằng AI hoạt động trong phạm vi hữu ích được thiết lập bởi các nguyên tắc của nó. Để giảm thiên vị, hạn chế ảo giác và cải thiện kết quả, trước tiên cần đánh giá hiệu suất của mô hình. Việc này được thực hiện thông qua các tiêu chuẩn đánh giá thống nhất và quy trình kiểm tra chặt chẽ.

Sự phát triển của các mô hình ngôn ngữ lớn được xây dựng dựa trên việc đánh giá chính xác hiệu suất của chúng theo các tiêu chuẩn. Đánh giá chính xác hiệu suất của LLM đòi hỏi một cách tiếp cận đa chiều, kết hợp nhiều tiêu chuẩn và chỉ số khác nhau để đo lường khả năng trên các nhiệm vụ và lĩnh vực khác nhau.

Hàm mục tiêu và chỉ số đánh giá là những thành phần quan trọng trong các mô hình học máy.

Hàm mục tiêu, hay còn gọi là hàm mất mát, là một công thức toán học quan trọng được áp dụng trong giai đoạn huấn luyện mô hình. Nó gán một giá trị mất mát dựa trên các tham số của mô hình. Trong suốt quá trình huấn luyện, thuật toán học sẽ tính toán đạo hàm của hàm mất mát và điều chỉnh các tham số mô hình để giảm giá trị này. Do đó, hàm mất mát cần phải khả vi và có dạng mượt để việc học diễn ra hiệu quả.

Hàm mất mát phổ biến nhất được sử dụng trong các mô hình ngôn ngữ lớn (LLM) là hàm mất mát entropy chéo. Trong mô hình ngôn ngữ nhân quả, nơi mô hình dự đoán từ tiếp theo từ một danh sách xác định trước, điều này về cơ bản tương đương với một bài toán phân loại.

Chỉ số đánh giá là các công cụ đo lường hiệu suất của mô hình theo cách dễ hiểu với con người. Những chỉ số này không được tích hợp trực tiếp trong quá trình huấn luyện, vì vậy chúng không nhất thiết phải khả vi do không yêu cầu tính đạo hàm. Các chỉ số đánh giá phổ biến bao gồm độ chính xác, độ chính xác theo lớp (precision), độ phủ (recall), F1-score, và sai số bình phương trung bình (mean squared error).

Đối với các mô hình ngôn ngữ lớn, chỉ số đánh giá có thể được phân thành:

• Chỉ số nội tại, liên quan trực tiếp đến mục tiêu huấn luyện. Một chỉ số nội tại phổ biến là độ rối loạn (perplexity).

• Chỉ số ngoại tại, đánh giá hiệu suất của mô hình trên các nhiệm vụ thực tế và không liên quan trực tiếp đến mục tiêu huấn luyện. Một số chỉ số ngoại tại phổ biến bao gồm các bộ tiêu chuẩn đánh giá như GLUE, SuperGLUE, BIG-bench, HELM và FLASK.

Chỉ số perplexity đánh giá hiệu suất của các mô hình ngôn ngữ lớn (LLM). Nó đo lường mức độ hiệu quả của mô hình trong việc dự đoán một mẫu hoặc một chuỗi từ cụ thể, chẳng hạn như một câu. Giá trị perplexity càng thấp cho thấy mô hình ngôn ngữ hoạt động càng tốt.

LLM được phát triển để mô phỏng phân bố xác suất của các từ trong câu, giúp chúng tạo ra những câu giống như con người. Perplexity đo lường mức độ không chắc chắn hoặc “bối rối” mà mô hình gặp phải khi xác định xác suất của một chuỗi từ.

Bước đầu tiên để đo perplexity là tính toán xác suất của một câu. Điều này được thực hiện bằng cách nhân các xác suất được gán cho từng từ. Vì các câu dài hơn thường có xác suất thấp hơn (do tích của nhiều giá trị nhỏ hơn một), perplexity áp dụng phương pháp chuẩn hóa. Chuẩn hóa được thực hiện bằng cách chia xác suất cho số lượng từ trong câu và tính trung bình nhân, giúp so sánh có ý nghĩa giữa các câu có độ dài khác nhau.

Bộ tiêu chuẩn General Language Understanding Evaluation (GLUE) bao gồm chín nhiệm vụ hiểu câu tiếng Anh khác nhau, được chia thành ba nhóm:

• Nhiệm vụ câu đơn: Kiểm tra khả năng của mô hình trong việc xác định tính đúng ngữ pháp (CoLA) và phân cực cảm xúc (SST-2) trong các câu đơn lẻ.

• Nhiệm vụ tương đồng & diễn giải: Đánh giá khả năng nhận diện câu diễn giải trong cặp câu (MRPC và QQP) và xác định điểm tương đồng giữa các câu (STS-B).

• Nhiệm vụ suy luận: Kiểm tra khả năng của mô hình trong việc xử lý mối quan hệ giữa các câu, bao gồm nhận diện suy diễn văn bản (RTE), diễn giải câu hỏi dựa trên thông tin trong câu (QNLI), và xác định đại từ trong ngữ cảnh (WNLI).

Điểm GLUE tổng thể được tính bằng cách lấy trung bình kết quả của cả chín nhiệm vụ. GLUE là một nền tảng toàn diện để đánh giá và phân tích điểm mạnh cũng như hạn chế của các mô hình xử lý ngôn ngữ tự nhiên (NLP).

Bộ tiêu chuẩn SuperGLUE là phiên bản nâng cấp của GLUE, giới thiệu các nhiệm vụ phức tạp hơn để thử thách các phương pháp xử lý ngôn ngữ tự nhiên (NLP) hiện tại. Những điểm nổi bật của SuperGLUE bao gồm:

1. Nhiệm vụ: SuperGLUE bao gồm tám nhiệm vụ khác nhau về hiểu ngôn ngữ, bao gồm trả lời câu hỏi Boolean, suy diễn văn bản, xác định đồng tham chiếu, đọc hiểu dựa trên lý luận thông thường và phân biệt nghĩa từ trong ngữ cảnh.

1. Mức độ khó: SuperGLUE tăng độ phức tạp bằng cách giữ lại những nhiệm vụ khó nhất từ GLUE và bổ sung các nhiệm vụ mới để khắc phục những hạn chế của các mô hình NLP hiện tại. Điều này giúp bộ tiêu chuẩn phù hợp hơn với các tình huống hiểu ngôn ngữ trong thực tế.

1. Hiệu suất con người: SuperGLUE cung cấp ước tính về hiệu suất của con người trên từng chỉ số đánh giá, giúp so sánh khả năng của các mô hình NLP với mức độ xử lý ngôn ngữ của con người.

1. Đánh giá: Hiệu suất của các mô hình NLP trên các nhiệm vụ được đo lường và tổng hợp thành một điểm số tổng thể, được tính bằng cách lấy trung bình kết quả từ tất cả các nhiệm vụ riêng lẻ.

Bộ tiêu chuẩn BIG-bench là một nền tảng đánh giá toàn diện và đa dạng dành cho các mô hình ngôn ngữ lớn (LLM). Nó bao gồm hơn 204 nhiệm vụ ngôn ngữ trên nhiều chủ đề và ngôn ngữ khác nhau, đặt ra những thách thức mà các mô hình hiện tại chưa thể giải quyết hoàn toàn.

BIG-bench có hai loại nhiệm vụ:

• Nhiệm vụ dựa trên JSON: Được đánh giá bằng cách so sánh đầu ra của mô hình với đáp án mục tiêu.

• Nhiệm vụ lập trình: Sử dụng Python để đánh giá khả năng tạo văn bản và tính toán xác suất có điều kiện.

Các nhiệm vụ bao gồm viết mã, suy luận thông thường, chơi trò chơi, ngôn ngữ học và nhiều lĩnh vực khác.

Nghiên cứu cho thấy các mô hình lớn hơn có xu hướng đạt hiệu suất tổng hợp tốt hơn nhưng vẫn chưa đạt đến mức độ của con người. Ngoài ra, độ chính xác của dự đoán mô hình được cải thiện khi mở rộng quy mô và áp dụng kỹ thuật làm thưa (sparsity).

BIG-bench được coi là một bộ tiêu chuẩn sống, liên tục chấp nhận các nhiệm vụ mới để đánh giá và phản biện. Mã nguồn của bộ tiêu chuẩn này là mã nguồn mở và có sẵn trên GitHub.

Bộ tiêu chuẩn Holistic Evaluation of Language Models (HELM) được tạo ra nhằm đáp ứng nhu cầu về một tiêu chuẩn toàn diện để so sánh và đánh giá các mô hình ngôn ngữ. HELM được xây dựng dựa trên ba thành phần chính:

1. Phạm vi rộng và nhận diện tính chưa hoàn chỉnh: HELM thực hiện đánh giá trên nhiều tình huống khác nhau, bao gồm đa dạng các nhiệm vụ, lĩnh vực, ngôn ngữ và ứng dụng hướng đến người dùng. Nó thừa nhận rằng không thể bao quát mọi tình huống nhưng chủ động xác định các kịch bản quan trọng và những tiêu chí còn thiếu, từ đó đề xuất các lĩnh vực cần cải thiện.

1. Đánh giá theo nhiều tiêu chí: Không giống như các bộ tiêu chuẩn trước đây chỉ dựa vào độ chính xác, HELM sử dụng phương pháp đánh giá đa tiêu chí. Nó bao gồm bảy chỉ số: độ chính xác, hiệu chuẩn, độ bền, tính công bằng, thiên vị, độc hại và hiệu suất. Bộ tiêu chí đa dạng này giúp đảm bảo một đánh giá toàn diện hơn.

1. Tiêu chuẩn hóa: HELM tập trung vào việc chuẩn hóa quy trình đánh giá giữa các mô hình ngôn ngữ khác nhau. Nó thiết lập một quy trình chuẩn với phương pháp few-shot prompting để so sánh các mô hình. Bằng cách đánh giá 30 mô hình từ nhiều nhà cung cấp khác nhau, HELM tạo ra một nền tảng minh bạch và đáng tin cậy cho các công nghệ ngôn ngữ.

Bộ tiêu chuẩn FLASK (Fine-grained Language Model Evaluation based on Alignment Skill Sets) là một giao thức đánh giá chi tiết được thiết kế dành cho các mô hình ngôn ngữ lớn (LLM). Nó phân tích quá trình đánh giá thành 12 nhóm kỹ năng riêng biệt, mỗi nhóm đại diện cho một khía cạnh quan trọng trong khả năng của mô hình.

Các nhóm kỹ năng này bao gồm: tính logic, hiệu quả logic, tính chính xác thực tế, hiểu biết thông thường, khả năng đọc hiểu, tính sâu sắc, tính đầy đủ, siêu nhận thức, khả năng đọc trôi chảy, tính súc tích và tính vô hại.

Bằng cách phân tách đánh giá thành các nhóm kỹ năng cụ thể, FLASK cung cấp một phương pháp đánh giá chính xác và chuyên sâu về hiệu suất của mô hình trên nhiều nhiệm vụ, lĩnh vực và mức độ khó khác nhau. Cách tiếp cận này mang lại những hiểu biết chi tiết về điểm mạnh và hạn chế của mô hình ngôn ngữ, giúp các nhà nghiên cứu và nhà phát triển tinh chỉnh mô hình theo hướng tập trung và giải quyết các thách thức cụ thể trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP).

Phương pháp giải mã là những kỹ thuật quan trọng được sử dụng bởi các mô hình ngôn ngữ lớn (LLM) để tạo văn bản. Trong quá trình giải mã, mô hình gán một điểm số cho từng từ trong từ vựng, với điểm số cao hơn thể hiện xác suất lớn hơn của từ đó trở thành lựa chọn tiếp theo. Những điểm số này được xác định dựa trên các mẫu đã học trong quá trình huấn luyện.

Tuy nhiên, từ có xác suất cao nhất không phải lúc nào cũng là lựa chọn tối ưu cho bước tiếp theo. Việc chọn từ có xác suất cao nhất ngay từ đầu có thể dẫn đến một chuỗi có xác suất tổng thể thấp hơn. Ngược lại, chọn một từ có xác suất hơi thấp hơn ban đầu có thể tạo ra chuỗi có xác suất cao hơn trong các bước tiếp theo. Mặc dù lý tưởng, nhưng tính toán xác suất cho tất cả các từ trong từ vựng qua nhiều bước là không khả thi do yêu cầu tính toán quá lớn.

Các phương pháp giải mã sau đây nhằm tìm ra sự cân bằng giữa:

• Chiến lược "tham lam", chọn ngay lập tức từ có xác suất cao nhất.

• Tạo điều kiện cho sự đa dạng bằng cách dự đoán nhiều từ cùng lúc để cải thiện tính mạch lạc và phù hợp với ngữ cảnh.

3.1.1 Greedy Search

Greedy Search là phương pháp giải mã cơ bản nhất, trong đó mô hình luôn chọn từ có xác suất cao nhất làm đầu ra tiếp theo. Phương pháp này có hiệu suất tính toán cao nhưng thường dẫn đến phản hồi lặp lại hoặc kém tối ưu, do ưu tiên từ có xác suất cao nhất ngay lập tức thay vì chất lượng tổng thể của đầu ra trong dài hạn.

3.1.2 Sampling

Sampling đưa yếu tố ngẫu nhiên vào quá trình tạo văn bản. Mô hình chọn từ tiếp theo một cách ngẫu nhiên, dựa trên phân phối xác suất của các từ. Phương pháp này có thể tạo ra đầu ra đa dạng hơn, nhưng đôi khi có thể dẫn đến văn bản kém mạch lạc hoặc không hợp lý, do lựa chọn không chỉ dựa vào các xác suất cao nhất.

3.1.3 Beam Search

Beam Search là một chiến lược giải mã nâng cao hơn. Nó chọn N ứng viên hàng đầu (với N là một tham số được xác định trước) có xác suất cao nhất cho từ tiếp theo ở mỗi bước, nhưng chỉ trong một số bước giới hạn. Cuối cùng, mô hình tạo ra chuỗi có xác suất tổng thể cao nhất.

Phương pháp này thu hẹp không gian tìm kiếm, giúp tạo ra kết quả mạch lạc hơn. Tuy nhiên, Beam Search có thể chậm và đôi khi không tạo ra đầu ra tốt nhất, vì có thể bỏ lỡ các từ có xác suất cao nếu chúng đi sau một từ có xác suất thấp hơn.

3.1.4 Top-K Sampling

Top-K Sampling giới hạn phạm vi lựa chọn của mô hình vào K từ có xác suất cao nhất (với K là một tham số). Phương pháp này tạo ra sự đa dạng trong văn bản, đảm bảo tính liên quan bằng cách giảm số lượng từ có thể được chọn, đồng thời tăng cường kiểm soát đầu ra.

3.1.5 Top-p (Nucleus) Sampling

Top-p Sampling, hay còn gọi là Nucleus Sampling, chọn từ từ nhóm nhỏ nhất các từ có tổng xác suất vượt quá một ngưỡng P nhất định (với P là một tham số). Kỹ thuật này giúp kiểm soát đầu ra chính xác hơn bằng cách loại bỏ các từ hiếm hoặc không có khả năng xảy ra. Tuy nhiên, một thách thức của phương pháp này là kích thước danh sách từ được chọn có thể thay đổi, gây ra sự khó đoán trong việc lựa chọn từ tiếp theo.

Ngoài các phương pháp giải mã, một số tham số có thể được điều chỉnh để ảnh hưởng đến quá trình tạo văn bản. Các tham số quan trọng bao gồm nhiệt độ, chuỗi dừng, hình phạt tần suất và hình phạt xuất hiện, có thể được tùy chỉnh trong hầu hết các API LLM phổ biến và các mô hình trên Hugging Face.

3.2.1 Nhiệt độ (Temperature)

Tham số nhiệt độ đóng vai trò quan trọng trong việc cân bằng giữa tính ngẫu nhiên và tính quyết định trong quá trình tạo văn bản.

• Nhiệt độ thấp tạo ra đầu ra có tính quyết định cao và tập trung hơn.

• Nhiệt độ cao làm tăng tính ngẫu nhiên, tạo ra đầu ra đa dạng hơn.

Tham số này hoạt động bằng cách điều chỉnh các giá trị logits trước khi áp dụng softmax trong quá trình tạo văn bản, giúp cân bằng giữa sự đa dạng và chất lượng đầu ra.

1. Logits: Trong quá trình dự đoán của mô hình, một vector logit được tạo ra, với mỗi từ tiềm năng có một giá trị logit tương ứng, phản ánh điểm dự đoán ban đầu.

1. Softmax: Hàm này chuyển đổi logits thành xác suất, đảm bảo tổng các xác suất bằng 1.

1. Nhiệt độ: Quyết định mức độ ngẫu nhiên của đầu ra. Trước khi áp dụng softmax, logits được chia cho giá trị nhiệt độ.

• Nhiệt độ cao (>1): Làm giảm logits, khiến xác suất softmax phân bố đều hơn. Điều này làm tăng khả năng mô hình chọn các từ ít có khả năng xuất hiện hơn, dẫn đến đầu ra sáng tạo và đa dạng hơn, nhưng cũng có thể chứa nhiều lỗi hoặc cụm từ phi logic.

• Nhiệt độ thấp (<1): Làm tăng logits, khiến xác suất softmax tập trung hơn. Kết quả là mô hình có xu hướng chọn từ có xác suất cao nhất, tạo ra đầu ra chính xác hơn nhưng ít đa dạng hơn.

• Nhiệt độ = 1: Không làm thay đổi logits, giữ nguyên phân phối xác suất ban đầu, tạo ra một trạng thái cân bằng.

Tóm lại, nhiệt độ là tham số điều chỉnh sự đánh đổi giữa tính đa dạng (nhiệt độ cao) và độ chính xác (nhiệt độ thấp) của văn bản được tạo.

3.2.2 Chuỗi dừng (Stop Sequences)

Chuỗi dừng là các chuỗi ký tự được chỉ định để kết thúc quá trình tạo văn bản khi chúng xuất hiện trong đầu ra. Những chuỗi này giúp kiểm soát độ dài và cấu trúc của văn bản được tạo, đảm bảo đầu ra tuân theo các yêu cầu đặt ra.

3.2.3 Hình phạt tần suất và hình phạt xuất hiện (Frequency and Presence Penalties)

Hình phạt tần suất và hình phạt xuất hiện là các cơ chế giúp kiểm soát việc lặp lại từ trong văn bản được tạo:

• Hình phạt tần suất giảm xác suất của các từ xuất hiện nhiều lần trong văn bản, hạn chế việc mô hình lặp lại các cụm từ một cách không cần thiết.

• Hình phạt xuất hiện làm giảm khả năng mô hình sử dụng lại bất kỳ từ nào đã xuất hiện trước đó, bất kể tần suất của chúng.

Các mô hình ngôn ngữ lớn (LLM) được huấn luyện sơ bộ hấp thụ kiến thức từ một lượng lớn dữ liệu văn bản, cho phép chúng thực hiện nhiều nhiệm vụ liên quan đến ngôn ngữ. Quá trình tinh chỉnh giúp điều chỉnh LLM cho các ứng dụng chuyên biệt và cho phép chúng xử lý các nhiệm vụ phức tạp hơn.

Các mô hình LLM được huấn luyện sơ bộ đã thay đổi đáng kể lĩnh vực trí tuệ nhân tạo. Những mô hình này được huấn luyện trên các tập dữ liệu văn bản khổng lồ thu thập từ Internet, giúp cải thiện kỹ năng ngôn ngữ bằng cách dự đoán các từ tiếp theo trong câu. Việc đào tạo trên hàng tỷ câu giúp chúng phát triển khả năng hiểu ngữ pháp, ngữ cảnh và ngữ nghĩa, từ đó nắm bắt hiệu quả các sắc thái của ngôn ngữ.

Các mô hình LLM được huấn luyện sơ bộ đã cho thấy khả năng linh hoạt trong nhiều nhiệm vụ ngoài việc tạo văn bản. Điều này được thể hiện rõ trong bài báo năm 2020 về GPT-3, “Language Models are Few-Shot Learners.” Nghiên cứu cho thấy rằng các mô hình LLM đủ lớn có thể hoạt động như "few-shot learners", có thể thực hiện các nhiệm vụ ngoài việc tạo văn bản chỉ với một số ít ví dụ cụ thể, giúp mô hình suy luận logic theo yêu cầu của người dùng. Đây là một bước đột phá quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), vốn trước đây phải dựa vào các mô hình riêng biệt cho từng nhiệm vụ.

Tinh chỉnh là một kỹ thuật cần thiết để nâng cao khả năng của các mô hình được huấn luyện sơ bộ cho các nhiệm vụ chuyên biệt. Mặc dù các mô hình ngôn ngữ lớn (LLM) đã có hiểu biết sâu rộng về ngôn ngữ, nhưng khả năng của chúng có thể được khai thác tối đa thông qua quá trình tinh chỉnh.

Tinh chỉnh giúp biến LLM thành những chuyên gia bằng cách cho chúng tiếp xúc với các tập dữ liệu chuyên biệt cho từng nhiệm vụ. Quá trình này cho phép mô hình điều chỉnh các tham số và cách biểu diễn bên trong để phù hợp hơn với nhiệm vụ cụ thể. Sự thích nghi này giúp cải thiện đáng kể hiệu suất của mô hình trong các nhiệm vụ thuộc lĩnh vực chuyên môn. Ví dụ, một mô hình được tinh chỉnh trên tập dữ liệu hỏi đáp y khoa sẽ có khả năng trả lời các câu hỏi liên quan đến y học một cách hiệu quả hơn.

Sự cần thiết của quá trình tinh chỉnh xuất phát từ tính tổng quát của các mô hình huấn luyện sơ bộ. Mặc dù chúng có kiến thức ngôn ngữ rộng, nhưng không mặc định có ngữ cảnh cho từng nhiệm vụ cụ thể. Ví dụ, tinh chỉnh trở nên quan trọng khi áp dụng phân tích cảm xúc trong các bản tin tài chính.

4.2.1 Tinh Chỉnh Theo Hướng Dẫn: Tạo Trợ Lý Đa Năng

Tinh chỉnh theo hướng dẫn là một hình thức tinh chỉnh khác, giúp biến mô hình thành một trợ lý đa năng bằng cách kiểm soát hành vi của nó. Mục tiêu của phương pháp này là tạo ra một mô hình ngôn ngữ lớn (LLM) có khả năng hiểu các gợi ý như một hướng dẫn thay vì chỉ là văn bản thông thường.

Ví dụ, với lời nhắc:
"Thủ đô của Pháp là gì?"

Một mô hình đã được tinh chỉnh theo hướng dẫn sẽ hiểu đây là một câu hỏi cần được trả lời và phản hồi:
"Paris."

Tuy nhiên, một LLM thông thường có thể diễn giải lời nhắc theo cách khác, chẳng hạn như đang biên soạn một danh sách câu hỏi địa lý và tiếp tục tạo ra một câu hỏi mới:
"Thủ đô của Ý là gì?"

Tinh chỉnh theo hướng dẫn mở rộng khả năng của mô hình bằng cách hướng dẫn nó tạo ra kết quả phù hợp với mục đích mong muốn. Ví dụ, khi nhập lời nhắc:
"Phân tích cảm xúc của văn bản này và xác định xem nó có tích cực hay không."

Mô hình sẽ hiểu đây là một nhiệm vụ cần thực hiện thay vì chỉ tiếp tục văn bản một cách ngẫu nhiên.

Tinh chỉnh theo hướng dẫn giúp mô hình học cách thực hiện nhiều nhiệm vụ khác nhau chỉ bằng các chỉ dẫn. Phương pháp này không yêu cầu một lượng lớn dữ liệu cụ thể cho từng nhiệm vụ, mà thay vào đó sử dụng hướng dẫn bằng văn bản để định hướng quá trình học tập.

Tinh chỉnh truyền thống giúp mô hình làm quen với các tập dữ liệu cụ thể liên quan đến một nhiệm vụ nhất định. Tinh chỉnh theo hướng dẫn đi xa hơn bằng cách tích hợp các chỉ dẫn rõ ràng vào quá trình đào tạo. Phương pháp này giúp các nhà phát triển kiểm soát tốt hơn đầu ra của mô hình, định hình hành vi và hướng dẫn phản hồi theo mục tiêu đặt ra.

4.2.2 Kỹ Thuật Tinh Chỉnh

Có nhiều phương pháp tinh chỉnh tập trung vào thuật toán học được sử dụng, bao gồm:

• Tinh chỉnh toàn bộ (Full Fine-Tuning): Kỹ thuật này điều chỉnh tất cả các tham số trong mô hình ngôn ngữ lớn (LLM) đã được huấn luyện trước để phù hợp với một nhiệm vụ cụ thể. Mặc dù hiệu quả, nhưng tinh chỉnh toàn bộ đòi hỏi tài nguyên tính toán lớn, khiến nó trở nên kém thực tế hơn.

• Thích ứng xếp hạng thấp (LoRA - Low-Rank Adaptation): LoRA sử dụng phương pháp xấp xỉ xếp hạng thấp trên các lớp đầu ra của mô hình LLM. Kỹ thuật này tối ưu hóa tài nguyên tính toán và chi phí bằng cách tinh chỉnh LLM cho các nhiệm vụ và tập dữ liệu cụ thể. Nó giảm đáng kể số lượng tham số cần huấn luyện, từ đó giảm nhu cầu bộ nhớ GPU và tổng chi phí đào tạo. Một biến thể của LoRA, QLoRA, tối ưu hóa hơn nữa bằng cách sử dụng lượng tử hóa tham số.

• Tinh chỉnh có giám sát (SFT - Supervised Fine-Tuning): Đây là một phương pháp tiêu chuẩn, trong đó một mô hình LLM đã được huấn luyện tiếp tục trải qua quá trình tinh chỉnh có giám sát với một lượng dữ liệu mẫu hạn chế. Dữ liệu mẫu thường bao gồm các ví dụ hướng dẫn, lời nhắc (prompt) và các phản hồi tương ứng. Mô hình học từ dữ liệu này và tạo ra phản hồi phù hợp với đầu ra mong đợi. SFT cũng có thể được sử dụng cho tinh chỉnh theo hướng dẫn.

• Học tăng cường từ phản hồi của con người (RLHF - Reinforcement Learning from Human Feedback): Phương pháp này huấn luyện mô hình theo từng bước để điều chỉnh dựa trên phản hồi của con người qua nhiều vòng lặp. RLHF có thể hiệu quả hơn SFT vì nó cho phép cải thiện liên tục dựa trên phản hồi thực tế. Các phương pháp tương tự bao gồm Tối ưu hóa ưu tiên trực tiếp (DPO - Direct Preference Optimization) và Học tăng cường từ phản hồi của AI (RLAIF - Reinforcement Learning from AI Feedback).

Mặc dù các mô hình ngôn ngữ lớn (LLM) vượt trội trong một số nhiệm vụ, nhưng việc hiểu rõ những hạn chế của chúng là một bước quan trọng trong quá trình ứng dụng AI rộng rãi. Ảo giác xảy ra khi mô hình tạo ra văn bản không chính xác và không có cơ sở thực tế. Hiện tượng này dẫn đến việc mô hình tự tin đưa ra phản hồi mà không có căn cứ trong dữ liệu huấn luyện. Việc phát triển các chiến lược hiệu quả để giải quyết những thách thức này là điều cần thiết. Các chiến lược này bao gồm các biện pháp tiền xử lý và kiểm soát đầu vào, điều chỉnh cấu hình mô hình, cải thiện cơ chế, cũng như mở rộng ngữ cảnh và kiến thức. Việc kết hợp các nguyên tắc đạo đức là điều quan trọng để đảm bảo rằng các mô hình tạo ra đầu ra công bằng và đáng tin cậy, góp phần vào việc sử dụng công nghệ tiên tiến một cách có trách nhiệm.

Trong thực tế, việc nâng cao hiệu suất của LLM đòi hỏi phải đánh giá chính xác hiệu suất của chúng. Hàm mục tiêu và chỉ số đánh giá là những thành phần quan trọng trong mô hình học máy. Hàm mục tiêu hoặc hàm mất mát hướng thuật toán giảm giá trị mất mát bằng cách điều chỉnh các tham số mô hình. Đối với LLM, hàm mất mát entropy chéo là một trong những hàm phổ biến nhất.

Các chỉ số đánh giá cung cấp cách đo lường hiệu suất của mô hình theo cách dễ hiểu. Perplexity là một chỉ số nội tại được sử dụng để đánh giá khả năng của LLM trong việc dự đoán một mẫu hoặc chuỗi từ.

Việc đánh giá LLM bao gồm nhiều thách thức, từ việc đo lường mức độ hiểu và tạo văn bản giống con người đến khả năng thực hiện các nhiệm vụ cụ thể như dịch ngôn ngữ, tóm tắt hoặc trả lời câu hỏi. Các bộ tiêu chuẩn đánh giá đóng vai trò như những tập hợp nhiệm vụ hoặc dữ liệu chuẩn để kiểm tra mô hình, cung cấp cơ sở để so sánh các kiến trúc và phiên bản khác nhau. Các tiêu chuẩn phổ biến bao gồm GLUE, SuperGLUE, BIG-bench, HELM, và FLASK. Trong khi đó, các chỉ số đánh giá cung cấp các thước đo định lượng về hiệu suất, cho phép các nhà nghiên cứu và nhà phát triển đánh giá các khía cạnh như độ chính xác, tính lưu loát, tính mạch lạc và hiệu suất tổng thể của mô hình.

Các chiến lược đánh giá đo lường mức độ phù hợp của đầu ra, trong khi các phương pháp như giải mã, các tham số như nhiệt độ, chuỗi dừng, hình phạt tần suất, và các kỹ thuật nhắc như zero-shot và few-shot prompting, huấn luyện sơ bộ và tinh chỉnh giúp cải thiện hiệu quả của mô hình trước và trong quá trình tạo văn bản.

Phương pháp giải mã là các kỹ thuật quan trọng được LLM sử dụng để tạo văn bản. Trong quá trình giải mã, mô hình gán điểm số cho từng từ trong từ vựng, với điểm số cao hơn thể hiện xác suất lớn hơn của từ đó trở thành lựa chọn tiếp theo. Tuy nhiên, từ có xác suất cao nhất không phải lúc nào cũng là lựa chọn tối ưu. Các phương pháp như Greedy Search, Sampling, Beam Search, Top-K Sampling và Top-p (Nucleus) Sampling giúp cân bằng giữa việc chọn ngay từ có xác suất cao nhất và việc tạo ra sự đa dạng trong văn bản.

Các tham số như nhiệt độ, chuỗi dừng, hình phạt tần suất và hình phạt xuất hiện đóng vai trò quan trọng trong việc kiểm soát đầu ra của mô hình. Việc điều chỉnh các tham số này giúp mô hình tạo ra phản hồi phù hợp với yêu cầu cụ thể, từ mức độ chính xác và tập trung cao đến sự đa dạng và sáng tạo.

Huấn luyện sơ bộ đặt nền tảng cho LLM bằng cách tiếp xúc với một lượng lớn dữ liệu văn bản. Tinh chỉnh giúp thu hẹp khoảng cách giữa sự hiểu biết chung và kiến thức chuyên sâu, giúp LLM hoạt động tốt hơn trong các lĩnh vực cụ thể. Tinh chỉnh theo hướng dẫn biến LLM thành các trợ lý thích ứng, cho phép kiểm soát hành vi của chúng thông qua các hướng dẫn rõ ràng.

Các chiến lược tinh chỉnh như tinh chỉnh toàn bộ (Full Fine-Tuning) và phương pháp tiết kiệm tài nguyên như Low-Rank Adaptation (LoRA), cùng với các phương pháp học tập như tinh chỉnh có giám sát (Supervised Fine-Tuning - SFT) và học tăng cường từ phản hồi của con người (Reinforcement Learning from Human Feedback - RLHF), đều mang lại những lợi ích riêng biệt.