Mô hình đa phương thức (Multimodal models) được thiết kế để xử lý và diễn giải nhiều loại dữ liệu khác nhau, hay còn gọi là các phương thức (modalities), bao gồm văn bản, hình ảnh, âm thanh và video. Cách tiếp cận tích hợp này cho phép phân tích toàn diện hơn so với các mô hình chỉ giới hạn ở một loại dữ liệu duy nhất, chẳng hạn như văn bản trong các mô hình ngôn ngữ lớn (LLMs) truyền thống.

Ví dụ, việc kết hợp văn bản với âm thanh hoặc hình ảnh giúp các mô hình này hiểu được thông tin phức tạp hơn, bao gồm các yếu tố như sắc thái giọng nói hoặc ngữ cảnh hình ảnh.

Sự quan tâm ngày càng tăng đối với các mô hình ngôn ngữ lớn (LLMs) đã tự nhiên mở rộng sang khám phá tiềm năng của các mô hình đa phương thức lớn (LMMs), với mục tiêu tạo ra các trợ lý đa năng có thể xử lý nhiều loại nhiệm vụ khác nhau.

Mô hình đa phương thức được thiết kế để xử lý nhiều phương thức đầu vào như văn bản, hình ảnh và video, đồng thời có thể tạo đầu ra ở nhiều dạng khác nhau. Tuy nhiên, một số lượng đáng kể các mô hình đa phương thức lớn (LMMs) phổ biến hiện nay chủ yếu chấp nhận đầu vào là hình ảnh nhưng chỉ tạo ra đầu ra dưới dạng văn bản.

Những mô hình chuyên biệt này thường dựa trên các mô hình thị giác hoặc ngôn ngữ quy mô lớn đã được huấn luyện trước. Chúng được gọi là "Mô hình sinh văn bản từ hình ảnh" (Image-to-Text Generative Models) hoặc "Mô hình ngôn ngữ thị giác" (Visual Language Models - VLMs). Các mô hình này thường đảm nhiệm các nhiệm vụ như trả lời câu hỏi về hình ảnh hoặc tạo mô tả hình ảnh. Một số ví dụ tiêu biểu gồm:

• GIT của Microsoft

• BLIP2 của SalesForce

• Flamingo của DeepMind

4.1.1 Kiến trúc mô hình

Trong kiến trúc của các mô hình này, bộ mã hóa hình ảnh (image encoder) được sử dụng để trích xuất các đặc trưng hình ảnh, sau đó một mô hình ngôn ngữ tiêu chuẩn sẽ tạo ra chuỗi văn bản.

Bộ mã hóa hình ảnh có thể được xây dựng trên nền tảng:

• Mạng nơ-ron tích chập (CNNs), như ResNet

• Kiến trúc Transformer, như Vision Transformer (ViT)

Có hai cách tiếp cận chính để huấn luyện mô hình:

1. Xây dựng từ đầu (training from scratch)

1. Sử dụng mô hình đã huấn luyện trước (fine-tuning pre-trained models) – phương pháp này thường được ưu tiên trong các mô hình tiên tiến.

Một ví dụ điển hình là bộ mã hóa hình ảnh từ mô hình CLIP của OpenAI. Trong khi đó, về mô hình ngôn ngữ, có nhiều lựa chọn đã được huấn luyện trước, chẳng hạn như:

• OPT của Meta

• LLaMA 2 của Meta

• FlanT5 của Google

Một số mô hình, như BLIP2, sử dụng một cải tiến quan trọng: một module kết nối nhẹ có thể huấn luyện giúp liên kết giữa phương thức thị giác và ngôn ngữ. Cách tiếp cận này giúp tiết kiệm chi phí và thời gian huấn luyện, đồng thời đạt hiệu suất mạnh mẽ trong các nhiệm vụ hiểu hình ảnh mà không cần huấn luyện lại toàn bộ mô hình.

4.1.2 Mục tiêu huấn luyện

Các mô hình LMM được huấn luyện bằng hàm mất mát tự hồi quy (auto-regressive loss function), áp dụng lên các token đầu ra.

Khi sử dụng kiến trúc Vision Transformer, một khái niệm quan trọng là "token hình ảnh" (picture tokens), tương tự như cách văn bản được chia thành các token nhỏ hơn như câu, từ hoặc âm tiết để xử lý nhanh hơn. Trong mô hình thị giác, hình ảnh cũng có thể được chia thành các phần nhỏ không chồng lấn, gọi là "image tokens".

Cơ chế chú ý (attention mechanism) đóng vai trò quan trọng trong mô hình Transformer của LMMs:

• Các token hình ảnh có thể "chú ý" lẫn nhau, ảnh hưởng đến cách chúng được biểu diễn trong mô hình.

• Mỗi token văn bản mới được tạo ra sẽ bị ảnh hưởng bởi tất cả các token hình ảnh và văn bản trước đó, giúp mô hình hiểu rõ hơn về mối quan hệ giữa hình ảnh và ngữ cảnh ngôn ngữ.

Mặc dù có cùng mục tiêu huấn luyện, các mô hình đa phương thức ngôn ngữ (LMMs) có sự khác biệt đáng kể trong chiến lược huấn luyện của chúng.

Hầu hết các mô hình như GIT và BLIP2 chỉ sử dụng cặp hình ảnh - văn bản (image-text pairs) để huấn luyện. Cách tiếp cận này giúp xây dựng mối liên kết giữa biểu diễn hình ảnh và văn bản một cách hiệu quả nhưng đòi hỏi một tập dữ liệu lớn, được tuyển chọn cẩn thận gồm các cặp hình ảnh - văn bản.

Ngược lại, mô hình Flamingo được thiết kế để tiếp nhận một lời nhắc đa phương thức (multimodal prompt), có thể bao gồm hình ảnh, video và văn bản, rồi tạo ra phản hồi dạng văn bản mở. Điều này cho phép Flamingo thực hiện tốt các nhiệm vụ như:

• Tạo mô tả hình ảnh (image captioning)

• Trả lời câu hỏi về hình ảnh (visual question answering)

Flamingo cũng áp dụng các cải tiến kiến trúc giúp huấn luyện trên dữ liệu web không có nhãn. Cụ thể, mô hình xử lý văn bản và hình ảnh được trích xuất từ mã HTML của 43 triệu trang web. Ngoài ra, nó còn đánh giá vị trí hình ảnh liên quan đến văn bản, dựa trên sự sắp xếp tương đối của các phần tử hình ảnh và văn bản trong Mô hình Đối tượng Tài liệu (DOM - Document Object Model).

4.2.1 Cách tích hợp các phương thức khác nhau

Việc tích hợp các phương thức (modalities) trong Flamingo diễn ra qua nhiều bước:

1. Bộ tiền xử lý Perceiver Resampler trích xuất đặc trưng không gian - thời gian (spatiotemporal features) từ dữ liệu hình ảnh hoặc video. Những đặc trưng này sau đó được xử lý bởi bộ mã hóa thị giác (Vision Encoder) đã được huấn luyện trước.

1. Perceiver Resampler sau đó tạo ra một số lượng cố định token thị giác (visual tokens).

1. Những token thị giác này sẽ được sử dụng để "điều kiện hóa" một mô hình ngôn ngữ bị đóng băng (frozen language model), tức là một mô hình ngôn ngữ đã được huấn luyện trước và không cập nhật trọng số trong quá trình huấn luyện Flamingo.

1. Để kết nối thông tin hình ảnh với mô hình ngôn ngữ, Flamingo bổ sung các lớp cross-attention mới, được tích hợp vào các lớp hiện có của mô hình ngôn ngữ. Không giống như các phần khác, các lớp này có thể được huấn luyện trong quá trình học.

Mặc dù kiến trúc này kém hiệu quả hơn so với BLIP2 do số lượng tham số phải huấn luyện nhiều hơn, nhưng nó cung cấp cơ chế tích hợp và diễn giải thông tin thị giác tinh vi hơn, giúp mô hình hiểu tốt hơn mối quan hệ giữa văn bản và hình ảnh.

4.2.2 Học trong ngữ cảnh với ít dữ liệu (Few-shot In-Context Learning)

Kiến trúc linh hoạt của Flamingo cho phép nó được huấn luyện với các lời nhắc đa phương thức (multimodal prompts), trong đó văn bản và các token hình ảnh được sắp xếp xen kẽ.

Nhờ khả năng này, mô hình có thể thể hiện những năng lực xuất hiện tự phát (emergent abilities), chẳng hạn như học trong ngữ cảnh với ít dữ liệu (few-shot in-context learning), tương tự như GPT-3.

Điều này có nghĩa là Flamingo có thể học cách thực hiện một nhiệm vụ mới chỉ với một vài ví dụ mẫu trong lời nhắc (prompt), thay vì cần huấn luyện lại toàn bộ mô hình. Đây là một tính năng quan trọng giúp Flamingo trở nên linh hoạt và có thể áp dụng trong nhiều bối cảnh mà không cần dữ liệu huấn luyện chuyên biệt.

Theo báo cáo nghiên cứu, các cải tiến được thể hiện trong mô hình Flamingo đánh dấu một bước tiến quan trọng trong lĩnh vực mô hình ngôn ngữ đa phương thức (LMMs). Tuy nhiên, mặc dù đạt được nhiều thành tựu, DeepMind vẫn chưa công bố Flamingo để sử dụng rộng rãi.

4.3.1 Dự án mã nguồn mở IDEFICS

Để giải quyết vấn đề này, nhóm nghiên cứu tại Hugging Face đã phát triển một phiên bản mã nguồn mở của Flamingo mang tên IDEFICS. Phiên bản này được xây dựng hoàn toàn dựa trên các tài nguyên công khai, bao gồm:

• Mô hình LLaMA v1

• Mô hình OpenCLIP

IDEFICS có hai biến thể:

• Phiên bản "cơ bản" (base)

• Phiên bản "được hướng dẫn" (instructed)

Mỗi biến thể được cung cấp dưới hai kích thước: 9 tỷ và 80 tỷ tham số. Hiệu suất của IDEFICS tương đương với mô hình Flamingo.

Để huấn luyện các mô hình này, nhóm Hugging Face đã sử dụng một tập hợp dữ liệu công khai, bao gồm:

• Wikipedia

• Public Multimodal Dataset

• LAION

• OBELICS – một tập dữ liệu mới với 115 tỷ token, chứa 141 triệu tài liệu văn bản - hình ảnh thu thập từ web, với tổng cộng 353 triệu hình ảnh.

Tập dữ liệu này được xây dựng để phản chiếu tập dữ liệu mà DeepMind sử dụng cho Flamingo, giúp mô hình mã nguồn mở đạt được hiệu suất tương đương.

4.3.2 Open Flamingo – Phiên bản mã nguồn mở khác

Ngoài IDEFICS, còn có một phiên bản mã nguồn mở khác của Flamingo mang tên Open Flamingo. Mô hình với 9 tỷ tham số của Open Flamingo có hiệu suất tương đương với Flamingo gốc của DeepMind.

Như đã thấy trong khả năng học với ít dữ liệu của GPT-3 (few-shot prompting), khi mô hình có thể xử lý các nhiệm vụ mà nó chưa từng gặp trong quá trình huấn luyện, sự quan tâm đối với các mô hình đa phương thức được tinh chỉnh theo hướng dẫn (instruction-fine-tuned LMMs) ngày càng gia tăng.

Bằng cách tinh chỉnh mô hình theo hướng dẫn, chúng có thể thực hiện nhiều nhiệm vụ hơn và phù hợp hơn với ý định của con người. Điều này tương tự với những gì OpenAI đã thực hiện với InstructGPT và gần đây là GPT-4.

Trong những cải tiến mới nhất, GPT-4 với khả năng xử lý thị giác (GPT-4V) là một bước tiến lớn, cho phép mô hình hiểu và thực hiện các hướng dẫn dựa trên đầu vào hình ảnh. Những tiến bộ này đã được đề cập trong:

• Báo cáo kỹ thuật của GPT-4

• GPT-4V(ision) System Card

Sau khi OpenAI ra mắt GPT-4 đa phương thức, lĩnh vực mô hình đa phương thức tinh chỉnh theo hướng dẫn (instruction-tuned LMMs) đã chứng kiến sự bùng nổ trong nghiên cứu và phát triển.

Nhiều phòng thí nghiệm AI đã đóng góp vào sự phát triển của lĩnh vực này bằng các mô hình như:

• LLaVA

• MiniGPT-4

• InstructBLIP

Những mô hình này có kiến trúc tương tự với các LMMs trước đây nhưng được huấn luyện đặc biệt trên tập dữ liệu dành riêng cho việc làm theo hướng dẫn (instruction-following datasets), giúp cải thiện khả năng hiểu và thực hiện nhiệm vụ dựa trên ngữ cảnh và chỉ dẫn của người dùng.

LLaVA là một mô hình ngôn ngữ đa phương thức (LMM) được tinh chỉnh theo hướng dẫn (instruction-tuned). Kiến trúc mạng của nó tương tự như các mô hình đã được đề cập trước đó, nhưng có một số đặc điểm riêng biệt.

Mô hình này tích hợp bộ mã hóa thị giác CLIP đã được huấn luyện trước với mô hình ngôn ngữ Vicuna. Một lớp tuyến tính đơn giản đóng vai trò như một ma trận chiếu (projection matrix) giúp kết nối giữa hai thành phần thị giác và ngôn ngữ.

Ma trận chiếu này, ký hiệu là W, được thiết kế để chuyển đổi đặc trưng hình ảnh thành token nhúng ngôn ngữ. Các token này có cùng kích thước với không gian nhúng từ vựng của mô hình ngôn ngữ, đảm bảo tích hợp mượt mà giữa hai phương thức.

4.5.1 Thiết kế tối giản và hiệu quả

Trong quá trình thiết kế LLaVA, các nhà nghiên cứu đã chọn các lớp chiếu tuyến tính mới, nhẹ hơn so với các module kết nối Q-Former trong BLIP2 hoặc các lớp resampler và cross-attention trong Flamingo.

Lựa chọn này giúp mô hình đạt được hiệu quả cao hơn và kiến trúc đơn giản hơn, giảm chi phí tính toán mà vẫn giữ được hiệu suất tốt.

4.5.2 Quy trình huấn luyện hai giai đoạn

LLaVA được huấn luyện theo một quy trình gồm hai giai đoạn:

• Huấn luyện trước (pre-training):

• Ma trận chiếu được huấn luyện trên một tập con của CC3M, bao gồm các cặp hình ảnh - mô tả.

• Tinh chỉnh toàn bộ mô hình (fine-tuning):

• Trong giai đoạn này, cả ma trận chiếu và mô hình ngôn ngữ được huấn luyện trên tập dữ liệu đa phương thức dành riêng cho các ứng dụng hàng ngày.

Ngoài ra, các tác giả đã sử dụng GPT-4 để tạo ra một tập dữ liệu tổng hợp với các hướng dẫn đa phương thức. Quá trình này sử dụng các cặp dữ liệu hình ảnh có sẵn, trong đó:

• GPT-4 nhận các biểu diễn ký hiệu của hình ảnh bao gồm chú thích (caption) và tọa độ hộp giới hạn (bounding box coordinates).

• Các đại diện này được sử dụng làm lời nhắc (prompt) để GPT-4 tạo ra các mẫu dữ liệu huấn luyện.

4.5.3 Loại dữ liệu huấn luyện

Phương pháp này tạo ra ba loại mẫu huấn luyện chính:

1. Hội thoại hỏi - đáp (question-answer conversations)

1. Mô tả chi tiết hình ảnh (thorough descriptions)

1. Bài toán suy luận phức tạp và lời giải (complex reasoning problems and answers)

Tổng cộng, phương pháp này đã tạo ra 158.000 mẫu huấn luyện.

4.5.5 Đánh giá hiệu suất của LLaVA

LLaVA chứng minh được hiệu quả của phương pháp tinh chỉnh hướng dẫn bằng thị giác chỉ sử dụng mô hình ngôn ngữ GPT-4.

Các nhà nghiên cứu đã kiểm tra năng lực của mô hình bằng cách sử dụng cùng một truy vấn và hình ảnh như trong báo cáo GPT-4, để so sánh kết quả.

Ngoài ra, họ còn thiết lập một mốc SOTA (state-of-the-art) mới bằng cách tinh chỉnh mô hình trên ScienceQA, một tập dữ liệu đánh giá gồm:

• 21.000 câu hỏi trắc nghiệm đa phương thức

• Phạm vi rộng với 3 lĩnh vực chính, 26 chủ đề, 127 danh mục, và 379 kỹ năng khác nhau

Điều này cho thấy LLaVA không chỉ có thể hiểu và xử lý thông tin thị giác mà còn có khả năng tinh chỉnh theo hướng dẫn một cách hiệu quả, giúp cải thiện hiệu suất trong nhiều nhiệm vụ phức tạp.

Trong thời gian gần đây, các mô hình sinh văn bản từ hình ảnh (image-to-text generative models) đã thống trị lĩnh vực mô hình đa phương thức lớn (LMMs). Tuy nhiên, có nhiều mô hình khác mở rộng ra ngoài thị giác và ngôn ngữ, tích hợp nhiều loại dữ liệu đầu vào hơn.

Ví dụ:

• PandaGPT có thể xử lý nhiều loại dữ liệu khác nhau nhờ vào bộ mã hóa ImageBind.

• SpeechGPT kết hợp văn bản và giọng nói, có thể tạo ra cả hai loại đầu ra này.

• NExT-GPT là một mô hình đa năng có khả năng nhận và tạo đầu ra ở nhiều phương thức khác nhau.

Một giải pháp thú vị khác là HuggingGPT, hoạt động cùng nền tảng Hugging Face. Mô hình này có một bộ điều khiển trung tâm là một mô hình ngôn ngữ lớn (LLM), giúp xác định mô hình phù hợp nhất trên Hugging Face cho từng nhiệm vụ, sau đó chọn mô hình đó và trả về kết quả đầu ra.

4.6.1 Câu hỏi quan trọng: Nên chọn mô hình nào?

Khi đánh giá giữa các mô hình ngôn ngữ lớn (LLMs), mô hình đa phương thức lớn (LMMs) hay bất kỳ loại mô hình nào khác, một câu hỏi quan trọng luôn được đặt ra:

• Nên sử dụng mô hình sở hữu độc quyền, mô hình mở hay mô hình mã nguồn mở?

Để đưa ra quyết định phù hợp, trước tiên cần hiểu rõ từng loại mô hình này.

Mô hình ngôn ngữ có thể được phân thành ba loại: mô hình độc quyền, mô hình mở và mô hình mã nguồn mở.

• Mô hình độc quyền, như GPT-4 của OpenAI hay Claude 3 Opus của Anthropic, chỉ có thể truy cập qua API trả phí hoặc giao diện web.

• Mô hình mở, như LLaMA 2 của Meta hay Mixtral 8x7B của Mistral, có kiến trúc và trọng số mô hình được công khai trên internet.

• Mô hình mã nguồn mở, như OLMo của AI2, cung cấp đầy đủ dữ liệu tiền huấn luyện, mã huấn luyện, mã đánh giá và trọng số mô hình. Điều này cho phép các nhà nghiên cứu tái tạo và phân tích mô hình chi tiết hơn.

>_ So sánh hiệu suất và khả năng sử dụng

Mô hình độc quyền thường có hiệu suất cao hơn so với các mô hình mở vì các công ty muốn duy trì lợi thế cạnh tranh. Chúng có xu hướng lớn hơn và trải qua quá trình tinh chỉnh sâu rộng. Tính đến tháng 4 năm 2024, các mô hình độc quyền vẫn dẫn đầu bảng xếp hạng LLM trên LYMSYS Chatbot Arena, nơi thu thập phiếu bình chọn của người dùng để đánh giá mô hình bằng hệ thống xếp hạng Elo.

Một số công ty như OpenAI cho phép người dùng tinh chỉnh mô hình độc quyền, giúp tối ưu hóa hiệu suất cho từng trường hợp sử dụng cụ thể, nhưng vẫn phải tuân thủ các chính sách sử dụng. Những chính sách này yêu cầu người dùng đảm bảo các biện pháp an toàn và không sử dụng mô hình cho mục đích vi phạm pháp luật.

>_ Lựa chọn giữa mô hình độc quyền và mô hình mở

Mô hình mở và mã nguồn mở mang lại khả năng tùy chỉnh hoàn toàn nhưng yêu cầu tài nguyên lớn để triển khai và vận hành. Khi đánh giá mức độ tin cậy, cần cân nhắc khả năng gián đoạn dịch vụ đối với mô hình độc quyền, vì sự cố ngừng hoạt động có thể ảnh hưởng đến quyền truy cập của người dùng.

Việc chọn giữa mô hình độc quyền và mô hình mở phụ thuộc vào nhu cầu của tổ chức, tài nguyên sẵn có và chi phí. Với các nhà phát triển, nên bắt đầu với mô hình độc quyền trong giai đoạn phát triển ban đầu để đảm bảo độ ổn định. Khi sản phẩm đạt được sự ổn định trên thị trường, có thể cân nhắc chuyển sang mô hình mã nguồn mở để tối ưu hóa chi phí và kiểm soát tốt hơn.

>_ Danh sách các mô hình đáng chú ý (cập nhật tháng 4/2024)

Dưới đây là danh sách một số mô hình độc quyền và mô hình mở đáng chú ý trong năm 2024.

Cohere là một nền tảng cho phép các nhà phát triển và doanh nghiệp xây dựng các ứng dụng sử dụng mô hình ngôn ngữ (LLMs). Cohere cung cấp ba loại mô hình chính:

• Command: dành cho các tác vụ trò chuyện và xử lý ngữ cảnh dài

• Rerank: dùng để sắp xếp văn bản theo mức độ liên quan về mặt ngữ nghĩa

• Embed: được sử dụng để tạo các biểu diễn nhúng (embeddings) cho văn bản

Mô hình Command R mới nhất của Cohere có kiến trúc tương tự như các mô hình của OpenAI và được huấn luyện trên lượng dữ liệu lớn thu thập từ internet. Nó được tối ưu hóa cho các hệ thống truy xuất và sinh tổng hợp (RAG) cũng như các tác vụ sử dụng công cụ.

Mô hình này có độ dài ngữ cảnh lên đến 128.000 tokens và hỗ trợ mạnh mẽ trong 10 ngôn ngữ chính.

Quá trình phát triển của các mô hình này vẫn đang tiếp tục, với các bản cập nhật và cải tiến được phát hành thường xuyên.

5.1.1 Cách sử dụng Cohere

Người dùng có thể đăng ký tài khoản Cohere để thử nghiệm mô hình miễn phí bằng API key. API key này không có giới hạn tín dụng hay thời gian sử dụng, nhưng các cuộc gọi API bị giới hạn ở 100 lần/phút, đủ cho các dự án thử nghiệm.

Lưu ý bảo mật: Để lưu trữ API key an toàn, nên lưu vào tệp .env, ví dụ:

Sau đó, cài đặt SDK Python của Cohere bằng lệnh:

5.1.2 Ví dụ sử dụng Cohere để tạo văn bản

Lệnh trên giúp gửi truy vấn hội thoại với mô hình Cohere và thực hiện tìm kiếm web trước khi trả lời câu hỏi.

OpenAI hiện cung cấp hai mô hình ngôn ngữ lớn tiên tiến, GPT-3.5 và GPT-4, cùng với các phiên bản Turbo có tốc độ nhanh hơn.

GPT-3.5 là một lựa chọn hiệu quả về chi phí, có khả năng tạo văn bản tự nhiên, phù hợp với các ứng dụng trò chuyện cơ bản và các nhiệm vụ tạo nội dung khác. Phiên bản Turbo có tốc độ nhanh hơn và giá rẻ hơn, giúp các nhà phát triển có thể tiếp cận một mô hình mạnh mẽ với chi phí thấp. Dù được tối ưu hóa chủ yếu cho tiếng Anh, mô hình này vẫn cho hiệu suất tốt trên nhiều ngôn ngữ khác.

OpenAI cung cấp các mô hình này thông qua API trả phí. Ngoài ra, nền tảng Azure Chat Solution Accelerator sử dụng dịch vụ Azure OpenAI để tích hợp các mô hình này vào môi trường doanh nghiệp, chủ yếu tập trung vào GPT-3.5.

Giải pháp này giúp tăng cường tính bảo mật và kiểm duyệt, cho phép các tổ chức thiết lập môi trường trò chuyện riêng tư trong hệ thống Azure của họ, đồng thời đảm bảo quyền kiểm soát và bảo mật dữ liệu.

5.2.1 GPT-4 và GPT-4 Turbo

OpenAI cũng cung cấp GPT-4 và GPT-4 Turbo, đại diện cho đỉnh cao trong công nghệ mô hình ngôn ngữ và đa phương thức.

Khác với các phiên bản trước, GPT-4 Turbo có thể xử lý cả văn bản và hình ảnh nhưng vẫn chỉ tạo ra đầu ra dạng văn bản. Hiện tại, dòng mô hình GPT-4 được coi là một trong những mô hình tiên tiến nhất về hiệu suất tổng thể.

Chi tiết về kiến trúc và số lượng tham số của GPT-4 vẫn chưa được OpenAI công bố. Tuy nhiên, khả năng đa phương thức của nó đánh dấu một bước đột phá quan trọng trong sự phát triển của AI, giúp mô hình có thể hiểu và tạo nội dung trên nhiều định dạng khác nhau.

Claude 3 là dòng mô hình ngôn ngữ lớn (LLM) mới nhất của Anthropic, thiết lập các tiêu chuẩn mới trong nhiều nhiệm vụ nhận thức khác nhau.

Dòng mô hình này bao gồm ba phiên bản:

• Claude 3 Haiku

• Claude 3 Sonnet

• Claude 3 Opus

Mỗi phiên bản có hiệu suất tăng dần, giúp người dùng lựa chọn giữa sức mạnh xử lý, tốc độ và chi phí phù hợp với nhu cầu ứng dụng cụ thể.

Tính đến tháng 4 năm 2024, Claude 3 Opus được xếp hạng trong nhóm các mô hình hàng đầu trên bảng xếp hạng LMSYS Chatbot Arena.

5.3.1 Khả năng xử lý ngữ cảnh mở rộng

Tất cả các mô hình Claude 3 đều có cửa sổ ngữ cảnh 200.000 tokens, có thể xử lý đầu vào lên đến 1 triệu tokens trong một số trường hợp dành cho khách hàng đặc biệt.

Những cải tiến của Claude 3 giúp nâng cao khả năng:

• Phân tích và dự đoán

• Sáng tạo nội dung với sắc thái tinh tế

• Sinh mã lập trình

• Giao tiếp bằng nhiều ngôn ngữ khác ngoài tiếng Anh

5.3.2 Công nghệ và an toàn AI

Claude 3 được phát triển với các kỹ thuật độc quyền từ Anthropic, bao gồm AI có hiến pháp (Constitutional AI), trong đó mô hình tuân theo một bộ nguyên tắc rõ ràng trong quá trình huấn luyện thay vì dựa hoàn toàn vào phản hồi của con người. Điều này giúp giảm rủi ro thương hiệu và hướng mô hình trở nên hữu ích, trung thực và an toàn hơn.

Anthropic cũng áp dụng quy trình đánh giá bảo mật nghiêm ngặt, bao gồm "red teaming" để kiểm tra mức độ rủi ro của mô hình so với tiêu chuẩn AI Safety Level 3 (ASL-3).

5.3.3 Định hướng phát triển

Anthropic có kế hoạch cập nhật thường xuyên dòng mô hình Claude 3 và giới thiệu thêm các tính năng mới để tăng cường khả năng cho các ứng dụng doanh nghiệp và triển khai quy mô lớn.

Gemini là mô hình ngôn ngữ lớn (LLM) tiên tiến do Google DeepMind phát triển. Đây là một mô hình đa phương thức, có thể xử lý nhiều định dạng dữ liệu như văn bản, hình ảnh, âm thanh, video và mã lập trình. Nhờ khả năng này, Gemini có thể thực hiện nhiều tác vụ khác nhau và hiểu được các đầu vào phức tạp.

Mô hình Gemini có ba phiên bản:

• Gemini Ultra: dành cho các tác vụ phức tạp, có hiệu suất tương đương GPT-4

• Gemini Pro: phù hợp với nhiều tác vụ khác nhau

• Gemini Nano: một mô hình nhỏ gọn được tối ưu hóa để chạy trực tiếp trên thiết bị

Người dùng có thể lấy API key để sử dụng và xây dựng ứng dụng với Gemini thông qua Google AI Studio hoặc Google Vertex AI.

Gần đây, Google đã công bố Gemini Pro 1.5, với cửa sổ ngữ cảnh lên đến 1 triệu tokens. Đây là một trong những mô hình có độ dài ngữ cảnh lớn nhất trong các mô hình nền tảng quy mô lớn hiện nay.

LLaMA 2 là một mô hình ngôn ngữ lớn (LLM) tiên tiến do Meta AI phát triển, được công bố rộng rãi vào ngày 18 tháng 7 năm 2023 với giấy phép mở dành cho mục đích nghiên cứu và thương mại.

Meta đã xuất bản một tài liệu chi tiết dài 77 trang mô tả kiến trúc của LLaMA 2, giúp cộng đồng có thể tái tạo và tùy chỉnh mô hình cho các ứng dụng cụ thể.

LLaMA 2 được huấn luyện trên một tập dữ liệu lớn gồm 2 nghìn tỷ tokens, đạt hiệu suất tương đương với GPT-3.5 theo đánh giá của con người. Đây là một bước tiến đáng kể trong các mô hình mã nguồn mở.

5.5.1 Các phiên bản của LLaMA 2

Mô hình có ba kích thước tham số:

• 7 tỷ (7B)

• 13 tỷ (13B)

• 70 tỷ (70B)

Ngoài ra, LLaMA 2 còn có phiên bản tinh chỉnh theo hướng dẫn được gọi là LLaMA-Chat.

5.5.2 Phương pháp tinh chỉnh

Quá trình tinh chỉnh của LLaMA 2 kết hợp hai phương pháp:

• Huấn luyện có giám sát (SFT - Supervised Fine-Tuning)

• Học tăng cường từ phản hồi của con người (RLHF - Reinforcement Learning with Human Feedback)

Mô hình sử dụng các bộ đánh giá phần thưởng riêng biệt cho độ an toàn và độ hữu ích, giúp cân bằng giữa hai yếu tố này trong câu trả lời.

LLaMA 2 đã đóng góp quan trọng cho lĩnh vực AI sinh tổng hợp, vượt qua các mô hình mã nguồn mở khác như Falcon và Vicuna về hiệu suất.

5.5.3 Cách sử dụng LLaMA 2

LLaMA 2 có sẵn trên Hugging Face Hub. Để thử nghiệm mô hình meta-llama/Llama-2-7b-chat-hf, trước tiên cần yêu cầu quyền truy cập bằng cách điền vào biểu mẫu trên trang web của Meta.

>_ Tải xuống mô hình

Mô hình có kích thước khoảng 14GB, nên quá trình tải xuống có thể mất thời gian.

>_ Tạo văn bản với LLaMA 2

Việc tạo văn bản có thể mất nhiều thời gian nếu sử dụng CPU thay vì GPU.

LLaMA 2 là một trong những lựa chọn mạnh mẽ cho các nhà nghiên cứu và nhà phát triển đang tìm kiếm một mô hình ngôn ngữ lớn có khả năng tùy chỉnh và triển khai linh hoạt.

Mô hình Falcon, được phát triển bởi Viện Đổi mới Công nghệ (TII) của Abu Dhabi, đã thu hút nhiều sự quan tâm kể từ khi ra mắt vào tháng 5 năm 2023. Mô hình này được phát hành theo giấy phép Apache 2.0, cho phép sử dụng trong cả mục đích thương mại.

5.6.1 Hiệu suất và các phiên bản

• Falcon-40B có hiệu suất ấn tượng, vượt qua một số mô hình lớn khác như LLaMA 65B và MPT-7B.

• Falcon-7B, phiên bản nhỏ hơn, được thiết kế để dễ dàng tinh chỉnh trên phần cứng phổ thông. Nó có một nửa số lớp và số chiều nhúng so với Falcon-40B, giúp giảm yêu cầu tài nguyên và tiếp cận được nhiều người dùng hơn.

5.6.2 Dữ liệu huấn luyện

Falcon được huấn luyện trên tập dữ liệu Falcon RefinedWeb, một tập hợp dữ liệu được tuyển chọn kỹ lưỡng, phù hợp cho các ứng dụng đa phương thức. Tập dữ liệu này duy trì các liên kết và văn bản thay thế cho hình ảnh, giúp mô hình có thể xử lý các loại nội dung phức tạp hơn.

Ngoài RefinedWeb, các mô hình Falcon cũng được huấn luyện trên nhiều tập dữ liệu khác, chiếm 75% dữ liệu tiền huấn luyện. Mặc dù tập trung vào tiếng Anh, phiên bản RefinedWeb-Europe mở rộng khả năng hỗ trợ sang nhiều ngôn ngữ châu Âu.

5.6.3 Các phiên bản tinh chỉnh

Các phiên bản Falcon-40B Instruct và Falcon-7B Instruct được tinh chỉnh trên tập hợp dữ liệu hướng dẫn và hội thoại từ các nguồn như GPT4all và GPTeacher, giúp cải thiện hiệu suất đáng kể trong các tác vụ yêu cầu hiểu và thực hiện hướng dẫn.

5.6.4 Cách sử dụng Falcon

Các mô hình Falcon có sẵn trên Hugging Face Hub. Để thử nghiệm tiiuae/falcon-7b-instruct, có thể sử dụng cùng đoạn mã như với mô hình LLaMA, chỉ cần thay đổi model_id:

Falcon là một lựa chọn mạnh mẽ cho những ai đang tìm kiếm một mô hình mã nguồn mở có hiệu suất cao và linh hoạt để tùy chỉnh cho các ứng dụng thực tế.

Dolly là một mô hình ngôn ngữ lớn (LLM) mã nguồn mở do Databricks phát triển. Ban đầu được ra mắt dưới dạng Dolly 1.0, mô hình này có khả năng tương tác giống như trò chuyện. Sau đó, nhóm phát triển đã giới thiệu Dolly 2.0, một phiên bản nâng cấp với khả năng làm theo hướng dẫn tốt hơn.

5.7.1 Tập dữ liệu huấn luyện

Một trong những điểm nổi bật của Dolly 2.0 là được huấn luyện trên một tập dữ liệu hướng dẫn chất lượng cao có tên databricks-dolly-15k. Tập dữ liệu này bao gồm 15.000 cặp lời nhắc và phản hồi, được thiết kế riêng cho việc tinh chỉnh mô hình ngôn ngữ lớn theo hướng dẫn.

Khác với nhiều mô hình khác, tập dữ liệu của Dolly 2.0 là mã nguồn mở, được cấp phép theo Creative Commons Attribution-ShareAlike 3.0 Unported License, cho phép sử dụng, chỉnh sửa và mở rộng, bao gồm cả mục đích thương mại.

5.7.2 Kiến trúc và hiệu suất

Dolly 2.0 được xây dựng dựa trên kiến trúc EleutherAI Pythia-12B, với 12 tỷ tham số. Nhờ đó, mô hình thể hiện khả năng làm theo hướng dẫn khá tốt.

Dù nhỏ hơn một số mô hình như LLaMA 70B, Dolly 2.0 vẫn đạt kết quả ấn tượng nhờ được huấn luyện trên dữ liệu do con người tạo ra, thay vì chỉ dựa vào dữ liệu tổng hợp.

5.7.3 Cách sử dụng Dolly

Các mô hình của Databricks, bao gồm Dolly 2.0, có sẵn trên Hugging Face Hub. Để thử nghiệm mô hình databricks/dolly-v2-3b, có thể sử dụng cùng đoạn mã như với LLaMA, chỉ cần thay đổi model_id:

Dolly 2.0 là một lựa chọn hấp dẫn cho những ai muốn có một mô hình ngôn ngữ mã nguồn mở với khả năng tinh chỉnh hướng dẫn linh hoạt và dễ triển khai.

Dự án Open Assistant hướng đến việc dân chủ hóa quyền truy cập vào các mô hình ngôn ngữ lớn (LLMs) chất lượng cao thông qua cách tiếp cận mã nguồn mở và hợp tác cộng đồng. Khác với nhiều mô hình mã nguồn mở khác có giấy phép hạn chế, Open Assistant hướng tới việc cung cấp một mô hình ngôn ngữ trò chuyện linh hoạt, tương đương với ChatGPT và GPT-4, có thể sử dụng trong môi trường thương mại.

5.8.1 Dữ liệu và sự tham gia cộng đồng

Một trong những điểm nổi bật của Open Assistant là cam kết về tính mở và sự tham gia của cộng đồng. Dự án đã xây dựng một tập dữ liệu lớn với sự đóng góp của hơn 13.000 tình nguyện viên, bao gồm:

• Hơn 600.000 tương tác

• 150.000 tin nhắn

• 10.000 cây hội thoại có chú thích đầy đủ, bao gồm nhiều chủ đề và ngôn ngữ khác nhau

Dự án khuyến khích sự tham gia của cộng đồng bằng cách mời người dùng đóng góp vào việc thu thập dữ liệu và xếp hạng phản hồi, giúp cải thiện khả năng của mô hình theo thời gian.

5.8.2 Hiệu suất và hạn chế

Mô hình Open Assistant có sẵn trên Hugging Face và có thể được truy cập thông qua bản demo trên Hugging Face hoặc trang web chính thức.

Mặc dù có nhiều tính năng hữu ích, mô hình vẫn gặp một số hạn chế, đặc biệt trong các lĩnh vực như toán học và lập trình, do số lượng tương tác huấn luyện trong các lĩnh vực này còn hạn chế.

Nhìn chung, Open Assistant có thể tạo ra phản hồi tự nhiên giống con người, nhưng đôi khi vẫn có thể mắc sai sót. Dự án tiếp tục được cải thiện với sự đóng góp từ cộng đồng, giúp nâng cao chất lượng và độ chính xác của mô hình theo thời gian.

Mistral cung cấp cả mô hình mở và mô hình độc quyền.

5.9.1 Mô hình mã nguồn mở

• Mistral 7B, ra mắt vào tháng 9 năm 2023, là một mô hình mở với 7,3 tỷ tham số. Nó vượt trội hơn LLaMA 2 13B và LLaMA 1 34B trong nhiều bài kiểm tra, đồng thời có hiệu suất gần bằng CodeLLaMA 7B trong các tác vụ liên quan đến mã lập trình.

• Mixtral 8x7B, ra mắt vào tháng 12 năm 2023, là một mô hình hỗn hợp chuyên gia (sparse mixture of experts) có hiệu suất cao hơn LLaMA 2 70B nhưng nhanh hơn 6 lần. Mô hình có 46,7 tỷ tham số nhưng chỉ sử dụng 12,9 tỷ tham số mỗi token, giúp tối ưu hóa chi phí tính toán.

• Mixtral 8x7B Instruct là phiên bản tối ưu hóa để làm theo hướng dẫn, hỗ trợ nhiều ngôn ngữ, có cửa sổ ngữ cảnh 32K tokens, và thể hiện tốt trong việc tạo mã lập trình.

5.9.2 Mô hình độc quyền

• Mistral Large, ra mắt vào tháng 2 năm 2024, là mô hình tiên tiến nhất của Mistral AI. Nó đạt hiệu suất cao trong nhiều bài kiểm tra tiêu chuẩn, xếp vào nhóm các mô hình mạnh nhất hiện nay, cạnh tranh với GPT-4 và Claude 3 Opus. Mô hình này hỗ trợ tiếng Anh, Pháp, Tây Ban Nha, Đức và Ý, có cửa sổ ngữ cảnh 32K tokens, giúp truy xuất thông tin chính xác hơn. Mistral Large có sẵn thông qua La Plateforme và Azure.

• Mistral Small là một phiên bản tối ưu hóa về độ trễ và chi phí, có hiệu suất cao hơn Mixtral 8x7B.

5.9.3 Tính năng nâng cao

Cả Mistral Large và Mistral Small đều hỗ trợ:

• Chế độ đầu ra JSON

• Gọi hàm (function calling)

Những tính năng này giúp các nhà phát triển tương tác với mô hình một cách linh hoạt hơn và tích hợp tốt hơn vào các hệ thống có sẵn.

Trí tuệ nhân tạo sinh tổng hợp (Generative AI) đang tạo ra những cải tiến đáng kể trong chăm sóc bệnh nhân, nghiên cứu dược phẩm và tối ưu hóa vận hành trong lĩnh vực y tế.

Trong chẩn đoán, AI giúp cải thiện độ chính xác trong giám sát bệnh nhân và tối ưu hóa nguồn lực y tế. Khi được tích hợp vào giải phẫu bệnh kỹ thuật số, các mô hình ngôn ngữ lớn đã hỗ trợ đáng kể trong việc phát hiện bệnh, bao gồm cả ung thư. Ngoài ra, AI còn giúp tự động hóa các tác vụ hành chính, giúp đội ngũ y tế tập trung nhiều hơn vào chăm sóc bệnh nhân.

Trong nghiên cứu dược phẩm, AI đã rút ngắn quá trình phát triển thuốc, tăng độ chính xác trong điều trị và giảm chi phí nghiên cứu. Nhờ đó, các liệu pháp điều trị cá nhân hóa và chuyên biệt ngày càng trở nên khả thi, hứa hẹn nâng cao chất lượng chăm sóc sức khỏe.

Các công ty công nghệ y tế (MedTech) cũng đang tận dụng AI để phát triển các thiết bị y tế cá nhân hóa. Bằng cách ứng dụng AI vào quá trình thiết kế, thiết bị y tế có thể được tối ưu hóa theo nhu cầu của từng bệnh nhân, nâng cao hiệu quả điều trị và cải thiện trải nghiệm của họ.

Ví dụ về mô hình LLM trong y tế

• Med-PaLM của Google là một mô hình ngôn ngữ lớn chuyên về y tế, có khả năng xử lý nhiều loại dữ liệu sinh học như văn bản lâm sàng, hình ảnh y khoa và thông tin di truyền. Nó sử dụng một tập hợp tham số thống nhất để hiểu và phân tích các dữ liệu này.

• BioMedLM, do Trung tâm Nghiên cứu Mô hình Nền tảng của Stanford (CRFM) và MosaicML phát triển, là một mô hình ngôn ngữ được tối ưu hóa cho các văn bản y sinh, giúp hỗ trợ nghiên cứu và phát triển trong lĩnh vực y học.

Những tiến bộ này đang mở ra cơ hội mới cho lĩnh vực y tế, giúp tối ưu hóa điều trị và cải thiện chất lượng cuộc sống cho bệnh nhân.

Các mô hình ngôn ngữ lớn (LLMs) như GPT ngày càng có vai trò quan trọng trong lĩnh vực tài chính, giúp các tổ chức tài chính tương tác với khách hàng tốt hơn và quản lý rủi ro hiệu quả hơn.

Một trong những ứng dụng chính của LLMs trong tài chính là cải thiện trải nghiệm khách hàng trên các nền tảng số. Các mô hình này được sử dụng để nâng cao hiệu suất của chatbot hoặc các ứng dụng AI, cung cấp hỗ trợ khách hàng nhanh chóng và chính xác thông qua phản hồi theo thời gian thực.

Ngoài ra, LLMs cũng có đóng góp đáng kể trong phân tích dữ liệu tài chính theo chuỗi thời gian. Khi khai thác các tập dữ liệu lớn từ thị trường chứng khoán, các mô hình này có thể cung cấp những gợi ý quan trọng cho phân tích kinh tế vĩ mô và dự báo thị trường chứng khoán. Nhờ khả năng nhận diện xu hướng và cơ hội đầu tư tiềm năng, chúng giúp các tổ chức tài chính đưa ra quyết định hợp lý hơn.

Một ví dụ điển hình về ứng dụng LLMs trong tài chính là BloombergGPT. Đây là mô hình được Bloomberg phát triển, huấn luyện trên cả tài liệu tổng quát và tài liệu chuyên ngành tài chính. Mô hình này thể hiện hiệu suất vượt trội trong xử lý ngôn ngữ tài chính, đồng thời vẫn duy trì được khả năng thực hiện các tác vụ ngôn ngữ tổng quát khác.

Các mô hình ngôn ngữ và trí tuệ nhân tạo sinh tổng hợp đang có tác động mạnh mẽ đến lĩnh vực viết nội dung, cung cấp các công cụ hữu ích để tạo nội dung nhanh chóng và hiệu quả hơn.

Ứng dụng của AI trong viết nội dung rất đa dạng. Nó giúp đẩy nhanh quá trình sáng tác, khắc phục tình trạng bí ý tưởng và tăng năng suất, từ đó giảm chi phí. Ngoài ra, AI còn hỗ trợ duy trì giọng điệu thương hiệu nhất quán bằng cách học và tái tạo phong cách ngôn ngữ của doanh nghiệp, giúp các chiến dịch tiếp thị có sự đồng nhất hơn.

Một số trường hợp sử dụng phổ biến bao gồm viết nội dung cho trang web và bài đăng blog, tạo cập nhật trên mạng xã hội, soạn mô tả sản phẩm và tối ưu hóa nội dung để tăng khả năng hiển thị trên công cụ tìm kiếm. AI cũng đóng vai trò quan trọng trong việc tạo nội dung tùy chỉnh cho ứng dụng di động, điều chỉnh phù hợp với từng nền tảng và trải nghiệm người dùng.

Jasper là một ví dụ về công cụ giúp đơn giản hóa việc tạo nội dung tiếp thị bằng cách tận dụng các mô hình ngôn ngữ lớn. Người dùng có thể chọn từ các phong cách có sẵn hoặc thiết lập giọng điệu riêng biệt theo thương hiệu của mình.

Mô hình ngôn ngữ lớn ngày càng có giá trị trong học tập trực tuyến và dạy kèm cá nhân hóa. Bằng cách đánh giá tiến độ học tập của từng cá nhân, các mô hình này có thể cung cấp phản hồi phù hợp, kiểm tra thích ứng và điều chỉnh phương pháp giảng dạy theo nhu cầu của từng học sinh.

Trước tình trạng thiếu giáo viên, các mô hình này mang đến các giải pháp linh hoạt như giáo viên ảo hoặc hỗ trợ giáo viên với các công cụ tiên tiến. Điều này giúp giáo viên có thể đóng vai trò như người hướng dẫn, cung cấp hỗ trợ cá nhân hóa và tạo ra trải nghiệm học tập tương tác hơn.

AI cũng có khả năng phân tích dữ liệu về hiệu suất học tập của học sinh, từ đó cá nhân hóa lộ trình học tập, điều chỉnh nội dung sao cho phù hợp với tốc độ và nhu cầu riêng của từng người.

Một ví dụ điển hình về ứng dụng của mô hình ngôn ngữ trong giáo dục là Khanmigo của Khan Academy. Công cụ này hoạt động như một gia sư ảo, cung cấp giải thích chi tiết và ví dụ để giúp học sinh hiểu sâu hơn về các môn học. Ngoài ra, nó còn hỗ trợ học ngôn ngữ bằng cách tạo câu mẫu giúp người học luyện tập ngữ pháp và từ vựng, góp phần nâng cao trình độ ngoại ngữ.

Mô hình ngôn ngữ lớn và AI sinh tổng hợp đang trở thành công cụ không thể thiếu đối với các nhà phát triển phần mềm. Các mô hình như GPT-4 và các phiên bản trước đó có khả năng tạo ra đoạn mã từ các lời nhắc bằng ngôn ngữ tự nhiên, giúp tăng hiệu suất lập trình đáng kể. Với dữ liệu huấn luyện từ một lượng lớn mã nguồn, các mô hình này có thể hiểu được ngữ cảnh và ngày càng cải thiện độ chính xác khi tạo mã.

Ứng dụng của mô hình ngôn ngữ trong lập trình rất đa dạng. Chúng hỗ trợ hoàn thành mã bằng cách đề xuất các đoạn mã khi lập trình viên đang gõ, giúp tiết kiệm thời gian và giảm lỗi cú pháp. Ngoài ra, mô hình này còn được sử dụng để tạo unit test và tự động hóa việc viết các trường hợp kiểm thử, qua đó nâng cao chất lượng mã và giúp bảo trì phần mềm hiệu quả hơn.

Tuy nhiên, việc sử dụng AI sinh tổng hợp trong lập trình cũng đi kèm với những thách thức. Mặc dù các công cụ này giúp tăng năng suất, nhưng lập trình viên vẫn cần kiểm tra kỹ mã được tạo ra để đảm bảo không có lỗi hoặc lỗ hổng bảo mật. Việc giám sát và xác thực đầu ra của mô hình là rất quan trọng để tránh các lỗi không mong muốn.

Một ví dụ tiêu biểu về sản phẩm ứng dụng mô hình ngôn ngữ trong lập trình là GitHub Copilot. Công cụ này được huấn luyện trên hàng tỷ dòng mã và có thể chuyển đổi các lời nhắc bằng ngôn ngữ tự nhiên thành các gợi ý lập trình cho nhiều ngôn ngữ khác nhau.

Trong ngành luật, các mô hình ngôn ngữ lớn và AI sinh tổng hợp đang trở thành công cụ hữu ích, hỗ trợ nhiều ứng dụng phù hợp với các yêu cầu đặc thù của lĩnh vực này. Chúng có khả năng xử lý ngôn ngữ pháp lý phức tạp, giúp diễn giải luật và theo kịp sự thay đổi liên tục của hệ thống pháp luật. Các mô hình này có thể hỗ trợ đáng kể cho các chuyên gia pháp lý trong nhiều nhiệm vụ như tư vấn pháp lý, hiểu các tài liệu pháp lý phức tạp và phân tích văn bản từ các vụ kiện.

Một trong những mục tiêu quan trọng của việc ứng dụng mô hình ngôn ngữ trong pháp luật là giảm thiểu các lỗi sai, hay còn gọi là "ảo giác" của mô hình, vốn là một vấn đề phổ biến. Việc tích hợp kiến thức chuyên ngành, thông qua các mô-đun tham chiếu hoặc sử dụng dữ liệu đáng tin cậy từ các nguồn tư pháp chính thống, có thể giúp mô hình tạo ra các kết quả chính xác hơn.

Ngoài ra, các mô hình này có thể nhận diện các thuật ngữ pháp lý quan trọng trong đầu vào của người dùng và nhanh chóng đánh giá các tình huống pháp lý, giúp tăng cường khả năng ứng dụng trong thực tế.

Việc triển khai mô hình ngôn ngữ lớn vào các ứng dụng thực tế đặt ra nhiều rủi ro và thách thức về mặt đạo đức.

Một rủi ro đáng chú ý là hiện tượng "ảo giác", khi mô hình tạo ra thông tin có vẻ hợp lý nhưng thực chất là sai lệch. Điều này có thể gây hậu quả nghiêm trọng, đặc biệt trong các lĩnh vực nhạy cảm như y tế, tài chính và pháp luật, nơi mà độ chính xác là yếu tố quan trọng.

Một vấn đề khác là "thiên kiến". Các mô hình có thể vô tình phản ánh và khuếch đại những định kiến xã hội có trong dữ liệu huấn luyện. Điều này có thể dẫn đến những kết quả thiếu công bằng trong các lĩnh vực quan trọng như chăm sóc sức khỏe và tài chính. Để giải quyết vấn đề này, cần có những nỗ lực đánh giá dữ liệu kỹ lưỡng, thúc đẩy tính bao trùm và liên tục cải thiện sự công bằng của mô hình.

Bảo mật dữ liệu và quyền riêng tư cũng là một mối quan tâm lớn. Mô hình có thể vô tình ghi nhớ và tiết lộ thông tin nhạy cảm, dẫn đến nguy cơ rò rỉ dữ liệu. Để giảm thiểu rủi ro này, các nhà phát triển cần áp dụng các biện pháp như ẩn danh dữ liệu và kiểm soát quyền truy cập chặt chẽ.

Bên cạnh đó, tác động của mô hình ngôn ngữ đến thị trường lao động cũng cần được cân nhắc. Dù AI mang lại lợi ích tự động hóa, nhưng cần duy trì sự cân bằng với sự tham gia của con người để bảo toàn giá trị của tri thức và kinh nghiệm thực tế.

Cuối cùng, việc quá phụ thuộc vào mô hình ngôn ngữ mà không có sự đánh giá của con người có thể gây ra những hậu quả nghiêm trọng. Một cách tiếp cận có trách nhiệm, kết hợp giữa lợi ích của AI và sự giám sát của con người, là điều cần thiết để đảm bảo việc sử dụng mô hình ngôn ngữ lớn một cách hiệu quả và có đạo đức.

Kiến trúc transformer đã chứng minh được tính linh hoạt của nó trong nhiều ứng dụng khác nhau. Ban đầu, kiến trúc này được thiết kế để xử lý các nhiệm vụ chuyển đổi chuỗi dữ liệu (sequence-to-sequence), chẳng hạn như dịch thuật. Sự phát triển tiếp theo của transformer bắt đầu với sự ra đời của các mô hình chỉ sử dụng bộ mã hóa (encoder-only) như BERT, sau đó là các mô hình chỉ sử dụng bộ giải mã (decoder-only) trong các phiên bản đầu tiên của GPT. Tuy nhiên, cả hai kiến trúc này đều có chung một số thành phần cơ bản, như các lớp nhúng và cơ chế attention.

Chúng ta đã tìm hiểu cấu trúc của mô hình bằng cách tải một mô hình đã được huấn luyện trước và phân tích các thành phần quan trọng của nó. Một trong những yếu tố cốt lõi bên trong mô hình ngôn ngữ lớn là cơ chế attention, đặc biệt là self-attention, giúp tính toán tổng trọng số của các vector nhúng từ tất cả các từ trong một câu.

Mặc dù bài báo về transformer ban đầu đã đề xuất một kiến trúc hiệu quả, nhiều biến thể đã được phát triển với một số điều chỉnh nhỏ trong mã nguồn, như thay đổi kích thước nhúng hoặc số lượng lớp ẩn. Một số nghiên cứu cũng chỉ ra rằng việc di chuyển lớp chuẩn hóa batch trước cơ chế attention có thể cải thiện đáng kể hiệu suất của mô hình. Tuy nhiên, các mô hình độc quyền như GPT-3 chưa công bố mã nguồn, nên có thể tồn tại một số khác biệt trong thiết kế.

Mặc dù các mô hình ngôn ngữ lớn có vẻ như là giải pháp tối ưu cho mọi tác vụ, đôi khi một mô hình nhỏ hơn, tập trung vào một nhiệm vụ cụ thể có thể mang lại hiệu quả tương đương mà lại tiết kiệm tài nguyên hơn. Ví dụ, việc sử dụng một mô hình nhẹ như DistilBERT trên máy chủ nội bộ có thể là lựa chọn hợp lý hơn để đo lường độ tương đồng giữa các văn bản, thay vì sử dụng các API đắt đỏ từ các mô hình độc quyền.

Gia đình GPT là một ví dụ về kiến trúc chỉ sử dụng bộ giải mã (decoder-only). Các mô hình này đóng vai trò quan trọng trong sự phát triển của các mô hình ngôn ngữ lớn hiện nay. Việc hiểu rõ kiến trúc transformer và nhận diện các đặc điểm của mô hình giải mã là rất quan trọng. Ban đầu, các mô hình GPT được thiết kế để tự động hoàn thành văn bản đầu vào từng token một. Câu hỏi thú vị đặt ra là làm thế nào mà các mô hình tự động hoàn thành này lại phát triển thành những hệ thống mạnh mẽ có khả năng hiểu và làm theo hướng dẫn, cũng như thực hiện nhiều nhiệm vụ phức tạp khác.

Sự quan tâm ngày càng tăng đối với mô hình ngôn ngữ lớn đã dẫn đến việc mở rộng sang các mô hình đa phương thức, nhằm tạo ra các trợ lý tổng quát, có khả năng xử lý nhiều dạng dữ liệu khác nhau. Trong kiến trúc của những mô hình này, một bộ mã hóa hình ảnh được sử dụng để trích xuất đặc trưng thị giác, sau đó một mô hình ngôn ngữ sẽ tạo ra văn bản dựa trên các đặc trưng đó. Một số mô hình kết hợp giữa thị giác và ngôn ngữ nổi bật hiện nay bao gồm GPT-4 đa phương thức của OpenAI, LLaVA, MiniGPT-4 và InstructBlip. Các mô hình đa phương thức tiên tiến hơn có thể tích hợp nhiều dạng dữ liệu hơn, cho phép chúng khái quát hóa tốt hơn trong các tình huống chưa từng thấy trước đó nhờ vào cơ chế tinh chỉnh theo hướng dẫn.

Mô hình ngôn ngữ có thể được chia thành ba loại chính:

• Mô hình độc quyền, như GPT-4 của OpenAI hay Claude 3 Opus của Anthropic, chỉ có thể truy cập qua các API trả phí hoặc nền tảng web.

• Mô hình mở, như LLaMA 2 của Meta hay Mistral 7B, có kiến trúc và trọng số mô hình được công khai trên internet.

• Mô hình mã nguồn mở, như OLMo của AI2, cung cấp đầy đủ dữ liệu tiền huấn luyện, mã huấn luyện, mã đánh giá và trọng số mô hình, cho phép các nhà nghiên cứu tái tạo và phân tích chi tiết.

Một số mô hình đáng chú ý khác bao gồm Falcon của TII, nổi bật với hiệu suất cao và tập dữ liệu huấn luyện độc đáo, Dolly 2.0 của Databricks, cung cấp tập dữ liệu hướng dẫn chất lượng cao với giấy phép mở, và Open Assistant, một dự án cộng đồng giúp mở rộng khả năng tiếp cận các mô hình ngôn ngữ lớn.

Dù các mô hình ngôn ngữ lớn có tác động mạnh mẽ đến nhiều ngành công nghiệp, việc triển khai chúng trong thực tế vẫn đặt ra nhiều thách thức, bao gồm hiện tượng ảo giác, thiên kiến, quyền riêng tư dữ liệu và tác động của AI đối với thị trường lao động. Việc sử dụng các mô hình này cần một cách tiếp cận có trách nhiệm, kết hợp giữa khả năng tự động hóa của AI và sự giám sát của con người để đảm bảo hiệu quả và tính đạo đức trong ứng dụng thực tế.