Vào tháng 2, khi những gã khổng lồ công nghệ như Microsoft và Google công bố chatbot AI của họ, Meta cũng tung ra một mô hình ngôn ngữ lớn mới. Phiên bản đầu tiên, nhỏ hơn của LLaMA chỉ giới hạn cho các nhà nghiên cứu.
Meta đang chi số tiền kỷ lục cho cơ sở hạ tầng AI
Năm tháng sau, Meta giới thiệu Llama 2, thế hệ tiếp theo của mô hình ngôn ngữ lớn mã nguồn mở. Meta vẫn trung thành với niềm tin từ lâu rằng cho phép tất cả các loại lập trình viên mày mò công nghệ là cách tốt nhất để cải thiện nó. Nhưng lần này, Llama 2 sẽ không chỉ giới hạn cho các nhà nghiên cứu. Meta cho biết họ đang mở nguồn mô hình AI để sử dụng thương mại thông qua quan hệ đối tác với các nhà cung cấp đám mây lớn, bao gồm cả Microsoft Corp.
“Chúng tôi tin rằng tiếp cận mở là cách phù hợp để phát triển các mô hình AI ngày nay, đặc biệt là những mô hình trong không gian tổng quát nơi công nghệ đang phát triển nhanh chóng”, Meta cho biết trong một bài đăng trên blog hôm qua (18/6). Công ty mẹ của Facebook tin rằng việc biến mô hình ngôn ngữ lớn của mình thành mã nguồn mở là một lựa chọn an toàn hơn.
“Mở quyền truy cập vào các mô hình AI ngày nay có nghĩa là một thế hệ các nhà phát triển và nhà nghiên cứu có thể kiểm tra chúng một cách thoải mái, xác định và giải quyết vấn đề nhanh chóng với tư cách là một cộng đồng. Bằng cách xem cách những người khác sử dụng những công cụ này, nhóm của chúng tôi có thể học hỏi từ họ, cải thiện những công cụ đó và khắc phục các lỗ hổng”, công ty cho biết.
Một cách riêng biệt, Mark Zuckerberg, trong một bài đăng trên trang Facebook cá nhân của mình, đã chia sẻ cách Meta có một lịch sử lâu dài về việc cung cấp nguồn mở cho cơ sở hạ tầng và AI của họ. “Từ PyTorch, khung máy học hàng đầu, đến các mô hình như Segment Anything, ImageBind và Dino, đến cơ sở hạ tầng cơ bản như một phần của Dự án Điện toán Mở. Điều này đã giúp chúng tôi xây dựng các sản phẩm tốt hơn bằng cách thúc đẩy tiến bộ trong toàn ngành”, Mark lưu ý.
Động thái của Meta cũng sẽ thiết lập công ty cùng với những gã khổng lồ công nghệ khác vì có đóng góp quan trọng cho cuộc chạy đua vũ trang AI. Giám đốc điều hành Mark Zuckerberg đã nói rằng việc kết hợp các cải tiến AI vào tất cả các sản phẩm và thuật toán của công ty là ưu tiên hàng đầu và Meta đang chi số tiền kỷ lục cho cơ sở hạ tầng AI.
Theo Meta, đã có nhu cầu lớn đối với Llama 1 từ các nhà nghiên cứu — với hơn 100.000 yêu cầu truy cập vào mô hình ngôn ngữ lớn.
Mô hình AI mới nhất của Meta có những gì?
Việc triển khai thương mại Llama 2 là dự án đầu tiên ra mắt từ nhóm AI sáng tạo của công ty, một nhóm mới được thành lập vào tháng Hai. Theo Zuckerberg, Llama 2 đã được đào tạo trước và tinh chỉnh các mô hình với các thông số 7 tỷ, 13 tỷ và 70 tỷ. Ông nói: “Llama 2 đã được đào tạo trước với nhiều dữ liệu hơn 40% so với Llama 1 và có những cải tiến đối với kiến trúc của nó.
Đối với các mô hình tinh chỉnh, Zuckerberg cho biết Meta đã thu thập hơn một triệu chú thích của con người và áp dụng phương pháp học tăng cường và tinh chỉnh có giám sát với phản hồi của con người (RLHF) với kết quả hàng đầu về an toàn và chất lượng.
Meta cũng thông báo rằng Microsoft sẽ phân phối phiên bản mô hình AI mới thông qua dịch vụ đám mây Azure của mình và sẽ chạy trên hệ điều hành Windows. Meta đề cập đến Microsoft và nói đó là “đối tác ưa thích của chúng tôi”. Trong cuộc đua AI sáng tạo, Microsoft đã nổi lên như một công ty dẫn đầu rõ ràng về AI thông qua quan hệ đối tác công nghệ và đầu tư với OpenAI, người tạo ra ChatGPT, công ty tính phí truy cập vào mô hình của mình.
Meta và Microsoft hợp tác, mang đến cho các nhà nghiên cứu và doanh nghiệp quyền truy cập để xây dựng mô hình ngôn ngữ lớn thế hệ tiếp theo. Nguồn: Instagram của Mark Zuckerberg
“Bắt đầu từ hôm nay, Llama 2 đã có trong danh mục mô hình Azure AI, cho phép các nhà phát triển sử dụng Microsoft Azure để xây dựng và tận dụng các công cụ gốc trên đám mây của họ, lọc nội dung và các tính năng an toàn. Llama 2 cũng được tối ưu hóa để chạy cục bộ trên Windows, mang đến cho các nhà phát triển quy trình làm việc liền mạch khi họ mang lại trải nghiệm AI sáng tạo cho khách hàng trên các nền tảng khác nhau”, gã khổng lồ công nghệ cho biết trong bài đăng trên blog của mình.
Meta cho biết Llama 2 có sẵn thông qua Amazon Web Services (AWS), Hugging Face và các nhà cung cấp khác.
Qualcomm hợp tác với Meta để chạy Llama 2 trên điện thoại
Ngay sau khi Meta công bố Llama 2, Qualcomm đã thông báo rằng họ đang hợp tác với gã khổng lồ công nghệ này để tạo ra mô hình ngôn ngữ lớn mới. “Qualcomm Technologies Inc. và Meta đang làm việc để tối ưu hóa việc thực thi các mô hình ngôn ngữ lớn Llama 2 của Meta trực tiếp trên thiết bị – mà không dựa vào việc sử dụng duy nhất các dịch vụ đám mây”, Qualcomm cho biết.
Đối với nhà thiết kế chip Hoa Kỳ, khả năng chạy các mô hình AI tổng quát như Llama 2 trên các thiết bị như điện thoại thông minh, PC, tai nghe VR/AR và phương tiện cho phép nhà phát triển tiết kiệm chi phí đám mây và cung cấp cho người dùng trải nghiệm cá nhân hóa, đáng tin cậy hơn, riêng tư. Qualcomm dự kiến sẽ triển khai AI dựa trên Llama 2 trên các thiết bị chạy Snapdragon từ năm 2024 trở đi.
Durga Malladi, phó chủ tịch cấp cao kiêm tổng giám đốc công nghệ cho biết: “Chúng tôi hoan nghênh cách tiếp cận của Meta đối với AI mở và có trách nhiệm, đồng thời cam kết thúc đẩy đổi mới và giảm rào cản gia nhập cho các nhà phát triển ở mọi quy mô bằng cách đưa AI sáng tạo vào thiết bị”.
Malladi cho rằng để mở rộng quy mô AI tổng quát thành xu hướng một cách hiệu quả; AI sẽ cần chạy trên cả đám mây và các thiết bị ở biên, chẳng hạn như điện thoại thông minh, máy tính xách tay, phương tiện giao thông và thiết bị IoT.
