Gemma được xây dựng để phát triển trí tuệ nhân tạo có trách nhiệm từ cùng một nghiên cứu và công nghệ được sử dụng để tạo ra các mô hình Gemini.
Tại Google, chúng tôi tin rằng việc làm cho trí tuệ nhân tạo hữu ích cho mọi người. Chúng tôi có một lịch sử dài trong việc đóng góp các đổi mới cho cộng đồng mở, như với Transformers, TensorFlow, BERT, T5, JAX, AlphaFold và AlphaCode. Hôm nay, chúng tôi rất vui mừng giới thiệu một thế hệ mới của các mô hình mở từ Google để hỗ trợ các nhà phát triển và nhà nghiên cứu xây dựng trí tuệ nhân tạo có trách nhiệm.
Các mô hình mở Gemma
Gemma là một họ các mô hình mở tiên tiến nhẹ được xây dựng từ cùng một nghiên cứu và công nghệ được sử dụng để tạo ra các mô hình Gemini. Được phát triển bởi Google DeepMind và các nhóm khác trên Google, Gemma được lấy cảm hứng từ Gemini, và tên gọi này phản ánh từ Latinh gemma, có nghĩa là “đá quý.” Kèm theo trọng lượng mô hình của chúng tôi, chúng tôi cũng phát hành các công cụ để hỗ trợ sự đổi mới của các nhà phát triển, thúc đẩy sự hợp tác và hướng dẫn việc sử dụng Gemma một cách có trách nhiệm.
Gemma đã có mặt trên toàn cầu, bắt đầu từ hôm nay. Dưới đây là các chi tiết chính cần biết:
- Chúng tôi phát hành trọng lượng mô hình ở hai kích thước: Gemma 2B và Gemma 7B. Mỗi kích thước được phát hành với các biến thể được huấn luyện trước và được điều chỉnh theo hướng dẫn.
- Bộ công cụ Responsible Generative AI Toolkit cung cấp hướng dẫn và các công cụ cần thiết để tạo ra các ứng dụng trí tuệ nhân tạo an toàn hơn với Gemma.
- Chúng tôi cung cấp các bộ công cụ cho việc suy luận và tinh chỉnh cụ thể theo dõi (SFT) trên tất cả các khung công cụ chính: JAX, PyTorch và TensorFlow thông qua Keras 3.0 nguyên gốc.
- Các sổ ghi chú Colab và Kaggle sẵn sàng sử dụng, kèm theo tích hợp với các công cụ phổ biến như Hugging Face, MaxText, NVIDIA NeMo và TensorRT-LLM, giúp bắt đầu với Gemma một cách dễ dàng.
- Các mô hình Gemma được huấn luyện trước và được điều chỉnh theo hướng dẫn có thể chạy trên máy tính xách tay, máy trạm hoặc Google Cloud với việc triển khai dễ dàng trên Vertex AI và Google Kubernetes Engine (GKE).
- Tối ưu hóa trên nhiều nền tảng phần cứng trí tuệ nhân tạo đảm bảo hiệu suất hàng đầu trong ngành, bao gồm NVIDIA GPUs và Google Cloud TPUs.
- Các điều khoản sử dụng cho phép việc sử dụng thương mại và phân phối có trách nhiệm cho tất cả các tổ chức, không phân biệt kích thước.
Hiệu suất tiên tiến
Các mô hình Gemma chia sẻ các thành phần kỹ thuật và cơ sở hạ tầng với Gemini, mô hình trí tuệ nhân tạo lớn nhất và mạnh mẽ nhất của chúng tôi hiện nay có sẵn rộng rãi. Điều này cho phép Gemma 2B và 7B đạt được hiệu suất hàng đầu cho kích thước của chúng so với các mô hình mở khác. Và các mô hình Gemma có thể chạy trực tiếp trên máy tính xách tay hoặc máy tính để bàn của các nhà phát triển. Đáng chú ý, Gemma vượt trội so với các mô hình lớn hơn đáng kể trên các chỉ số chính trong khi tuân thủ các tiêu chuẩn nghiêm ngặt của chúng tôi về sản phẩm đầu ra an toàn và có trách nhiệm. Xem báo cáo kỹ thuật để biết chi tiết về hiệu suất, cấu trúc dữ liệu và phương pháp mô hình hóa.
Thiết kế có trách nhiệm
Gemma được thiết kế với Các Nguyên tắc AI của chúng tôi đặt ở vị trí hàng đầu. Nhằm làm cho các mô hình được huấn luyện trước của Gemma an toàn và đáng tin cậy, chúng tôi sử dụng các kỹ thuật tự động hóa để lọc ra một số thông tin cá nhân và dữ liệu nhạy cảm khác từ các tập dữ liệu huấn luyện. Ngoài ra, chúng tôi sử dụng việc điều chỉnh cụ thể và học tăng cường từ phản hồi của con người (RLHF) một cách rộng rãi để điều chỉnh các mô hình đã được hướng dẫn theo hướng hành vi có trách nhiệm. Để hiểu và giảm thiểu hồ sơ rủi ro cho các mô hình Gemma, chúng tôi đã thực hiện các đánh giá mạnh mẽ bao gồm kiểm tra đỏ thủ công, kiểm tra đối đầu tự động và đánh giá khả năng của mô hình trong các hoạt động nguy hiểm. Các đánh giá này được trình bày trong Model Card của chúng tôi.
Chúng tôi cũng phát hành một Bộ công cụ Trí tuệ nhân tạo Sáng tạo Có trách nhiệm mới cùng với Gemma để giúp các nhà phát triển và nhà nghiên cứu ưu tiên xây dựng các ứng dụng trí tuệ nhân tạo an toàn và có trách nhiệm. Bộ công cụ này bao gồm:
- Phân loại an toàn: Chúng tôi cung cấp một phương pháp mới để xây dựng các bộ phân loại an toàn mạnh mẽ với ít ví dụ nhất có thể.
- Gỡ lỗi: Một công cụ gỡ lỗi mô hình giúp bạn điều tra hành vi của Gemma và giải quyết các vấn đề tiềm ẩn.
- Hướng dẫn: Bạn có thể truy cập các phương pháp tốt nhất cho những người xây dựng mô hình dựa trên kinh nghiệm của Google trong việc phát triển và triển khai các mô hình ngôn ngữ lớn.
Tối ưu hóa trên các khung công cụ, công cụ và phần cứng
Bạn có thể tinh chỉnh các mô hình Gemma trên dữ liệu của riêng bạn để thích nghi với các nhu cầu ứng dụng cụ thể, như tóm tắt hoặc sinh ra mở rộng truy xuất (RAG). Gemma hỗ trợ một loạt các công cụ và hệ thống:
- Công cụ đa khung công cụ: Mang theo khung công cụ yêu thích của bạn, với các triển khai tham chiếu cho suy luận và tinh chỉnh trên nhiều khung công cụ Keras 3.0, PyTorch nguyên gốc, JAX, và Hugging Face Transformers.
- Tương thích trên nhiều thiết bị: Các mô hình Gemma chạy trên nhiều loại thiết bị phổ biến, bao gồm máy tính xách tay, máy tính để bàn, IoT, điện thoại di động và đám mây, giúp cung cấp khả năng trí tuệ nhân tạo rộng rãi.
- Các nền tảng phần cứng tiên tiến: Chúng tôi đã hợp tác với NVIDIA để tối ưu hóa Gemma cho các GPU NVIDIA, từ trung tâm dữ liệu đến đám mây đến máy tính AI RTX cục bộ, đảm bảo hiệu suất hàng đầu trong ngành và tích hợp với công nghệ tiên tiến.
- Tối ưu hóa cho Google Cloud: Vertex AI cung cấp một bộ công cụ MLOps phong phú với nhiều tùy chọn điều chỉnh và triển khai chỉ với một cú nhấp chuột bằng cách sử dụng tối ưu hóa suy luận tích hợp. Tùy chỉnh nâng cao có sẵn với các công cụ Vertex AI được quản lý hoàn toàn hoặc với GKE tự quản lý, bao gồm triển khai trên cơ sở hạ tầng tiết kiệm chi phí trên GPU, TPU và CPU từ bất kỳ nền tảng nào.
Tín dụng miễn phí cho nghiên cứu và phát triển
Gemma được xây dựng cho cộng đồng mở của các nhà phát triển và nhà nghiên cứu thúc đẩy sự đổi mới trong trí tuệ nhân tạo. Bạn có thể bắt đầu làm việc với Gemma ngay hôm nay bằng cách sử dụng truy cập miễn phí trên Kaggle, một cấp độ miễn phí cho các sổ ghi chú Colab, và $300 trong tín dụng cho người dùng Google Cloud lần đầu tiên. Các nhà nghiên cứu cũng có thể nộp đơn để nhận tín dụng Google Cloud lên đến $500,000 để tăng tốc cho các dự án của họ.
Bắt đầu
Bạn có thể khám phá thêm về Gemma và truy cập hướng dẫn khởi đầu nhanh chóng trên ai.google.dev/gemma.
Khi chúng tôi tiếp tục mở rộng gia đình mô hình Gemma, chúng tôi mong đợi sẽ giới thiệu các biến thể mới cho các ứng dụng đa dạng. Hãy chờ đợi các sự kiện và cơ hội trong những tuần sắp tới để kết nối, học hỏi và xây dựng cùng Gemma.
Chúng tôi rất háo hức được thấy bạn tạo ra điều gì!
Nguồn: https://blog.google/technology/developers/gemma-open-models
