AI đã có một ảnh hưởng sâu sắc đối với cách tổ chức hoạt động. Sức mạnh của AI cho phép bạn tưởng tượng lại những gì bạn làm, cách bạn thực hiện nó và đối tượng mà bạn thực hiện nó. Đối với nhiều công ty, có vẻ như họ chỉ cách một bước để sử dụng AI để bắt đầu giải quyết các vấn đề kinh doanh thực tế — họ chỉ cần kích hoạt dữ liệu của mình.
Google Cloud có một danh mục mạnh mẽ các nền tảng và công cụ để lưu trữ, biến đổi và đạt được cái nhìn từ dữ liệu của bạn, và có thể kích hoạt cho AI. Trong bài đăng này, chúng tôi sẽ tóm tắt những đổi mới chính đối với Data và AI của chúng tôi trong năm 2023 qua ba lĩnh vực chiến lược.
- Liên kết tất cả dữ liệu của bạn – cấu trúc và phi cấu trúc, ở bất kỳ định dạng nào, tại bất kỳ địa điểm nào.
- Mang AI đến với dữ liệu của bạn – xây dựng mô hình AI một cách an toàn và nhanh chóng với tất cả dữ liệu của bạn.
- Nâng cao năng suất – giúp tất cả các nhóm dữ liệu phân tích dữ liệu, tạo mã và tối ưu hóa công việc dữ liệu.
Đăng ký cho webcast sắp tới vào ngày 13 tháng 11 để có cái nhìn tổng quan về kế hoạch và đầu tư của chúng tôi trong BigQuery, Streaming Analytics, Data Lakes, Data Integration và GenAI.
Liên kết tất cả dữ liệu của bạn
Dữ liệu được phân tán qua hàng chục và đôi khi hàng trăm “hầm dữ liệu”. Công việc dữ liệu của bạn đang tăng, với các định dạng mới, chủ yếu là phi cấu trúc, trên đám mây và các hệ thống trên chỗ. Có quá nhiều công cụ để học và di chuyển giữa chúng. Với tất cả những thách thức này, dự án AI cuối cùng trở thành các dự án dữ liệu giấu mặt.
Google’s Data và AI Cloud giúp bạn liên kết dữ liệu của mình ở nhiều cấp độ.
Liên kết dữ liệu có cấu trúc và phi cấu trúc – Để mở khóa cái nhìn 360 độ vào doanh nghiệp của bạn, bạn cần kết hợp và phân tích dữ liệu phi cấu trúc, như hình ảnh, giọng nói và tài liệu, với dữ liệu cấu trúc của bạn.
Chúng tôi đã ra mắt chế độ sẵn có của BigLake Object Tables để giúp người dùng dữ liệu dễ dàng truy cập, xuyên qua, xử lý và truy vấn dữ liệu phi cấu trúc bằng SQL. Chúng tôi cũng ra mắt hỗ trợ cho định dạng tệp Hudi và Delta trong BigLake, hiện đã sẵn có. Đưa BigLake một bước xa hơn, chúng tôi ra mắt phiên bản xem trước của Iceberg tables in BigLake được quản lý đầy đủ trong BigLake, giúp bạn sử dụng chức năng truyền dữ liệu với công suất lớn cho dữ liệu của bạn trong Cloud Storage, có trải nghiệm được quản lý đầy đủ với tối ưu hóa lưu trữ tự động cho Lakehouse của bạn, và thực hiện các giao dịch DML sử dụng BigLake để hỗ trợ sửa đổi nhất quán và cải thiện bảo mật dữ liệu, đồng thời giữ nguyên tính tương thích đầy đủ với trình đọc Iceberg.
BigLake đã trải qua một sự tăng trưởng vô cùng mạnh mẽ, với sự tăng lên 27 lần trong việc sử dụng BigLake kể từ đầu năm.
Liên kết dữ liệu qua các đám mây – Nhiều khách hàng quản lý và phân tích dữ liệu của họ trên Google Cloud, AWS hoặc Azure với BigQuery Omni, cung cấp một cửa sổ duy nhất qua các đám mây. Đưa BigQuery Omni một bước xa hơn, chúng tôi thêm hỗ trợ cho các góc nhìn vật lý giữa các đám mây và các liên kết giữa các đám mây. Chúng tôi cũng mở rộng phân tích đến dữ liệu trên chỗ bằng cách đưa Dataproc Spark vào Google Distributed Cloud. Điều này cho phép bạn chạy Spark trên dữ liệu nhạy cảm trong trung tâm dữ liệu của bạn để hỗ trợ tuân thủ hoặc yêu cầu chủ quyền dữ liệu và kết nối nó với dữ liệu BigQuery của bạn trên Google Cloud.
Liên kết quản lý và quản trị dữ liệu – Chúng tôi đã thêm khả năng xác định thông tin và chất lượng dữ liệu thông minh để giúp bạn hiểu về sự đầy đủ, độ chính xác và tính hợp lệ của dữ liệu của bạn. Chúng tôi cũng ra mắt khả năng quản lý và quản lý dữ liệu mở rộng trong Dataplex. Bạn có một cửa sổ duy nhất cho tất cả các tài sản dữ liệu và AI của bạn — bao gồm các mô hình và bộ dữ liệu của Vertex AI, cơ sở dữ liệu vận hành, và dữ liệu phân tích trên Google Cloud và Omni.
Chia sẻ dữ liệu – Trong một tuần cụ thể, hàng nghìn tổ chức chia sẻ hàng trăm petabyte dữ liệu qua các ranh giới tổ chức bằng cách sử dụng BigQuery. Để hỗ trợ việc liên kết dữ liệu hơn nữa, chúng tôi đã ra mắt phòng sạch dữ liệu BigQuery để chia sẻ và kết hợp tập dữ liệu giữa các công ty và hợp tác trong phân tích với các đối tác tin cậy, đồng thời tôn trọng quyền riêng tư của người dùng.
Tối ưu chi phí – Liên kết tất cả dữ liệu của bạn không nên đắt đỏ và không dự đoán được. Vì vậy, chúng tôi giới thiệu các phiên bản giá BigQuery cùng với các đổi mới cho tự động mở rộng khe cắm và mô hình thanh toán lưu trữ nén mới. Các phiên bản BigQuery cung cấp nhiều sự lựa chọn và linh hoạt cho bạn để chọn bộ tính năng phù hợp cho các yêu cầu công việc khác nhau. Bạn có thể kết hợp và phối hợp giữa các phiên bản Standard, Enterprise và Enterprise Plus để đạt được hiệu suất giá ưu đãi theo yêu cầu công việc. Các phiên bản BigQuery bao gồm khả năng cam kết trong một hoặc nhiều năm với giá thấp cho công việc dự đoán và các khả năng tự động mở rộng mới hỗ trợ công việc không dự đoán bằng cách cung cấp tùy chọn thanh toán chỉ cho khả năng tính toán bạn sử dụng.
Mang AI đến với dữ liệu của bạn
AI cung cấp nhiều cơ hội để kích hoạt dữ liệu của bạn. Vì vậy, chúng tôi đã làm cho AI dễ dàng tiếp cận cho tất cả các nhóm dữ liệu của bạn và cũng làm cho việc sử dụng dữ liệu của bạn để đào tạo mô hình AI trở nên dễ dàng.
Khách hàng hiện đã chạy hàng trăm triệu dự đoán và lượt chạy đào tạo trong BigQuery. Chỉ trong 6 tháng qua, hoạt động máy học trong BigQuery đã tăng hơn 250% so với năm ngoái.
Dưới đây là một số cách chúng tôi đã nâng cấp BigQuery để hỗ trợ AI.
Truy cập vào các mô hình cơ bản – Chúng tôi đã cho phép người dùng truy cập trực tiếp vào các mô hình cơ bản của Vertex AI từ BigQuery. Chỉ với một câu lệnh duy nhất, bạn có thể kết nối một bảng BigQuery với một mô hình ngôn ngữ lớn (LLM) và điều chỉnh câu hỏi với dữ liệu BigQuery của bạn. Điều này cho phép bạn sử dụng các khả năng AI sáng tạo như phân tích văn bản trên dữ liệu của bạn hoặc tạo ra các thuộc tính mới để làm phong phú mô hình dữ liệu của bạn. Chỉ với một vài cú nhấp chuột, bạn có thể sử dụng bàn làm việc Vertex Doc AI để triển khai một bộ trích xuất LLM cá nhân, sau đó có thể truy cập trực tiếp từ BigQuery để trích xuất kiến thức cụ thể từ dữ liệu văn bản của bạn.
Mở rộng phạm vi các mô hình AI – Chúng tôi cũng ra mắt BigQuery ML inference engine, cho phép bạn truy cập vào một hệ sinh thái các mô hình được đào tạo trước và các framework ML mở. Chạy dự đoán trên các mô hình thị giác, ngôn ngữ tự nhiên và dịch trong BigQuery, nhập các mô hình trong các định dạng bổ sung như TensorFlow Lite, ONNX và XGBoost, và sử dụng các mô hình được lưu trữ trực tiếp trong Vertex AI.
Tính năng và nhúng vector – BigQuery hiện là nơi để lưu trữ tất cả các tính năng ML và nhúng vector của bạn với sự xuất hiện của các bảng tính năng BigQuery và nhúng vector trong bản xem trước. Bằng cách tải dữ liệu tính năng và nhúng vector vào BigQuery, bạn có thể xây dựng các tìm kiếm ngữ nghĩa mạnh mẽ và thực hiện các truy vấn đề xuất trên quy mô dữ liệu BigQuery của bạn, trong thời gian thực. Và bạn có thể quản lý tính năng của mình giống như bạn quản lý dữ liệu khác của mình. Ngoài ra, chúng tôi tự động đồng bộ dữ liệu vào Vertex AI Feature Store để hỗ trợ phục vụ trễ thấp cho các ứng dụng web của bạn mà không cần di chuyển bất kỳ dữ liệu nào.
Khoảng làm việc thống nhất cho nhóm dữ liệu và AI – Để đưa AI và dữ liệu vào một môi trường chung, chúng tôi đã ra mắt phiên bản xem trước của BigQuery Studio, mang lại công cụ kỹ thuật dữ liệu, phân tích và công việc ML vào một chỗ, giúp bạn chỉnh sửa SQL, Python, Spark và các ngôn ngữ khác một cách dễ dàng và chạy phân tích, ở quy mô petabyte và mà không cần quản lý gánh nặng về cơ sở hạ tầng bổ sung. BigQuery Studio mang lại cho bạn quyền truy cập trực tiếp vào Colab Enterprise, một sản phẩm mới mang đến tính bảo mật và tuân thủ cấp doanh nghiệp của Google Cloud cho Colab.
Chúng tôi cũng ra mắt phiên bản xem trước của BigQuery DataFrames API, cung cấp một cách đơn giản để chạy Python cho khoa học dữ liệu trực tiếp trong BigQuery, sử dụng các API quen thuộc cho Pandas hoặc Scikit. Với khả năng viết mã Python trong BigQuery, bạn có được một trải nghiệm sổ tay tuyệt vời.
Nâng cao năng suất với AI
Trong năm nay, chúng tôi đã đưa ra các thập kỷ đầu tư và nghiên cứu về AI để giúp bạn nâng cao năng suất.
AI cho phân tích dữ liệu – Chúng tôi đã ra mắt Duet AI trong BigQuery để đơn giản hóa phân tích dữ liệu, tạo mã và tối ưu hóa công việc dữ liệu của bạn. Nó có thể:
- Hỗ trợ việc viết câu truy vấn SQL và mã Python, giúp bạn tập trung hơn vào logic và kết quả
- Tự đề xuất mã trong thời gian thực và tạo các hàm và khối mã đầy đủ
- Hỗ trợ bạn trong công việc dữ liệu của bạn với trải nghiệm trò chuyện
Chúng tôi cũng đưa Duet AI vào dịch vụ chuyển đổi dữ liệu của chúng tôi để giúp bạn hiện đại hóa các ứng dụng kế thừa thông qua các bản dịch SQL tự động.
AI cho quản trị dữ liệu – Chúng tôi cũng đưa Duet AI vào Dataplex. Duet AI trong Dataplex có thể được sử dụng để nhận biết thông tin siêu dữ liệu để giải quyết vấn đề khởi động lạnh — làm thế nào tôi biết tôi có thể đặt câu hỏi nào về dữ liệu của mình? Sử dụng Duet AI, chúng tôi giúp bạn khởi động lại phân tích của bạn với một danh sách câu hỏi được tạo ra mà bạn có thể hỏi về dữ liệu của mình, dựa trên siêu dữ liệu và các mô hình sử dụng, với một cú nhấp chuột để truy cập câu truy vấn SQL mà bạn có thể chạy trong BigQuery Studio.
AI cho thông tin kinh doanh – Hơn 10 triệu người dùng truy cập Looker mỗi tháng và họ có thể đạt được cái nhìn sâu sắc hơn với quyền truy cập vào hơn 1.000 nguồn dữ liệu và hơn 800 kết nối cộng đồng.
Hơn nữa, chúng tôi đã đưa ra Duet AI trong Looker để giúp người dùng thực hiện phân tích dữ liệu hội thoại bằng ngôn ngữ tự nhiên. Nó cho phép bạn:
- Thực hiện phân tích dữ liệu hội thoại bằng ngôn ngữ tự nhiên
- Tự động tạo bảng điều khiển và báo cáo bằng cách cho Looker biết mục tiêu của phân tích của bạn
- Tạo bài thuyết trình Google Slides với tóm tắt thông minh từ bảng điều khiển Looker của bạn
- Sử dụng ngôn ngữ tự nhiên để nhanh chóng tạo các phép tính và hình ảnh với các trợ lý công thức và hình ảnh của chúng tôi
- Và tạo mã LookML và xác định mục đích của mô hình dữ liệu của bạn một cách tự nhiên.
Nguồn: https://cloud.google.com/blog/products/data-analytics/updating-data-analytics-portfolio-for-ai
Bài viết liên quan:
