Bối cảnh

OpenAI được cho là đã bắt đầu sử dụng các đơn vị xử lý tensor (TPUs) của Google để hỗ trợ ChatGPT và các sản phẩm khác.

Một báo cáo của Reuters, trích dẫn nguồn tin am hiểu về động thái này, cho biết đây là sự chuyển đổi lớn đầu tiên của OpenAI khỏi phần cứng của Nvidia, vốn cho đến nay vẫn là nền tảng chính của hệ thống tính toán của OpenAI.

Google đang cho thuê TPUs thông qua nền tảng đám mây của mình, đưa OpenAI vào danh sách ngày càng dài các khách hàng bên ngoài, bao gồm Apple, Anthropic và Safe Superintelligence.

Không từ bỏ Nvidia

Mặc dù các chip được thuê không phải là các mô hình TPU tiên tiến nhất của Google, thỏa thuận này phản ánh nỗ lực của OpenAI trong việc giảm chi phí suy luận và đa dạng hóa ngoài cả Nvidia và Microsoft Azure.

Quyết định này được đưa ra khi khối lượng công việc suy luận tăng lên cùng với việc sử dụng ChatGPT, hiện đang phục vụ hơn 100 triệu người dùng hoạt động hàng ngày.

Nhu cầu đó chiếm một phần đáng kể trong ngân sách tính toán hàng năm ước tính 40 tỷ đô la của OpenAI.

Các chip TPU v6e “Trillium” của Google được thiết kế cho suy luận trạng thái ổn định và cung cấp thông lượng cao với chi phí vận hành thấp hơn so với các GPU cao cấp.

Mặc dù Google từ chối bình luận và OpenAI chưa phản hồi ngay lập tức với Reuters, thỏa thuận này cho thấy sự mở rộng các lựa chọn hạ tầng.

OpenAI tiếp tục phụ thuộc vào Azure do Microsoft hậu thuẫn cho phần lớn hoạt động triển khai (Microsoft là nhà đầu tư lớn nhất của công ty), nhưng các vấn đề về nguồn cung và áp lực giá cả liên quan đến GPU đã lộ ra rủi ro của việc phụ thuộc vào một nhà cung cấp duy nhất.

Việc đưa Google vào cuộc không chỉ cải thiện khả năng mở rộng tính toán của OpenAI mà còn phù hợp với xu hướng chung của ngành về việc kết hợp các nguồn phần cứng để tăng tính linh hoạt và đòn bẩy giá cả.

Không có dấu hiệu cho thấy OpenAI đang xem xét từ bỏ Nvidia hoàn toàn, nhưng việc tích hợp TPUs của Google sẽ mang lại nhiều quyền kiểm soát hơn về chi phí và tính sẵn có.

Mức độ mà OpenAI có thể tích hợp phần cứng này vào hệ thống của mình vẫn còn là một ẩn số, đặc biệt là khi hệ sinh thái phần mềm của họ đã phụ thuộc lâu dài vào CUDA và công cụ của Nvidia.