Khái niệm Supernode và vai trò trong AI

Khi các mô hình trí tuệ nhân tạo ngày càng lớn với hơn 1 nghìn tỷ tham số, nhu cầu về sức mạnh điện toán vượt trội trở nên cấp thiết. "Supernode" không đơn thuần là việc kết nối nhiều GPU (đơn vị xử lý đồ họa) lại với nhau. Theo ông Chen Daliang, CEO của Suanova - một nhà cung cấp nguồn lực điện toán AI tại Thượng Hải, supernode là hệ thống tích hợp sâu rộng giữa tính toán, lưu trữ, mạng, quản lý và khung phần mềm để tạo ra sức mạnh tổng hợp vượt trội hơn nhiều lần so với tổng các thành phần độc lập. Khi xây dựng đúng cách, supernode có thể tăng hiệu quả sử dụng sức mạnh tính toán hơn 50% và mở rộng băng thông truyền thông mạng gấp đôi.

Các hướng phát triển kết nối trong Supernode

Để đạt được quy mô lớn, ngành công nghiệp đang theo đuổi hai lộ trình kết nối chính: kết nối điện và kết nối quang học. Kết nối điện đang dần áp dụng kiến trúc trực giao nhằm tối giản khoảng cách đường truyền tín hiệu. Trong khi đó, công nghệ quang học gần gói (Near-Packaged Optics - NPO) di chuyển động cơ quang học gần chip xử lý trên bảng mạch, giúp giảm tiêu thụ điện năng và khoảng cách truyền tín hiệu điện trong khi vẫn duy trì băng thông cao. Hiện tại, phần lớn các công ty vẫn đang trong giai đoạn phát triển nguyên mẫu kết nối quang học.