Kỹ thuật distillation trong AI gây tranh cãi từ Thung lũng Silicon đến Washington DC

Jeff Dean, trưởng bộ phận trí tuệ nhân tạo tại Google, lần đầu giới thiệu khái niệm distillation trong một podcast hồi đầu năm nay. Dean lý giải đây là kỹ thuật giúp mô hình nhỏ hơn có thể đạt hiệu suất cao hơn bằng cách rút trích kiến thức từ một mô hình tiên tiến. Thay vì chỉ dùng một mô hình lớn duy nhất để nhận dạng hình ảnh, Google đã áp dụng distillation để nâng cao hiệu quả mà không cần tăng kích thước hệ thống.

Kỹ thuật distillation cơ bản là đào tạo một mô hình mới dựa trên kết quả hoặc sản phẩm của một mô hình AI đã phát triển kỹ lưỡng trước đó. Phương pháp này tạo điều kiện cho các mô hình mới nhanh chóng đạt hiệu quả cạnh tranh mà không phải đầu tư quá lớn vào phát triển từ đầu.

Tuy nhiên, trong vài tháng qua, kỹ thuật này trở thành tâm điểm tranh cãi khi các quan chức Mỹ cảnh báo về nguy cơ vi phạm quyền sở hữu trí tuệ và đe dọa an ninh quốc gia, đặc biệt khi Trung Quốc khai thác distillation để đuổi kịp Mỹ trong cuộc đua AI. Làn sóng phản ứng bắt đầu sau khi phòng nghiên cứu Moonshot AI của Trung Quốc ra mắt mô hình Kimi K3, được đánh giá có khả năng cạnh tranh với AI của các công ty Mỹ hàng đầu như Anthropic và OpenAI.

Không giống các công ty Mỹ bán quyền truy cập vào các mô hình độc quyền, các phòng thí nghiệm Trung Quốc này công bố mô hình với trọng số mở (open-weight), cho phép người dùng tải về, chỉnh sửa và vận hành trên bất kỳ hạ tầng nào. Chính điều này làm dấy lên lo ngại về việc sao chép tri thức một cách dễ dàng thông qua distillation.