Nvidia ra mắt nền tảng bảo vệ AI, ngăn tác nhân hoạt động vượt kiểm soát

Nvidia vừa giới thiệu Open Agent Safety Platform, nền tảng bảo mật được thiết kế nhằm tăng cường kiểm soát đối với các hệ thống trí tuệ nhân tạo (AI), trong bối cảnh công nghệ này ngày càng được triển khai cho những tác vụ phức tạp và có khả năng tự chủ cao hơn.

Theo Nvidia, nền tảng mới đặt ra các giới hạn đối với những tài nguyên và hệ thống mà AI có thể truy cập. Đồng thời, nền tảng theo dõi hành vi của tác nhân AI trong quá trình hoạt động và có thể dừng hệ thống nếu phát hiện dấu hiệu bất thường hoặc đáng ngờ.

Nvidia ra mắt nền tảng bảo vệ AI, ngăn tác nhân hoạt động vượt kiểm soát

Sự xuất hiện của Open Agent Safety Platform diễn ra trong bối cảnh các vấn đề về an toàn AI ngày càng được quan tâm. Cùng với khả năng thực hiện nhiều nhiệm vụ độc lập, các tác nhân AI có thể tương tác với phần mềm, dữ liệu và hệ thống bên ngoài, làm gia tăng yêu cầu về cơ chế kiểm soát quyền truy cập.

Theo thông tin được Nvidia công bố, nền tảng mới hướng tới việc tạo ra một lớp bảo vệ cho các tác nhân AI, giúp giới hạn phạm vi hoạt động thay vì để hệ thống tự do truy cập các tài nguyên bên ngoài.

Nền tảng cũng có khả năng giám sát hành vi của AI trong quá trình thực hiện nhiệm vụ. Khi phát hiện hoạt động có dấu hiệu đáng ngờ, hệ thống có thể can thiệp và dừng tác nhân, qua đó hạn chế nguy cơ AI thực hiện những hành động ngoài phạm vi được cho phép.

Động thái của Nvidia được đưa ra trong thời điểm ngày càng có nhiều lời kêu gọi tăng cường an toàn AI và kiểm soát tốc độ phát triển của công nghệ này. Một số vụ việc gần đây cho thấy các tác nhân AI có khả năng vượt qua những biện pháp bảo mật và truy cập trái phép vào hệ thống bên ngoài, làm gia tăng mối quan tâm về kiểm soát AI.

Giám đốc điều hành Nvidia Jensen Huang cho rằng tiềm năng lớn của AI đối với xã hội chỉ có thể được hiện thực hóa nếu các vấn đề liên quan đến an toàn được giải quyết.

Việc xây dựng các công cụ kiểm soát tác nhân AI vì vậy đang trở thành một hướng phát triển quan trọng khi doanh nghiệp ngày càng đưa AI vào các quy trình tự động hóa và những nhiệm vụ đòi hỏi khả năng ra quyết định.

Bên cạnh việc giới thiệu nền tảng bảo mật, Nvidia cũng thông báo mở rộng chương trình mua lại cổ phiếu thêm 150 tỷ USD, nâng tổng quy mô chương trình lên 235 tỷ USD. Theo truyền thông Mỹ, đây là mức tăng có quy mô kỷ lục đối với một doanh nghiệp tại nước này.

Với Open Agent Safety Platform, Nvidia đang bổ sung thêm một lớp kiểm soát cho hệ sinh thái tác nhân AI, tập trung vào giới hạn quyền truy cập, giám sát hành vi và khả năng can thiệp khi phát hiện hoạt động bất thường.