Độ chính xác từ các phản hồi của công cụ chatbot Bard đang bị đặt dấu hỏi

Người dùng có lẽ sẽ suy nghĩ lại với các câu trả lời của chatbot AI, sau khi họ biết được quy trình đánh giá độ chính xác của các phản hồi này được thực hiện như thế nào.

Google đã phát hành chatbot Bard dưới dạng giới hạn vào tháng 3 vừa qua, trong nỗ lực đáp trả ChatGPT của OpenAI.

Theo bốn nguồn tin từ nhà thầu của Google cũng như tài liệu nội bộ, việc thử nghiệm Bard diễn ra vội vã do họ không có đủ thời gian để xác minh câu trả lời đúng từ chatbot AI. Thay vào đó, công ty giao nhiệm vụ cho các đối tác thực hiện điều này.

Appen là một nhà thầu đang giúp cải thiện chatbot Google. Các nhân viên của công ty này không được thông báo rằng, nhiệm vụ của họ liên quan đến Bard, nhưng các cuộc thảo luận nội bộ về nhiệm vụ mới bắt đầu từ ngày 7/2, khoảng thời gian gã khổng lồ tìm kiếm lần đầu tiên công bố chatbot AI của hãng.

Google hiện thuê bên thứ ba kiểm thử hệ thống của mình. Với tên gọi "Người đánh giá", các nhà thầu làm nhiệm vụ kiểm tra thuật toán tìm kiếm của Google, mức độ liên quan của quảng cáo được đặt trong kết quả, cũng như gắn cờ các website có hại và ngăn chúng xuất hiện trong trang tìm kiếm.

Nguồn tin của Insider cho hay, kể từ tháng 1, phần lớn công việc những người đánh giá đã chuyển sang xem xét các lời nhắc của AI. Họ nói rằng không có đủ thời gian để chấm điểm độ chính xác các phản hồi mà chatbot đưa ra, do đó đôi khi họ chỉ có thể đưa ra “dự đoán tốt nhất”.

Bard đã nhận chỉ trích sau khi mọi người phát hiện ra chatbot đưa ra câu trả lời sai ngay trong sự kiện ra mắt. Google nói rằng, chatbot sẽ trở nên tốt hơn theo thời gian và không nên coi ứng dụng này là sự thay thế cho công cụ tìm kiếm.

Trước khi ra mắt, vào tháng 2, Google cũng yêu cầu các nhân viên dành từ 2 đến 4 giờ để kiểm tra con bot, đặt câu hỏi cho nó và gắn cờ những câu trả lời không đáp ứng tiêu chuẩn của công ty.

Các nhà thầu cho biết, họ có một khoảng thời gian nhất định để hoàn thành từng nhiệm vụ, từ ít nhất là 60 giây cho đến hơn vài phút. Tuy nhiên, những người đánh giá nói rằng rất khó để đánh giá phản hồi khi họ không hiểu về chủ đề chatbot đang nói đến, trong đó có các chủ đề kỹ thuật, chẳng hạn như blockchain.

Mỗi nhiệm vụ được giao thể hiện thời gian đều tính phí, do đó các nhân viên sẽ tìm cách hoàn thành nhiệm vụ ngay cả khi họ không thể đánh giá chính xác các phản hồi chatbot đưa ra.

Những nhân viên này nói rằng, họ muốn tìm hiểu đúng sự thật và cung cấp trải nghiệm chatbot chất lượng tốt nhất có thể, nhưng đơn giản là không có đủ thời gian nghiên cứu vấn đề trước khi đưa ra xếp loại.

Hiện RaterLabs của Appen là một trong những đối tác lớn nhất của Google về kiểm thử AI. Nhân viên công ty nhận khoảng 14 USD mỗi giờ làm việc, tăng so với 10 USD năm ngoái. Tuy vậy, những người này đang yêu cầu mức lương cao hơn vì theo quy định của Google, đối tác bên thứ ba phải trả tối thiểu 15 USD mỗi giờ cho nhân viên nếu họ kiểm thử các sản phẩm của hãng.

Hôm 6/2, Alphabet đã đăng một đoạn video ngắn về hoạt động của Bard trên Twitter, hứa hẹn rằng nó sẽ giúp đơn giản hóa các chủ đề phức tạp. Nhưng thay vào đó, Bard lại đưa ra một câu trả lời không chính xác. Sự cố này lập tức ảnh hưởng đến giá cổ phiếu của Google. Nhiều người lo ngại gã khổng lồ tìm kiếm này sẽ tụt hậu trước Microsoft trong cuộc đua trí tuệ nhân tạo. Điều này khiến Google mất 100 tỷ USD giá trị vốn hóa thị trường sau đó. 

Minh Tú (t/h)