Nghiên cứu cho thấy ChatGPT trả lời sai 52% câu trả lời về lập trình

AI Liệu Có Đủ Thông Minh?

Trong những năm gần đây, các lập trình viên đã đổ xô sử dụng các chatbot như ChatGPT của OpenAI để hỗ trợ viết mã, gây ra khó khăn cho các trang như Stack Overflow, nơi đã phải sa thải gần 30% nhân viên của mình vào năm ngoái. Tuy nhiên, một nghiên cứu mới đáng kinh ngạc đã phát hiện rằng ChatGPT trả lời các câu hỏi lập trình sai đến 52% thời gian.

Nghiên cứu từ Đại học Purdue, lần đầu được phát hiện bởi Futurism, đã được trình bày vào đầu tháng này tại hội nghị Tương tác Người-Máy tính ở Hawaii. Nghiên cứu đã xem xét 517 câu hỏi lập trình trên Stack Overflow và đưa vào ChatGPT.

“Phân tích của chúng tôi cho thấy 52% câu trả lời của ChatGPT chứa thông tin sai lệch và 77% thì dài dòng,” nghiên cứu mới giải thích. “Tuy nhiên, các người tham gia khảo sát của chúng tôi vẫn ưa thích các câu trả lời của ChatGPT 35% thời gian do sự toàn diện và phong cách ngôn ngữ rõ ràng của nó.”

Robot So Với Con Người

Điều đáng lo ngại là các lập trình viên trong nghiên cứu không phải lúc nào cũng nhận ra các lỗi được tạo ra bởi chatbot AI. “Các lập trình viên cũng bỏ qua thông tin sai lệch trong các câu trả lời của ChatGPT 39% thời gian,” theo nghiên cứu. Điều này cho thấy cần phải đối phó với thông tin sai lệch trong các câu trả lời của ChatGPT đối với các câu hỏi lập trình và nâng cao nhận thức về những rủi ro liên quan đến các câu trả lời có vẻ đúng.

Rõ ràng, đây chỉ là một nghiên cứu, nhưng nó chỉ ra các vấn đề mà bất cứ ai đã sử dụng các công cụ này đều có thể liên hệ. Các công ty công nghệ lớn đang đổ hàng tỷ đô la vào AI ngay bây giờ trong nỗ lực cung cấp các chatbot đáng tin cậy nhất. Meta, Microsoft, và Google đều đang chạy đua để thống trị một lĩnh vực mới nổi có tiềm năng thay đổi căn bản mối quan hệ của chúng ta với internet. Nhưng có rất nhiều trở ngại đang cản đường.

Vấn đề chính trong số đó là AI thường xuyên không đáng tin cậy, đặc biệt nếu người dùng đặt một câu hỏi thực sự độc đáo. Công cụ tìm kiếm mới được hỗ trợ AI của Google liên tục đưa ra những thông tin rác thường được trích dẫn từ các nguồn không đáng tin cậy. Thực tế, đã có nhiều lần trong tuần này khi Google Search trình bày các bài viết châm biếm từ The Onion như là thông tin đáng tin cậy.

Các nhà phát triển AI nói gì về nghiêm cứu này?

Về phần mình, Google tự bào chữa rằng các câu trả lời sai là những trường hợp ngoại lệ.

“Các ví dụ mà chúng tôi thấy thường là những truy vấn rất không phổ biến, và không đại diện cho trải nghiệm của hầu hết mọi người”. Phần lớn các Bản tóm tắt AI cung cấp thông tin chất lượng cao, với các liên kết để tìm hiểu sâu hơn trên web.

Nhưng sự bào chữa đó, rằng “truy vấn không phổ biến” mới cho ra các câu trả lời sai, thực sự đáng buồn cười. Người dùng chỉ nên hỏi các chatbot này những câu hỏi tầm thường nhất? Làm sao điều đó có thể chấp nhận được, khi hứa hẹn là những công cụ này được cho là mang tính cách mạng?