Đừng thần thánh hóa khả năng lập trình của ChatGPT

Một nghiên cứu vừa cho thấy chatbot AI này cũng không quá "cao cường"

Trước khi ChatGPT ra đời và trở nên nổi tiếng, Stack Overflow đã là một nguồn tài liệu quan trọng không thể thiếu đối với các lập trình viên mỗi khi họ cần lời khuyên cho dự án của mình. Tuy nhiên, giống như các diễn đàn thông thường khác, người dùng cần đợi một thời gian để nhận được câu trả lời từ những người biết về vấn đề mà họ đang đối diện.

Sự khác biệt đến từ ChatGPT. Khả năng cung cấp câu trả lời cho bất kỳ câu hỏi nào, bất kể thời điểm nào, đã làm cho nhiều người tìm đến trí tuệ nhân tạo này hơn là Stack Overflow. Tuy vậy, ngoại trừ một số bài kiểm tra đơn lẻ, chưa có nhiều dữ liệu để đánh giá hiệu quả của ChatGPT trong việc giải đáp các câu hỏi của lập trình viên. Chính vì vậy, một nghiên cứ mới từ Đại học Purdue đã được thực hiện để khám phá vấn đề này.

Để đánh giá hiệu suất của ChatGPT trong việc trả lời các câu hỏi liên quan đến kỹ năng lập trình, các nhà nghiên cứu đã cung cấp cho trí tuệ nhân tạo này 517 câu hỏi trích từ Stack Overflow và tiến hành kiểm tra tính chính xác và chất lượng của những câu trả lời.

Kết quả có thể gây ngạc nhiên về khả năng lập trình của ChatGPT. Trong tổng số 517 câu hỏi, có 259 câu trả lời từ ChatGPT (tương đương khoảng 52%) bị sai sót, trong khi chỉ có 248 câu (48%) được coi là đúng. Hơn nữa, có tới 77% câu trả lời dài và chỉ một phần nhỏ trong đó là tương tự cách mà con người trả lời.

Mặc dù các câu trả lời không chính xác chiếm một tỉ lệ đáng kể, nhưng kết quả cho thấy 65% câu trả lời có tính dễ hiểu và có khả năng giải quyết tất cả các khía cạnh của câu hỏi. Do đó, để xem xét sâu hơn về chất lượng của các phản hồi từ ChatGPT, các nhà nghiên cứu đã yêu cầu 12 người có kinh nghiệm lập trình tham gia và đưa ra ý kiến về những vấn đề này.

Mặc dù những người tham gia ưa thích câu trả lời từ Stack Overflow hơn là từ ChatGPT, với chỉ 39,34% người dùng lựa chọn câu trả lời từ ChatGPT. Thế nhưng chính những người tham gia cũng không thể phân biệt được tất các câu trả lời sai được tạo ra bởi ChatGPT.

Dựa trên nghiên cứu này, có thể thấy rằng các câu trả lời từ ChatGPT thường được trình bày một cách rõ ràng khiến người dùng tin tưởng rằng câu trả lời đó là đúng dễ bỏ qua thông tin không chính xác. "Người dùng có thể bỏ qua thông tin không chính xác trong những câu trả lời của ChatGPT bởi vì những câu trả lời này cung cấp thông tin chi tiết và dễ hiểu, giống như cách mà con người trả lời", như tác giả nghiên cứu đã chia sẻ.

Việc tạo ra những câu trả lời thoạt nhìn thì hợp lý nhưng thực chất chúng không chính xác là một vấn đề nghiêm trọng đối với tất cả các trí tuệ nhân tạo, bởi vì điều này có thể dẫn đến việc lan truyền thông tin sai lệch. Ngoài rủi ro này, mức độ chính xác thấp của các câu trả lời cũng cho thấy rằng mọi người không nên quá ca ngợi khả năng của ChatGPT, đặc biệt là trong lĩnh vực lập trình.