Đừng thần thánh hóa khả năng lập trình của ChatGPT

Một nghiên cứu vừa cho thấy chatbot AI này cũng không quá "cao cường"

Trước khi ChatGPT ra đời và trở nên nổi tiếng, Stack Overflow đã là một nguồn tài liệu quan trọng không thể thiếu đối với các lập trình viên mỗi khi họ cần lời khuyên cho dự án của mình. Tuy nhiên, giống như các diễn đàn thông thường khác, người dùng cần đợi để nhận được câu trả lời từ những người biết về vấn đề mà họ đang đối diện.

Sự khác biệt đến từ ChatGPT. Khả năng cung cấp câu trả lời cho bất kỳ câu hỏi nào, bất kể thời điểm nào, đã làm cho nhiều người tìm đến trí tuệ nhân tạo này hơn là Stack Overflow. Tuy vậy, ngoại trừ một số bài kiểm tra đơn lẻ, chưa có nhiều dữ liệu để đánh giá hiệu quả của ChatGPT trong việc giải đáp các câu hỏi của các lập trình viên. Chính vì vậy, một nghiên cứu mới từ Đại học Purdue đã quyết định thực hiện một nghiên cứu để khám phá vấn đề này.

Để đánh giá hiệu suất của ChatGPT trong việc trả lời các câu hỏi liên quan đến kỹ năng lập trình, các nhà nghiên cứu đã cung cấp cho trí tuệ nhân tạo này 517 câu hỏi trích từ Stack Overflow và tiến hành kiểm tra tính chính xác và chất lượng của những câu trả lời.

Kết quả có thể gây ngạc nhiên về khả năng lập trình của ChatGPT. Trong tổng số 517 câu hỏi, có 259 câu trả lời từ ChatGPT (tương đương khoảng 52%) bị sai sót, trong khi chỉ có 248 câu (48%) được coi là đúng. Hơn nữa, có tới 77% câu trả lời dài và chỉ một phần nhỏ là những câu trả lời tương tự cách mà con người trả lời.

Mặc dù việc trả lời không chính xác cho các câu hỏi là đáng kể, những kết quả cho thấy 65% câu trả lời có tính dễ hiểu và có khả năng giải quyết tất cả các khía cạnh của câu hỏi.

Để xem xét sâu hơn về chất lượng của các phản hồi từ ChatGPT, nhà nghiên cứu đã yêu cầu 12 người có kinh nghiệm lập trình tham gia và đưa ra ý kiến về những vấn đề này.

Mặc dù những người tham gia ưa thích câu trả lời từ Stack Overflow hơn là từ ChatGPT, với chỉ 39,34% người dùng lựa chọn câu trả lời từ ChatGPT. Thế nhưng chính những người tham gia cũng không thể phân biệt được tất các câu trả lời sai được tạo ra bởi ChatGPT.

Dựa trên nghiên cứu này, có thể thấy rằng các câu trả lời từ ChatGPT thường được trình bày một cách rõ ràng, dẫn đến việc người dùng tin tưởng rằng câu trả lời là đúng dễ bỏ qua thông tin không chính xác. "Người dùng có thể bỏ qua thông tin không chính xác trong những câu trả lời của ChatGPT (chiếm 39,34% tổng số câu trả lời) bởi vì những câu trả lời này cung cấp thông tin chi tiết và dễ hiểu, giống như cách mà con người trả lời", như tác giả nghiên cứu đã chia sẻ.

Tuy việc tạo ra những câu trả lời có vẻ hợp lý nhưng không chính xác là một vấn đề nghiêm trọng đối với tất cả các trí tuệ nhân tạo, bởi vì điều này có thể dẫn đến việc lan truyền thông tin sai lệch. Ngoài rủi ro này, mức độ chính xác thấp của các câu trả lời cũng cho thấy rằng mọi người không nên quá ca ngợi khả năng của ChatGPT, đặc biệt là trong lĩnh vực lập trình.