Chứng kiến khả năng độc đáo của mô hình Ngôn ngữ lớn - LLM - công nghệ nền tảng cho các chatbot AI nổi tiếng hiện nay như ChatGPT, Gemini và Copilot, nhiều người lo lắng về một tương lai ảm đạm khi
Thay vì các công cụ thông thường, người đứng đầu bộ phận nghiên cứu này của Apple, ông Samy Bengio, đã sử dụng một công cụ mới có tên GSM-Symbolic.
Thử nghiệm được các nhà nghiên cứu AI của Apple thực hiện trên cả các mô hình nguồn mở như Llama của Meta cũng như các mô hình độc quyền như dòng o1 mới của OpenAI.
Một bài toán đơn giản: "Oliver hái được 44 quả kiwi vào thứ Sáu. Sau đó, anh ấy hái được 58 quả kiwi vào thứ Bảy. Vào Chủ Nhật, anh ấy hái được số quả kiwi nhiều gấp đôi so với số quả anh ấy hái vào thứ Bảy.
Một điều thú vị mà nhóm nghiên cứu nhận thấy là khả năng trả lời câu hỏi của những mô hình này có thể dễ dàng bị gián đoạn chỉ với một vài thay đổi nhỏ.
Trưởng nhóm dự án Mehrdad Farajtabar nhấn mạnh rằng ngay cả một thay đổi nhỏ như vậy cũng khiến độ chính xác giảm đáng kể.
Một bài toán khác "Liam muốn mua một số đồ dùng học tập. Anh ấy mua 24 cục tẩy hiện có giá 6,75 USD mỗi chiếc, 10 cuốn vở hiện có giá 11 USD mỗi chiếc và một tập bìa cứng hiện có giá 6,75 USD mỗi chiếc.
Nói cách khác, rất khó để gọi các mô hình LLM hiện tại có khả năng suy luận, chúng chỉ đơn giản tuân theo các mẫu phức tạp có sẵn trong kho dữ liệu.
Những phát hiện này đặt ra một số vấn đề đáng lo ngại đối với các ứng dụng AI trong các lĩnh vực như chăm sóc sức khỏe, ra quyết định và giáo dục, những lĩnh vực đòi hỏi sự nhất quán logic.
Nghiên cứu cũng đặt câu hỏi về độ tin cậy của các tiêu chuẩn như GSM8K, trong đó các mô hình AI như GPT-4o đạt điểm cao tới 95%, một bước nhảy vọt so với 35% của GPT-3 chỉ vài năm trước.
Sự bất đồng giữa hai tổ chức nghiên cứu AI hàng đầu là đáng chú ý.
Garcy Marcus, một nhà phê bình lâu năm về mạng lưới thần kinh nhân tạo, đã lặp lại những lo ngại này trong nghiên cứu của Apple.
0 Comments