Blog

यदि आपने Twitter या Reddit के ChatGPT सबरेडिट को पढ़ा है, तो आपको किसी भी अन्य की तुलना में एक प्रश्न सबसे अधिक पूछा जाएगा: क्या ChatGPT कमजोर होता जा रहा है?

क्या समय बीतने के साथ दुनिया के अग्रणी जेनरेटर एआई चैटबॉट का प्रदर्शन कम हो रहा है, या ChatGPT के लाखों उपयोगकर्ता सामूहिक रूप से कम हो रहे हैं गुणवत्ता संबंधी मतिभ्रम संबंधी मुद्दे?

क्या ChatGPT की हालत खराब होती जा रही है?

यह कुछ ऐसा है जिसके बारे में कई ChatGPT उपयोगकर्ता आश्चर्यचकित हैं: क्या ChatGPT बेवकूफ़ होता जा रहा है? OpenAI अपनी दिशा को सूचित करने के लिए उपयोगकर्ता प्रतिक्रिया, संकेतों और उपयोगकर्ता डेटा का उपयोग करके अपनी प्रतिक्रियाओं, सुरक्षा और अधिक को संशोधित करने के लिए डिज़ाइन किए गए ChatGPT के लिए लगातार अपडेट जारी करता है।

लेकिन जहां ChatGPT लॉन्च होने पर लगभग किसी भी समस्या का एक प्रतिभाशाली समाधान जैसा महसूस हुआ, पहले से कहीं अधिक उपयोगकर्ता इसकी प्रतिक्रियाओं और आउटपुट के साथ समस्याओं की रिपोर्ट करते हैं। ChatGPT के तर्क, कोडिंग और गणितीय कौशल विशेष रूप से ध्यान देने योग्य हैं, हालांकि अन्य ध्यान दें कि यह रचनात्मक कार्यों के साथ भी संघर्ष करता है।

अधिकांश ChatGPT उपयोगकर्ताओं के लिए यह जांचने का सबसे आसान तरीका है कि समय के साथ इसकी प्रतिक्रियाएं कैसे बदल गई हैं, पहले इस्तेमाल किए गए संकेत को दोहराना (अधिमानतः ChatGPT के शुरुआती दिनों से) और दो आउटपुट का विश्लेषण करना।

विशिष्ट आउटपुट की आवश्यकता वाले उत्तरों, जैसे कोडिंग और गणित से जुड़े उत्तरों की सीधे तुलना करना संभवतः सबसे आसान है।

स्टैनफोर्ड अध्ययन ChatGPT को बंद करने का सुझाव देता है

स्टैनफोर्ड यूनिवर्सिटी और यूसी बर्कले के संयुक्त शोध समूह का मानना ​​है कि ChatGPT जिन भावनाओं को बदल रहा है, वे सही हो सकती हैं। लिंगजियाओ चेन, मातेई ज़हरिया, और जेम्स ज़ोउ का पेपर समय के साथ ChatGPT का व्यवहार कैसे बदल रहा है? (पीडीएफ) ChatGPT की बदलती क्षमताओं पर पहले गहन अध्ययनों में से एक है।

रिपोर्ट सारांश बताता है:

हमने पाया कि GPT-3.5 और GPT-4 दोनों का प्रदर्शन और व्यवहार समय के साथ काफी भिन्न हो सकता है। उदाहरण के लिए, GPT-4 (मार्च 2023) अभाज्य संख्याओं (सटीकता 97.6%) की पहचान करने में बहुत अच्छा था, लेकिन GPT-4 (जून 2023) इन्हीं प्रश्नों (सटीकता 2.4%) पर बहुत खराब था। दिलचस्प बात यह है कि इस कार्य में GPT-3.5 (जून 2023) GPT-3.5 (मार्च 2023) से काफी बेहतर था। GPT-4 मार्च की तुलना में जून में संवेदनशील प्रश्नों का उत्तर देने के लिए कम इच्छुक था, और GPT-4 और GPT-3.5 दोनों में मार्च की तुलना में जून में कोड जनरेशन में अधिक स्वरूपण गलतियाँ थीं।

जब ChatGPT को गणित की ऐसी समस्याओं के बारे में बताया गया जिन्हें पहले 2023 में हल किया जा सकता था, तो वर्ष के अंत में प्रतिक्रियाएँ बेहद गलत थीं। इसके अलावा, ChatGPT ने विस्तार से बताया कि उत्तर गलत होने के बावजूद सही क्यों था। एआई मतिभ्रम के उदाहरण कोई नई बात नहीं हैं, लेकिन नीचे दिए गए चार्ट के आंकड़े समग्र तर्क में एक महत्वपूर्ण बदलाव का सुझाव देते हैं।

छवि क्रेडिट: स्टैनफोर्ड/बर्कले

छवि क्रेडिट: स्टैनफोर्ड/बर्कले

चार्ट से पता चलता है कि ChatGPT की प्रतिक्रियाएं अलग-अलग हैं, रिपोर्ट में इस पर और जोर दिया गया है।

जीपीटी-4 की सटीकता मार्च में 97.6% से गिरकर जून में 2.4% हो गई, और जीपीटी-3.5 की सटीकता में बड़ा सुधार हुआ, 7.4% से 86.8% हो गया। इसके अलावा, GPT-4 की प्रतिक्रिया बहुत अधिक सघन हो गई: इसकी औसत वर्बोसिटी (उत्पन्न वर्णों की संख्या) मार्च में 821.2 से घटकर जून में 3.8 हो गई। दूसरी ओर, GPT-3.5 की प्रतिक्रिया लंबाई में लगभग 40% की वृद्धि हुई। उनके मार्च और जून संस्करणों के बीच उत्तर ओवरलैप भी दोनों सेवाओं के लिए छोटा था।

रिपोर्ट बताती है कि जून में प्रश्नों के साथ प्रस्तुत किए जाने पर ChatGPT की विचार की बड़ी भाषा मॉडल श्रृंखला “काम नहीं करती”। एलएलएम के साथ बातचीत का बहाव हमेशा एक उल्लेखनीय मुद्दा रहा है, लेकिन प्रतिक्रियाओं में अत्यधिक भिन्नता प्रदर्शन के मुद्दों और ChatGPT में बदलाव का सुझाव देती है।

क्या ChatGPT की हालत खराब होती जा रही है? OpenAI कहता है नहीं

क्या यह महज एक संयोग है कि सामान्य और विपुल दोनों ChatGPT उपयोगकर्ता ChatGPT की बदलती गुणवत्ता को देख रहे हैं?

शोध पत्र ऐसा सुझाव नहीं देगा, लेकिन उत्पाद के लिए ओपनएआई वीपी, पीटर वेलिंडर, अन्यथा सुझाव देते हैं।

इसके अलावा, वेलिंडर ने बाद में ChatGPT के लिए ओपनएआई की रिलीज और कंपनी द्वारा पूरे 2023 में दिए गए अपडेट की निरंतर धारा की ओर इशारा किया।

फिर भी, उनके ट्वीट पर कई प्रतिक्रियाएं नहीं रुकीं, जिसमें बताया गया कि कैसे उपयोगकर्ताओं ने ChatGPT की प्रतिक्रियाओं को वांछित पाया है, कई लोगों ने संकेतों और प्रतिक्रियाओं को एनोटेट करने में समय लिया।

क्या OpenAI ChatGPT को उसकी मूल स्थिति में पुनर्स्थापित कर सकता है?

ChatGPT के शुरुआती दिन अब बहुत दूर लगते हैं; नवंबर 2022 एक धुंधली याद है और एआई की दुनिया तेजी से आगे बढ़ रही है।

कई लोगों के लिए, स्टैनफोर्ड/बर्कले अध्ययन ChatGPT के उपयोग के मुद्दों और निराशाओं को पूरी तरह से दर्शाता है। दूसरों का दावा है कि ChatGPT को अधिक सुरक्षित, अधिक समावेशी उपकरण बनाने के लिए इसमें किए गए बदलावों और बदलावों ने सीधे तौर पर इसकी ठीक से तर्क करने की क्षमता को बदल दिया है, जिससे इसके ज्ञान और समग्र क्षमताओं को इस हद तक खत्म कर दिया गया है कि यह अनुपयोगी हो गया है।

ऐसा लगता है कि इसमें कोई संदेह नहीं है कि ChatGPT बदल गया है। क्या ChatGPT अपनी मूल शक्ति पुनः प्राप्त कर पाएगा, यह पूरी तरह से एक और प्रश्न है।