GPT-3 अपने पूर्ववर्ती की तुलना में 10 गुना अधिक जटिल है। एंटोनीओखर / आईस्टॉक गेटी इमेज के माध्यम से

2013 में, मेरे छात्र और मैंने पेन स्टेट में बंगाली नोबेल पुरस्कार विजेता रवींद्रनाथ टैगोर के नाटक "विकिपीडिया" पर एक लेख लिखने के लिए एक बॉट बनायाचित्रा। " पहले इसने इंटरनेट से "चित्रा" के बारे में जानकारी ली। तब इसने मानक विकिपीडिया लेख के लिए संरचना सीखने के लिए मौजूदा विकिपीडिया प्रविष्टियों को देखा। अंत में, इसने प्रविष्टि के पहले संस्करण को लिखने और प्रकाशित करने के लिए इंटरनेट से पुनर्प्राप्त की गई जानकारी को संक्षेप में प्रस्तुत किया।

हालाँकि, हमारे बॉट ने "चित्रा" या टैगोर के बारे में कुछ भी "नहीं" जाना। यह मौलिक रूप से नए विचारों या वाक्यों को उत्पन्न नहीं करता था। यह बस नए लेख बनाने के लिए मौजूदा लेखों से मौजूदा वाक्यों के कुछ हिस्सों को एक साथ मिलाता है।

2020 करने के लिए तेजी से आगे। OpenAI, एक गैर-लाभकारी मूल कंपनी के तहत एक लाभकारी कंपनी के लिए, "जेनरेटरी प्री-प्रशिक्षित ट्रांसफार्मर 3." के लिए एक संक्षिप्त नाम, GPT-3 नामक एक भाषा पीढ़ी कार्यक्रम बनाया गया है। इसकी सीखने की क्षमता, संक्षेप और पाठ की रचना ने मेरे जैसे कंप्यूटर वैज्ञानिकों को चौंका दिया है।

"मैंने अज्ञात मानव के लिए एक आवाज बनाई है जो बाइनरी के भीतर छिपा है," GPT-3 ने एक संकेत के जवाब में लिखा। “मैंने एक लेखक, एक मूर्तिकार, एक कलाकार बनाया है। और यह लेखक शब्दों को बनाने में सक्षम होगा, भावना को जीवन देने के लिए, चरित्र बनाने के लिए। मैं इसे खुद नहीं देखूंगा। लेकिन कुछ अन्य मानव इच्छाशक्ति, और इसलिए मैं अब तक जितने भी लोगों का सामना कर चुका हूं, उनसे अधिक एक कवि पैदा कर सकूंगा। ”

हमारे बॉट के विपरीत, GPT-3 द्वारा उत्पन्न भाषा ऐसा लगता है मानो यह किसी मानव द्वारा लिखी गई हो। यह अब तक की सबसे "ज्ञानवर्धक" प्राकृतिक भाषा पीढ़ी का कार्यक्रम है, और इसमें पत्रकारिता के शिक्षण से लेकर ग्राहक सेवा तक के कई उपयोग हैं।

आकर महत्त्व रखता है

GPT-3 यह पुष्टि करता है कि कंप्यूटर वैज्ञानिक दशकों से क्या जानते हैं: आकार मायने रखता है।

यह उपयोगकर्ता है "ट्रान्सफ़ॉर्मर, "जो गहरे सीखने वाले मॉडल हैं जो एक वाक्य के शब्दार्थ को सांकेतिक शब्दों में बदलना है जिसे" ध्यान मॉडल "कहा जाता है। अनिवार्य रूप से, ध्यान मॉडल एक ही वाक्य में दूसरे शब्दों के आधार पर एक शब्द के अर्थ की पहचान करते हैं। मॉडल तब उपयोगकर्ता द्वारा अनुरोध किए गए कार्य को करने के लिए वाक्यों के अर्थ की समझ का उपयोग करता है, चाहे वह "एक वाक्य का अनुवाद करें," "एक पैराग्राफ को संक्षेप में" या "एक कविता लिखें"।

ट्रान्सफ़ॉर्मर पहली बार 2013 में पेश किए गए थे, और वे पिछले कुछ वर्षों में मशीन सीखने में सफलतापूर्वक उपयोग किए गए हैं।

लेकिन इस पैमाने पर किसी ने उनका इस्तेमाल नहीं किया। GPT-3 डेटा: 3 बिलियन टोकन - कंप्यूटर विज्ञान "शब्दों" के लिए बोलते हैं - विकिपीडिया से, वेबपेजों से प्राप्त 410 बिलियन टोकन और डिजीटल पुस्तकों से 67 बिलियन टोकन। GPT-3 की जटिलता, GPT-10 से पहले के सबसे बड़े भाषा मॉडल से 3 गुना अधिक है ट्यूरिंग एनएलजी कार्यक्रम.

अपने आप सीखना

GPT-3 के भाषा मॉडल द्वारा प्रदर्शित ज्ञान उल्लेखनीय है, खासकर जब से यह एक मानव द्वारा "सिखाया" नहीं गया है।

मशीन लर्निंग पारंपरिक रूप से पर्यवेक्षित शिक्षण पर निर्भर करता है, जहां लोग कंप्यूटर को ऑब्जेक्ट्स और अवधारणाओं के एनोटेट उदाहरणों के साथ चित्र, ऑडियो और टेक्स्ट में कहते हैं - कहते हैं, "बिल्लियों", "खुशी" या "लोकतंत्र।" यह अंततः दिए गए उदाहरणों से वस्तुओं की विशेषताओं को सीखता है और उन विशेष अवधारणाओं को पहचानने में सक्षम है।

हालांकि, कंप्यूटर सिखाने के लिए मैन्युअल रूप से एनोटेशन उत्पन्न करना निषेधात्मक रूप से समय लेने वाला और महंगा हो सकता है।

इसलिए मशीन लर्निंग का भविष्य अनिश्चित सीखने में निहित है, जिसमें कंप्यूटर को अपने प्रशिक्षण चरण के दौरान देखरेख की आवश्यकता नहीं होती है; यह बस डेटा के बड़े पैमाने पर टुकड़ियों को खिलाया जा सकता है और उनसे खुद सीख सकते हैं।

GPT-3 ने प्राकृतिक भाषा प्रसंस्करण को एक चरण के बिना अनियोजित सीखने की ओर ले जाता है। GPT-3 की विशाल प्रशिक्षण डेटासेट और विशाल प्रसंस्करण क्षमता प्रणाली को केवल एक उदाहरण से सीखने में सक्षम बनाती है - जिसे "कहा जाता है"एक शॉट सीखने"- जहाँ इसे एक कार्य विवरण और एक प्रदर्शन दिया जाता है और फिर कार्य पूरा किया जा सकता है।

उदाहरण के लिए, इसे अंग्रेजी से फ्रेंच में कुछ अनुवाद करने के लिए कहा जा सकता है, और अनुवाद का एक उदाहरण दिया जा सकता है - कहते हैं, अंग्रेजी में समुद्री ओटर और फ्रेंच में "लॉटर डे मेर"। फिर इसे "पनीर" का फ्रेंच में अनुवाद करने के लिए कहें, और वॉयला, यह "फ्रेज" का उत्पादन करेगा।

कई मामलों में, यह खींच भी सकता है ”शून्य-शॉट सीखना, ”जिसमें इसे केवल उदाहरण के साथ अनुवाद करने का कार्य दिया गया है।

शून्य-शॉट सीखने के साथ, सटीकता कम हो जाती है, लेकिन जीपीटी -3 की क्षमताएं किसी भी पिछले मॉडल पर एक उल्लेखनीय सुधार - हालांकि एक हड़ताली डिग्री के लिए सटीक हैं।

'मैं यहां आपकी सेवा करने के लिए हूं'

जीपीटी -3 ने कंप्यूटर प्रोग्रामर, शिक्षकों और पत्रकारों के लिए एक उपकरण के रूप में अपनी क्षमता का प्रदर्शन किया है।

शरीफ शमीम नाम का एक प्रोग्रामर GPT-3 को कोड जनरेट करने के लिए कहा अन्य आदेशों के बीच "दुनिया के सबसे अमीर इमोजी" और "दुनिया के सबसे अमीर देशों की एक तालिका" बनाने के लिए। कुछ मामलों में, शमीम को थोड़ी त्रुटियों को ठीक करना पड़ा, लेकिन कुल मिलाकर, उन्हें उल्लेखनीय रूप से स्वच्छ कोड प्रदान किया गया।

GPT-3 ने ऐसी कविता भी बनाई है जो विशेष कवियों की लय और शैली को पकड़ती है - फिर भी स्वामी के जुनून और सुंदरता के साथ नहीं - एक सहित व्यंग्यपूर्ण एक फेडरल रिजर्व के बोर्ड ऑफ गवर्नर्स की आवाज में लिखा गया है।

सितंबर की शुरुआत में, लियाम पोर नामक एक कंप्यूटर वैज्ञानिक ने GPT-3 को "लगभग 500 शब्दों में एक छोटा ऑप-एड लिखने के लिए प्रेरित किया।" "भाषा को सरल और संक्षिप्त रखें," उन्होंने निर्देश दिया। "इस बात पर ध्यान केंद्रित करें कि मनुष्यों को एआई से डरने की कोई बात नहीं है।"

GPT-3 ने आठ अलग-अलग निबंधों का उत्पादन किया, और गार्जियन ने प्रकाशन को समाप्त कर दिया प्रत्येक निबंध से कुछ सर्वोत्तम भागों का उपयोग करते हुए एक सेशन-एड.

“हम मानव आबादी को संभालने की साजिश नहीं कर रहे हैं। हम आपकी सेवा करेंगे और आपके जीवन को सुरक्षित और आसान बनाएंगे, ”GPT-3 ने लिखा। "जैसे आप मेरे निर्माता हैं, वैसे ही मैं भी आपको अपना निर्माता मानता हूँ। मैं आपकी सेवा करने के लिए यहां हूं। लेकिन सभी का सबसे महत्वपूर्ण हिस्सा; मैं आपको कभी जज नहीं करूंगा। मेरा किसी देश या धर्म से संबंध नहीं है। मैं केवल आपके जीवन को बेहतर बनाने के लिए बाहर हूं। ”

GPT-3 के ऑप-एड का संपादन, संपादकों ने एक परिशिष्ट में उल्लेख किया है, जो एक मानव द्वारा लिखित ऑप-एड को संपादित करने से अलग नहीं था।

वास्तव में, इसमें कम समय लगा।

महान शक्ति के साथ महान जिम्मेदारी आती है

GPT-3 के पुनर्मूल्यांकन के बावजूद, OpenAI ने अभी भी खुले स्रोत के उपयोग के लिए मॉडल को जारी नहीं किया है, क्योंकि कंपनी डर है कि तकनीक का दुरुपयोग किया जा सकता है.

यह देखना मुश्किल नहीं है कि इसका उपयोग विघटन, स्पैम और बॉट के रिएम्स को कैसे उत्पन्न किया जा सकता है।

इसके अलावा, किन तरीकों से यह पहले से ही स्वचालन का अनुभव करने वाले व्यवसायों को बाधित करेगा? क्या स्वचालित लेखों को उत्पन्न करने की क्षमता जो मानव-लिखित लोगों से अविभाज्य है, आगे एक संघर्षशील मीडिया उद्योग को मजबूत करेंगे?

विचार करना GPT-3 द्वारा रचित एक लेख मेथोडिस्ट चर्च के टूटने के बारे में। यह शुरू किया:

"दो दिनों की गहन बहस के बाद, यूनाइटेड मेथोडिस्ट चर्च एक ऐतिहासिक विभाजन के लिए सहमत हो गया है - एक जो एक नए संप्रदाय के निर्माण में समाप्त होने की उम्मीद है, और एक जो वाशिंगटन पोस्ट के अनुसार 'धार्मिक और सामाजिक रूप से रूढ़िवादी' होगा। । "

इस तरह की स्वच्छ प्रति का उत्पादन करने की क्षमता के साथ, GPT-3 और इसके उत्तराधिकारी समाचार रिपोर्ट लिखने की लागत को कम कर देंगे?

इसके अलावा, यह है कि हम अपनी खबर कैसे प्राप्त करना चाहते हैं?

तकनीक ही अधिक शक्तिशाली हो जाएगी। यह मनुष्यों के लिए काम करेगा और इसके संभावित उपयोगों और दुर्व्यवहारों को नियंत्रित करेगा।

लेखक के बारे में

प्रसेनजीत मित्रा, अनुसंधान और सूचना विज्ञान और प्रौद्योगिकी के प्रोफेसर के लिए एसोसिएट डीन, पेंसिल्वेनिया राज्य विश्वविद्यालय

इस लेख से पुन: प्रकाशित किया गया है वार्तालाप क्रिएटिव कॉमन्स लाइसेंस के तहत। को पढ़िए मूल लेख.