क्या कृत्रिम इंटेलिजेंस ने आप को बर्बाद कर दिया?

क्या कृत्रिम इंटेलिजेंस ने आप को बर्बाद कर दिया?

जो लोग किसी बैंक या क्रेडिट कार्ड कंपनी से ऋण के लिए आवेदन करते हैं, और इनकार कर दिए जाते हैं, वे इस बात का ब्योरा देते हैं कि ऐसा क्यों हुआ। यह एक अच्छा विचार है - क्योंकि यह लोगों को अपने खराब क्रेडिट की मरम्मत के लिए सिखाने में मदद कर सकता है - और यह एक संघीय कानून है, समान क्रेडिट अवसर अधिनियम। पिछले एक सालों में जवाब देने में कोई समस्या नहीं थी, जब इंसान ने उन फैसले किए। लेकिन आज, कृत्रिम बुद्धि तंत्र के रूप में लोगों को क्रेडिट फैसले लेने में उनकी सहायता या बदलने की आवश्यकता होती है, इन स्पष्टीकरण प्राप्त करना बहुत मुश्किल हो गया है वार्तालाप

परंपरागत रूप से, एक ऋण अधिकारी जो एक आवेदन को खारिज कर देता है वह एक उधारकर्ता को बता सकता है कि उसकी आय स्तर या रोजगार के इतिहास में कोई समस्या थी या जो मुद्दा था वह था। लेकिन कंप्यूटरीकृत सिस्टम जो परिसर का उपयोग करते हैं यंत्र अधिगम मॉडल समझा जाना मुश्किल है, यहां तक ​​कि विशेषज्ञों के लिए भी।

उपभोक्ता ऋण निर्णय केवल एक ही तरह से यह समस्या उत्पन्न होती है। इसी तरह की चिंताएं में विद्यमान स्वास्थ्य देखभाल, ऑनलाइन विपणन और भी आपराधिक न्याय। इस क्षेत्र में मेरी अपनी दिलचस्पी तब शुरू हुई जब एक अनुसंधान समूह मुझे खोजा गया ऑनलाइन विज्ञापन कैसे लक्षित किए गए थे, यह लिंग पूर्वाग्रह, लेकिन यह क्यों नहीं समझा सकता था

उन सभी उद्योगों, और कई अन्य, जो प्रक्रियाओं का विश्लेषण करने और फैसले लेने के लिए मशीन सीखने का उपयोग करते हैं, उन्हें यह समझाने में बहुत अधिक लाभ मिलता है कि उनके सिस्टम कैसे काम करते हैं। मई 2018 में, नया यूरोपीय संघ सामान्य डेटा संरक्षण विनियमन एक सेक्शन सहित लोगों को अपने जीवन को प्रभावित करने वाले स्वचालित निर्णयों के लिए स्पष्टीकरण देने का अधिकार देने वाला एक अनुभाग भी शामिल है। इन स्पष्टीकरणों को क्या आकार लेना चाहिए, और क्या हम वास्तव में उन्हें प्रदान कर सकते हैं?

प्रमुख कारणों की पहचान करना

यह वर्णन करने का एक तरीका है कि एक स्वचालित निर्णय किस तरह से आया है, इस फैसले की पहचान करने के लिए कि निर्णय में सबसे अधिक प्रभावशाली कौन से हैं। क्रेडिट अस्वीकृति का निर्णय कितना था क्योंकि आवेदक ने पर्याप्त धन नहीं किया, या क्योंकि वह अतीत में ऋण चुकाने में असफल रहा था?

कार्नेगी मेलॉन यूनिवर्सिटी में पीएचडी छात्र शैक सेन और उसके बाद के पोस्टडॉक यायर जैक सहित मेरे शोध समूह ने एक रास्ता बनाया सापेक्ष प्रभाव को मापने प्रत्येक कारक का हम इसे मात्रात्मक इनपुट प्रभाव कहते हैं।

किसी व्यक्ति के फैसले को बेहतर समझने के अलावा, माप भी फैसले के समूह पर प्रकाश डाला जा सकता है: क्या एक एल्गोरिथम मुख्य रूप से वित्तीय चिंताओं के कारण क्रेडिट से इनकार करता है, जैसे कि आवेदक पहले से ही अन्य ऋणों पर बकाया है? या क्या आवेदक का ज़िप कोड अधिक महत्वपूर्ण था - अधिक बुनियादी जनसांख्यिकीय सुझाव जैसे दौड़ शायद नाटक में आ गई हो?


इनरसेल्फ से नवीनतम प्राप्त करें


कब्जे का कारण

जब कोई सिस्टम कई कारकों के आधार पर निर्णय लेता है तो यह पहचानना महत्वपूर्ण है कि कौन-सी कारकों के कारण निर्णय और उनके सापेक्ष योगदान का कारण होता है

उदाहरण के लिए, एक क्रेडिट-निर्णय प्रणाली की कल्पना करें, जिसमें आवेदक का ऋण-से-आय अनुपात और उनकी दौड़ में सिर्फ दो इनपुट होते हैं, और केवल कौकेसियनों के लिए ऋण स्वीकृत करने के लिए दिखाया गया है। इस फैसले में योगदान करने वाले हर कारक को यह समझने में हमारी मदद मिल सकती है कि यह एक वैध प्रणाली है या क्या यह भेदभावपूर्ण है या नहीं।

एक स्पष्टीकरण सिर्फ आदानों और परिणाम को देख सकता है और सहसंबंध को देख सकता है - गैर-काकेशियन को ऋण नहीं मिला। लेकिन यह स्पष्टीकरण बहुत सरल है मान लीजिए कि गैर-काकेशियन जो ऋण से इनकार कर दिए गए थे, उनके पास कॉकेशियन की तुलना में बहुत कम आय थी, जिनके आवेदन सफल थे। फिर यह स्पष्टीकरण हमें यह नहीं बता सकता है कि आवेदकों की जाति या ऋण-से-आय अनुपात में इनकारों का कारण होता है।

हमारी पद्धति यह जानकारी प्रदान कर सकती है। अंतर को बताने का मतलब यह है कि हम यह तंग कर सकते हैं कि क्या सिस्टम अनुचित रूप से भेदभाव या वैध मानदंडों को देख रहा है, जैसे आवेदकों के वित्त

किसी विशिष्ट क्रेडिट फैसले में जाति के प्रभाव को मापने के लिए, हम आवेदन प्रक्रिया को दोहराते हैं, ऋण-से-आय अनुपात को समान रखते हैं लेकिन आवेदक की दौड़ को बदलते हैं। यदि दौड़ को बदलने से परिणाम प्रभावित होता है, तो हम जानते हैं कि दौड़ एक निर्णायक कारक है। यदि नहीं, तो हम यह निष्कर्ष निकाल सकते हैं कि एल्गोरिथ्म वित्तीय जानकारी पर ही दिख रही है।

कारणों के कारण पहचानने के अलावा, हम किसी निर्णय पर उनके सापेक्ष कारण प्रभाव को माप सकते हैं हम उस कारक को अलग-अलग बदलते हैं (उदाहरण के लिए, दौड़) और यह मापने के लिए कि परिणाम को बदलने के लिए यह कैसा संभव है। संभावना की अधिकता, कारक के प्रभाव का अधिक बड़ा।

समग्र प्रभाव

हमारी पद्धति भी कई कारक शामिल कर सकती है जो एक साथ काम करती हैं। एक निर्णय प्रणाली पर विचार करें जो आवेदकों को क्रेडिट प्रदान करता है जो तीन मापदंडों में से दो को पूरा करते हैं: 600 से ऊपर क्रेडिट स्कोर, एक कार का स्वामित्व, और आवेदक ने एक होम लोन पूरी तरह चुकाया है या नहीं। एक आवेदक को कहो, ऐलिस, 730 का क्रेडिट स्कोर और कोई कार या होम लोन के साथ, क्रेडिट से इनकार कर दिया गया है। वह सोचती है कि क्या उसकी कार की स्वामित्व की स्थिति या गृह ऋण चुकौती इतिहास मुख्य कारण है

एक समानता यह बता सकती है कि हम इस स्थिति का विश्लेषण कैसे करते हैं। एक अदालत पर विचार करें, जहां तीन न्यायाधीशों के पैनल के बहुमत से फैसले किए गए हैं, जहां एक रूढ़िवादी है, एक उदारवादी और तीसरा स्विंग वोट, कोई ऐसा व्यक्ति जो उसके सहयोगियों के साथ मिल सकता है एक 2-1 रूढ़िवादी निर्णय में, स्विंग जज का उदार न्यायकर्ता के मुकाबले परिणाम पर अधिक प्रभाव पड़ा।

हमारे क्रेडिट उदाहरण में कारक तीन न्यायाधीशों की तरह हैं पहला न्यायाधीश आमतौर पर ऋण के पक्ष में वोट करता है, क्योंकि कई आवेदकों के पास पर्याप्त पर्याप्त क्रेडिट स्कोर है। दूसरा न्यायाधीश लगभग हमेशा ही ऋण के खिलाफ वोट करता है क्योंकि बहुत कम आवेदक ने कभी भी एक घर का भुगतान किया है। इसलिए निर्णय स्विंग जज के पास आता है, जो ऐलिस के मामले में ऋण को खारिज करते हैं क्योंकि उसकी कोई कार नहीं है

हम इस तर्क को ठीक से प्रयोग करके कर सकते हैं सहकारी खेल सिद्धांत, विशेष रूप से विश्लेषण करने की एक प्रणाली है कि एक ही परिणाम में किस प्रकार भिन्न कारक योगदान करते हैं विशेष रूप से, हम अपने सापेक्षिक कारण प्रभाव के माप को साथ में जोड़ते हैं शेपली मूल्य, जो गणना करने का एक तरीका है कि कैसे कई कारकों पर प्रभाव डालने के लिए। साथ में, ये हमारे मात्रात्मक इनपुट प्रभाव माप का रूप लेते हैं।

अभी तक हमने वास्तविक प्रणाली डेटा सेटों के साथ आम मशीन सीखने के एल्गोरिदम को प्रशिक्षण के द्वारा बनाई गई निर्णय प्रणाली पर हमारे तरीकों का मूल्यांकन किया है। वास्तविक दुनिया में काम पर एल्गोरिदम का मूल्यांकन भविष्य के काम के लिए एक विषय है।

एक खुली चुनौती

एल्गोरिदम निर्णय लेने के विश्लेषण और व्याख्या की हमारी पद्धति उन सेटिंग्स में सबसे अधिक उपयोगी होती है जहां कारकों को मानव द्वारा आसानी से समझा जाता है - जैसे कि ऋण-से-आय अनुपात और अन्य वित्तीय मानदंड।

हालांकि, अधिक जटिल एल्गोरिदम के निर्णय लेने की प्रक्रिया को समझाते हुए एक महत्वपूर्ण चुनौती बनी हुई है। उदाहरण के लिए, एक छवि मान्यता प्रणाली, जैसे लोगों को ले लो ट्यूमर का पता लगाने और ट्रैक करना। व्यक्तिगत पिक्सेल पर आधारित किसी विशेष छवि के मूल्यांकन को समझाने के लिए यह बहुत उपयोगी नहीं है आदर्श रूप से, हम एक स्पष्टीकरण चाहते हैं जो निर्णय में अतिरिक्त अंतर्दृष्टि प्रदान करता है - जैसे छवि में विशिष्ट ट्यूमर विशेषताओं की पहचान करना। दरअसल, ऐसे स्वचालित निर्णय लेने के कार्यों के लिए स्पष्टीकरण तैयार करना कई शोधकर्ताओं को रखता है व्यस्त.

के बारे में लेखक

अनुपम दत्ता, कंप्यूटर विज्ञान और इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग के एसोसिएट प्रोफेसर, कारनेग मेलन यूनिवर्सिटी

यह आलेख मूलतः पर प्रकाशित हुआ था वार्तालाप। को पढ़िए मूल लेख.

संबंधित पुस्तकें

{amazonWS: searchindex = Books; कीवर्ड्स = क्रेडिट रिपेयर; मैक्समूलस = एक्सएनयूएमएक्स}

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

InnerSelf पर का पालन करें

फेसबुक आइकनट्विटर आइकनआरएसएस आइकन

ईमेल से नवीनतम प्राप्त करें

{Emailcloak = बंद}

इनर्सल्फ़ आवाज

मेरी प्राथमिकताएं सभी गलत थीं
मेरी प्राथमिकताएं सभी गलत थीं
by टेड डब्ल्यू। बैक्सटर

सबसे ज़्यादा पढ़ा हुआ

आप क्या कर रहे हैं? कि तरस भरा जा सकता है?
आप क्या कर रहे हैं? कि तरस भरा जा सकता है?
by मैरी टी। रसेल, इनरएसल्फ़