चेहरे की पहचान एल्गोरिदम को आमतौर पर सफेद चेहरे का उपयोग करके परीक्षण किया जाता है, जिसके परिणामस्वरूप प्रौद्योगिकी नस्लीय व्यक्तियों के बीच अंतर करने में असमर्थ होती है। (Shutterstock)
डेट्रोइट पुलिस ने जनवरी 2020 में रॉबर्ट जूलियन-बोरचेक विलियम्स को गलत तरीके से गिरफ्तार किया दो साल पहले हुई एक दुकानदार घटना के लिए। भले ही विलियम्स को इस घटना से कोई लेना-देना नहीं था, मिशिगन स्टेट पुलिस द्वारा इस्तेमाल की जाने वाली चेहरे की पहचान तकनीक ने एक स्टोर-इन सर्विलांस वीडियो से प्राप्त एक दानेदार छवि के साथ उसके चेहरे का मिलान किया, जिसमें एक अन्य अफ्रीकी अमेरिकी व्यक्ति को 3,800 अमेरिकी डॉलर की घड़ियां लेते हुए दिखाया गया।
दो हफ्ते बाद, अभियोजन पक्ष के अनुरोध पर मामला खारिज कर दिया गया। हालांकि, दोषपूर्ण मैच पर भरोसा करते हुए, पुलिस ने पहले ही हथकड़ी लगाई थी और विलियम्स को उसके परिवार के सामने गिरफ्तार कर लिया, उसे एक मग शॉट, उंगलियों के निशान और उसके डीएनए का एक नमूना प्रदान करने के लिए मजबूर किया, उससे पूछताछ की और उसे रात भर कैद कर लिया।
विशेषज्ञों का सुझाव है कि विलियम्स अकेले नहीं हैं, और दूसरों को भी इसी तरह के अन्याय के अधीन किया गया है। क्लियरव्यू एआई के पुलिस उपयोग के बारे में जारी विवाद निश्चित रूप से चेहरे की पहचान तकनीक द्वारा उत्पन्न गोपनीयता जोखिमों को रेखांकित करता है। लेकिन यह महसूस करना महत्वपूर्ण है हम सभी उन जोखिमों को समान रूप से सहन नहीं करते हैं.
प्रशिक्षण नस्लवादी एल्गोरिदम
चेहरे की पहचान की तकनीक जो है कोकेशियान चेहरों पर प्रशिक्षित और प्रशिक्षित व्यवस्थित रूप से गलत पहचान करता है और नस्लीय व्यक्तियों को भ्रमित करता है: कई अध्ययन रिपोर्ट करते हैं कि चेहरे की पहचान तकनीक है "त्रुटिपूर्ण और पक्षपाती, रंग के लोगों के खिलाफ उपयोग किए जाने पर काफी अधिक त्रुटि दर के साथ".
इस नस्लीय व्यक्तियों की व्यक्तित्व और मानवता को रेखांकित करता है जो अपराधी के रूप में गलत पहचाने जाने की अधिक संभावना रखते हैं। प्रौद्योगिकी - और पहचान की त्रुटियां जो इसे बनाती है - प्रतिबिंबित करती है और आगे चलकर लंबे समय से चली आ रही सामाजिक विभाजनों को जन्म देती है, जो नस्लवाद, लिंगवाद, होमोफोबिया, बसने-उपनिवेशवाद और अन्य विरोधी उत्पीड़न से गहराई से उलझी हुई है।
{वेम्बेड Y=vSuDE6wvQlU}
चेहरे की पहचान तकनीक में नस्लीय पूर्वाग्रह की फ्रांस 24 जांच।
प्रौद्योगिकी उपयोगकर्ताओं को कैसे वर्गीकृत करती है
उनके खेल-बदलते 1993 में, द पैनॉप्टिक सॉर्ट, विद्वान ऑस्कर गैंडी ने चेतावनी दी कि "जटिल तकनीक [कि] में उनके दैनिक जीवन के माध्यम से उत्पन्न होने वाले व्यक्तियों और समूहों के बारे में जानकारी का संग्रह, प्रसंस्करण और साझाकरण शामिल है ... का उपयोग उन वस्तुओं और सेवाओं तक समन्वय और नियंत्रण करने के लिए किया जाता है जो जीवन को परिभाषित करते हैं।" आधुनिक पूंजीवादी अर्थव्यवस्था। " कानून प्रवर्तन इसका उपयोग आम जनता से संदिग्धों को हटाने के लिए करता है, और निजी संगठन इसका उपयोग यह निर्धारित करने के लिए करते हैं कि हमारे पास चीजों की पहुंच है या नहीं बैंकिंग और रोजगार.
गैंडी ने भविष्य में चेतावनी दी थी कि अगर उसे अनियंत्रित छोड़ दिया जाता है, तो "साइबरनेटिक ट्राइएज" का यह रूप समता चाहने वाले समुदायों के सदस्यों को तेजी से नुकसान पहुंचाएगा - उदाहरण के लिए, ऐसे समूह जो नस्लीय या सामाजिक-आर्थिक रूप से वंचित हैं - दोनों को उनके लिए आवंटित किया जाएगा। वे खुद को कैसे समझ सकते हैं।
कुछ 25 साल बाद, हम अब स्टेरॉयड पर पैनोप्टिक प्रकार के साथ रह रहे हैं। और समानता चाहने वाले समुदायों पर इसके नकारात्मक प्रभावों के उदाहरण, जैसे विलियम्स की झूठी पहचान।
पहले से मौजूद पूर्वाग्रह
एल्गोरिदम का उपयोग करते हुए यह छंटनी रोजमर्रा की जिंदगी के सबसे बुनियादी पहलुओं को घुसपैठ करती है, इसके मद्देनजर प्रत्यक्ष और संरचनात्मक दोनों हिंसाएं होती हैं।
विलियम्स द्वारा अनुभव की गई प्रत्यक्ष हिंसा उनकी गिरफ्तारी और नजरबंदी के आसपास की घटनाओं में तुरंत स्पष्ट होती है, और उनके द्वारा अनुभव किए गए व्यक्तिगत नुकसान स्पष्ट हैं और पुलिस की कार्रवाई का पता लगाया जा सकता है जिन्होंने गिरफ्तारी करने के लिए प्रौद्योगिकी के "मैच" पर भरोसा करना चुना। अधिक कपटी है संरचनात्मक हिंसा चेहरे की पहचान तकनीक के माध्यम से स्थायी और अन्य डिजिटल तकनीकें उस दर, मिलान, वर्गीकृत और व्यक्तियों को उन तरीकों से सॉर्ट करें जो पहले से मौजूद भेदभावपूर्ण पैटर्न को बढ़ाते हैं।
संरचनात्मक हिंसा के नुकसान कम स्पष्ट और कम प्रत्यक्ष हैं, और सत्ता, संसाधनों और अवसर के लिए व्यवस्थित इनकार के माध्यम से समानता चाहने वाले समूहों को चोट पहुंचाते हैं। इसके साथ ही, यह उन समूहों के व्यक्तिगत सदस्यों के लिए प्रत्यक्ष जोखिम और नुकसान को बढ़ाता है।
भविष्य कहनेवाला पुलिस का उपयोग करता है नए डेटा के कब और कहाँ होने की संभावना है, इसका अनुमान लगाने के लिए ऐतिहासिक डेटा की एल्गोरिथम प्रसंस्करणतदनुसार पुलिस संसाधन प्रदान करता है और आम तौर पर कम आय और नस्लीय पड़ोस में पुलिस निगरानी बढ़ाता है। इससे यह संभावना बढ़ जाती है कि कोई भी आपराधिक गतिविधि - जिसमें कम गंभीर आपराधिक गतिविधि शामिल है, जो अन्यथा बिना किसी पुलिस प्रतिक्रिया के तुरंत कार्रवाई कर सकती है - का पता लगाया जाएगा और दंडित किया जाएगा, अंततः उस वातावरण में रहने वाले लोगों के जीवन की संभावनाओं को सीमित किया जाएगा।
और अन्य क्षेत्रों में असमानताओं के प्रमाण बढ़ते रहते हैं। यूनाइटेड किंगडम में सैकड़ों छात्र के विनाशकारी परिणामों के खिलाफ 16 अगस्त को विरोध प्रदर्शन किया अक्ल काएक त्रुटिपूर्ण एल्गोरिथ्म ब्रिटेन सरकार ने यह निर्धारित करने के लिए इस्तेमाल किया कि कौन से छात्र विश्वविद्यालय के लिए अर्हता प्राप्त करेंगे। 2019 में, फेसबुक की माइक्रो-ट्रेकिंग विज्ञापन सेवा दर्जनों सार्वजनिक और निजी क्षेत्र के नियोक्ताओं की मदद की उम्र और लिंग के आधार पर नौकरी विज्ञापन प्राप्त करने वाले लोगों को बाहर करें। ProPublica द्वारा किए गए शोध ने प्रलेखित किया है ऑनलाइन उत्पादों के लिए नस्ल आधारित मूल्य भेदभाव। और खोज इंजन नियमित रूप से नस्लवादी और सेक्सिस्ट परिणाम उत्पन्न करते हैं।
जुल्म सहते हुए
ये नतीजे मायने रखते हैं क्योंकि वे नस्ल, लिंग और उम्र जैसी विशेषताओं के आधार पर पहले से मौजूद असमानताओं को समाप्त और गहरा कर देते हैं। वे इसलिए भी मायने रखते हैं क्योंकि वे गहराई से प्रभावित करते हैं कि कैसे हम अपने आप को और हमारे आसपास की दुनिया को जानते हैं, कभी-कभी जानकारी का चयन करना हम ऐसे तरीकों से प्राप्त करते हैं जो रूढ़िवादी धारणाओं को मजबूत करते हैं। यहां तक कि प्रौद्योगिकी कंपनियां खुद को स्वीकार करती हैं एल्गोरिदम को रोकने के लिए भेदभाव को रोकने की तात्कालिकता.
आज तक, तकनीकी कंपनियों द्वारा संचालित तदर्थ जांच की सफलता के लिए, असंगत रहा है। कभी-कभी, भेदभावपूर्ण प्रणालियों के उत्पादन में शामिल निगम उन्हें बाजार से वापस ले लेते हैं, जैसे कि कब क्लियरव्यू एआई ने घोषणा की कि यह अब कनाडा में चेहरे की पहचान तकनीक की पेशकश नहीं करेगा। लेकिन अक्सर इस तरह के फैसलों का परिणाम केवल नियामक जांच या सार्वजनिक आक्रोश होता है बाद समानता चाहने वाले समुदायों के सदस्यों को पहले ही नुकसान पहुंचाया जा चुका है।
यह हमारे नियामक संस्थानों को उपकरण देने का समय है जो उन्हें समस्या का समाधान करने की आवश्यकता है। सरल गोपनीयता सुरक्षा जो कि कंपनियों द्वारा डेटा को कैप्चर करने और पुनर्निर्मित करने के लिए व्यक्तिगत सहमति प्राप्त करने पर टिका है, को उस उपयोग के भेदभावपूर्ण परिणामों से अलग नहीं किया जा सकता है। यह एक युग में विशेष रूप से सच है जब हम में से अधिकांश (प्रौद्योगिकी कंपनियों सहित स्व) पूरी तरह से समझ नहीं सकता है कि एल्गोरिदम क्या करते हैं या वे विशिष्ट परिणाम क्यों देते हैं।
निजता एक मानवीय अधिकार है
समाधान का हिस्सा मौजूदा विनियामक साइलो को तोड़ता है जो गोपनीयता और मानव अधिकारों को अलग-अलग मुद्दों के रूप में मानते हैं। सहमति-आधारित डेटा सुरक्षा मॉडल पर भरोसा करने से मूल सिद्धांत के सामने उड़ जाता है कि गोपनीयता और समानता दोनों मानव अधिकार हैं जिन्हें अनुबंधित नहीं किया जा सकता है।
और भी कनाडा का डिजिटल चार्टर - संघीय सरकार की डिजिटल पर्यावरण की वर्तमान स्थिति की कमियों का जवाब देने का नवीनतम प्रयास - इन वैचारिक भेदों को बनाए रखता है। यह नफरत और अतिवाद, नियंत्रण और सहमति, और मजबूत लोकतंत्र को अलग-अलग श्रेणियों के रूप में मानता है।
एल्गोरिदमिक भेदभाव को संबोधित करने के लिए, हमें मानवाधिकारों के रूप में गोपनीयता और समानता दोनों को पहचानना और फ्रेम करना होगा। और हमें एक बुनियादी ढांचा तैयार करना होगा जो दोनों में समान रूप से चौकस और विशेषज्ञ हो। इस तरह के प्रयासों के बिना, गणित और विज्ञान की चमकदार चमक एआई के भेदभावपूर्ण पूर्वाग्रहों को छलनी करना जारी रखेगी, और विलियम्स जैसे कि विलुप्त होने के लिए ट्रॉस्टीज को गुणा करने की उम्मीद की जा सकती है।
लेखक के बारे में
जेन बेली, लॉ के प्रोफेसर और eQuality प्रोजेक्ट के सह-नेता, ल ओनिवर्सिटे डी'ओटावा / ओटावा विश्वविद्यालय; जैक्वेलिन बर्केल, एसोसिएट उपाध्यक्ष, अनुसंधान, पश्चिमी विश्वविद्यालय, और वैलेरी स्टील, पूर्ण प्रोफेसर, ल ओनिवर्सिटे डी'ओटावा / ओटावा विश्वविद्यालय
इस लेख से पुन: प्रकाशित किया गया है वार्तालाप क्रिएटिव कॉमन्स लाइसेंस के तहत। को पढ़िए मूल लेख.
अमेज़न की बेस्ट सेलर सूची से असमानता पर पुस्तकें
"जाति: हमारे असंतोष की उत्पत्ति"
इसाबेल विल्करसन द्वारा
इस पुस्तक में, इसाबेल विल्करसन संयुक्त राज्य अमेरिका सहित दुनिया भर के समाजों में जाति व्यवस्था के इतिहास की जाँच करती हैं। पुस्तक व्यक्तियों और समाज पर जाति के प्रभाव की पड़ताल करती है, और असमानता को समझने और संबोधित करने के लिए एक रूपरेखा प्रदान करती है।
अधिक जानकारी के लिए या ऑर्डर करने के लिए क्लिक करें
"द कलर ऑफ लॉ: ए फॉरगॉटन हिस्ट्री ऑफ हाउ अवर गवर्नमेंट सेग्रीगेटेड अमेरिका"
रिचर्ड रोथस्टीन द्वारा
इस पुस्तक में, रिचर्ड रोथस्टीन उन सरकारी नीतियों के इतिहास की पड़ताल करते हैं जिन्होंने संयुक्त राज्य अमेरिका में नस्लीय अलगाव को बनाया और प्रबलित किया। पुस्तक व्यक्तियों और समुदायों पर इन नीतियों के प्रभाव की जांच करती है, और चल रही असमानता को दूर करने के लिए कार्रवाई का आह्वान करती है।
अधिक जानकारी के लिए या ऑर्डर करने के लिए क्लिक करें
"द सम ऑफ अस: किस तरह के नस्लवाद की कीमत हर किसी को चुकानी पड़ती है और हम एक साथ कैसे समृद्ध हो सकते हैं"
हीदर मैकघी द्वारा
इस पुस्तक में, हीदर मैकघी नस्लवाद की आर्थिक और सामाजिक लागतों की पड़ताल करते हैं, और एक अधिक न्यायसंगत और समृद्ध समाज के लिए एक दृष्टि प्रदान करते हैं। पुस्तक में उन व्यक्तियों और समुदायों की कहानियाँ शामिल हैं जिन्होंने असमानता को चुनौती दी है, साथ ही एक अधिक समावेशी समाज बनाने के लिए व्यावहारिक समाधान भी शामिल हैं।
अधिक जानकारी के लिए या ऑर्डर करने के लिए क्लिक करें
"द डेफिसिट मिथ: मॉडर्न मॉनेटरी थ्योरी एंड द बर्थ ऑफ द पीपल्स इकोनॉमी"
स्टेफ़नी केल्टन द्वारा
इस पुस्तक में, स्टेफ़नी केल्टन सरकारी खर्च और राष्ट्रीय घाटे के बारे में पारंपरिक विचारों को चुनौती देती है, और आर्थिक नीति को समझने के लिए एक नया ढांचा प्रस्तुत करती है। पुस्तक में असमानता को दूर करने और अधिक न्यायसंगत अर्थव्यवस्था बनाने के लिए व्यावहारिक समाधान शामिल हैं।
अधिक जानकारी के लिए या ऑर्डर करने के लिए क्लिक करें
"द न्यू जिम क्रो: कलरब्लाइंडनेस के युग में सामूहिक कारावास"
मिशेल अलेक्जेंडर द्वारा
इस पुस्तक में, मिशेल अलेक्जेंडर उन तरीकों की पड़ताल करती है जिनमें आपराधिक न्याय प्रणाली नस्लीय असमानता और भेदभाव को कायम रखती है, विशेष रूप से काले अमेरिकियों के खिलाफ। पुस्तक में प्रणाली और उसके प्रभाव का एक ऐतिहासिक विश्लेषण शामिल है, साथ ही सुधार के लिए कार्रवाई का आह्वान भी शामिल है।
