अमेज़न हाल ही में पेशकश करने लगे उसी दिन वितरण चयनित महानगरीय क्षेत्रों में यह कई ग्राहकों के लिए अच्छा हो सकता है, लेकिन रोलआउट दिखाता है कि कम्प्यूटरीकृत निर्णय लेने से भेदभाव की एक मजबूत खुराक भी पहुंच सकती है।

संवेदनशील रूप से, कंपनी ने उन क्षेत्रों में अपनी सेवाओं की शुरुआत की, जहां डिलीवरी की लागत सबसे कम होगी, घनी आबादी वाले घरों के ज़िप कोड की पहचान करके कई मौजूदा अमेज़ॅन ग्राहकों को आय स्तरों के साथ उच्च स्थान प्राप्त करने के लिए पर्याप्त रूप से उसी दिन की डिलीवरी के लिए उपलब्ध उत्पादों की लगातार खरीदारी करने के लिए। कंपनी ने एक वेब पेज दिया जिससे ग्राहकों को अपने ज़िप कोड दर्ज करने की जानकारी मिलती है कि क्या उसी दिन की डिलीवरी उन्हें सेवा प्रदान करती है। ब्लूमबर्ग न्यूज के खोजी पत्रकारों ने उस पेज को इस्तेमाल किया उसी दिन की डिलीवरी के लिए अमेज़ॅन की सेवा क्षेत्र के मानचित्र बनाएं.

ब्लूमबर्ग विश्लेषण से पता चला है कि कई गरीब शहरी क्षेत्रों को सेवा क्षेत्र से बाहर रखा गया था, जबकि अधिक समृद्ध पड़ोसी क्षेत्रों में शामिल थे। इन बहिष्कृत गरीब क्षेत्रों में से अधिकांश मुख्य रूप से अल्पसंख्यकों द्वारा बसे हुए थे। उदाहरण के लिए, बोस्टन के सभी को रॉक्सबरी को छोड़कर कवर किया गया; न्यूयॉर्क शहर के कवरेज में लगभग सभी चार नगर शामिल हैं लेकिन ब्रोंक्स को पूरी तरह से बाहर रखा गया; शिकागो कवरेज ने गरीब साइड साइड को छोड़ दिया, जबकि संपन्न उत्तरी और पश्चिमी उपनगरों में काफी विस्तार किया।

हालांकि यह विश्वास करने में मोहक है कि डेटा-आधारित निर्णय निष्पक्ष हैं, अनुसंधान और विद्वानपूर्ण चर्चा कि प्रदर्शित करने के लिए शुरुआत कर रहे हैं अन्याय और भेदभाव रहना। मेरे में डेटा नैतिकता पर ऑनलाइन पाठ्यक्रम, छात्र यह सीखते हैं एल्गोरिदम भेदभाव कर सकते हैं। लेकिन एक रजत की अस्तर हो सकती है: ब्लूमबर्ग के अनुसंधान के मुताबिक, डेटा के आधार पर फैसले के आधार पर यह भी पता लगा सकते हैं कि पूर्वाग्रह क्यों उठते हैं।

पूर्वाग्रह अनजाने में हो सकता है

अमेज़ॅन की डिलीवरी पॉलिसी में जैसे अयोग्यता कई कारणों से उत्पन्न हो सकती है, जिनमें शामिल हैं छुपा पूर्वाग्रह - जैसे मान्यताओं के रूप में आबादी समान रूप से वितरित की जाती है एल्गोरिथ्म डिजाइनर संभवतः भेदभाव का इरादा नहीं करते हैं, और यह भी महसूस नहीं कर सकते हैं कि समस्या एक समस्या है।

अमेज़ॅन ने ब्लूमबर्ग को बताया कि उसका कोई भेदभावपूर्ण इरादा नहीं था, और इस दावे पर विश्वास करने का हर कारण है। ब्लूमबर्ग की रिपोर्ट के जवाब में, शहर अधिकारी और अन्य राजनेताओं इस समस्या को ठीक करने के लिए अमेज़ॅन पर फोन किया कंपनी जोड़ने के लिए जल्दी से स्थानांतरित मूल रूप से ग़रीब शहरी ज़िप कोड को इसके सेवा क्षेत्र में शामिल नहीं किया गया था।

ऐसा ही एक सवाल है उबेर से पूछा, जो कि सफेद लोगों के उच्च अनुपात में रहने वाले क्षेत्रों के लिए बेहतर सेवा प्रदान करते हैं। ऐसा लगता है कि भविष्य में खोजी जाने वाली अनियंत्रित एल्गोरिथम भेदभाव के अधिक खुदरा और सेवा उद्योग के उदाहरण होंगे।

एल्गोरिदम के बहुत अधिक पूछ रहे हैं?

हमें यह सोचने के लिए एक क्षण को रोकना चाहिए कि क्या हम एल्गोरिथम फैसलों की अनावश्यक रूप से मांग कर रहे हैं या नहीं। ईंट-और-मोर्टार स्टोर्स संचालित करने वाले कंपनियां हर वक्त स्थान के फैसले बनाती हैं, जो खाते की मापदंड को लेकर नहीं लेती हैं, जो अमेज़ॅन से अलग नहीं हैं। स्टोर उन जगहों का प्रयास करता है जो संभावित ग्राहकों के एक बड़े पूल के लिए सुविधाजनक हैं जो पैसे खर्च करने के लिए होते हैं

परिणामस्वरूप, कुछ दुकानों में गरीबों के भीतर-शहर के पड़ोस में पता लगाने का विकल्प होता है। विशेष रूप से किराने की दुकानों के संदर्भ में, इस घटना का व्यापक अध्ययन किया गया है, और शब्द "खाना रेगिस्तान"का उपयोग शहरी क्षेत्रों का वर्णन करने के लिए किया गया है, जिनके निवासियों के पास ताजे भोजन का कोई उपयोग नहीं है इस स्थान पूर्वाग्रह कुल मिलाकर खुदरा स्टोरों के लिए कम अध्ययन किया जाता है।

एक उदाहरण के रूप में, मैंने लक्ष्य के 55 मिशिगन स्थानों पर देखा, एक व्यापक व्यापक खुदरा श्रृंखला जब मैंने हर मिशिगन ज़िप कोड को क्रमबद्ध किया था, उस आधार पर कि क्या इसकी औसत आमदनी शीर्ष आधा या निचले आधा राज्यव्यापी में थी, मुझे पता चला कि लक्ष्य संग्रह (16 प्रतिशत) केवल कम आय वाले समूह के ज़िप कोड में थे। ज़्यादा से ज़्यादा से ज़्यादा, 29 भंडार, अधिक समृद्ध आधे से ज़िप कोड में बैठे थे

भेदभाव की पहचान

इसके अलावा, डेट्रोइट शहर में कोई लक्ष्य स्टोर नहीं है, हालांकि इसके (अमीर) उपनगरों में कई हैं। फिर भी लक्ष्य पर आरोप लगाते हुए कोई लोकप्रिय आक्रोश नहीं हुआ है क्योंकि गरीब लोगों के साथ अपने स्टोर स्थान फैसले में गलत तरीके से भेदभाव किया जाता है। अमेज़ॅन के बारे में चिंताएं दो मुख्य कारण हैं: कठोरता और प्रभुत्व

ऑनलाइन रिटेलर के फैसले लेने की प्रक्रियाओं और परिणाम के साथ कठोरता का होना है। अमेज़ॅन तय करता है कि ज़िप कोड अपने सेवा क्षेत्र में हैं। अगर कोई ग्राहक सड़क पर बस अमेज़ॅन द्वारा निर्धारित सीमा से रहता है, वह सेवा क्षेत्र के बाहर है और इसके बारे में कुछ भी नहीं कर सकता है इसके विपरीत, किसी लक्षित स्टोर के बिना एक ज़िप कोड में रहने वाला कोई भी अभी भी लक्ष्य पर खरीदारी कर सकता है - हालांकि वहां वहां पहुंचने में अधिक समय लग सकता है।

यह भी महत्वपूर्ण है कि उपभोक्ताओं के दिमाग में रिटेलर कितना प्रभावशाली है। जबकि लक्ष्य केवल कई भौतिक स्टोर श्रृंखलाओं में से एक है, अमेज़ॅन को आनंद मिलता है एक वेब रिटेलर के रूप में बाजार प्रभुत्व, और इसलिए अधिक ध्यान आकर्षित करती है इस तरह का प्रभुत्व आज की एक विशेषता है विजेता सबकुछ ले जाता है वेब कारोबार

हालांकि उनकी कठोरता और प्रभुत्व हमें ऑनलाइन व्यवसायों के बारे में अधिक चिंता का कारण बन सकती है, हम ईंट-मोर्टार दुकानों के लिए जितने भी हैं, हम उनके भेदभाव का पता लगाने में बेहतर हैं। एक परंपरागत श्रृंखला की दुकान के लिए, हमें यह अनुमान लगाने की जरूरत है कि उपभोक्ताओं को कितनी दूर यात्रा करने के लिए तैयार हैं। हमें समय की जानकारी भी होनी चाहिए: अगले फ्रीवे से बाहर निकलने के लिए पांच मील की दूरी शहर के दूसरी तरफ भीड़भाड़ वाली सड़कों से पांच मील की दूरी तक नहीं है। इसके अलावा, यात्रा के समय स्वयं दिन के समय के आधार पर व्यापक रूप से भिन्न हो सकते हैं। संभावित रूप से एक स्टोर की सेवा प्रदान करने वाले क्षेत्रों की पहचान करने के बाद, वे भौगोलिक इकाइयों में बड़े करीने से नक्शा नहीं कर सकते हैं जिसके लिए हमारे पास जाति या आय के बारे में आंकड़े हैं। संक्षेप में, विश्लेषण गड़बड़ है और बहुत प्रयास की आवश्यकता है

इसके विपरीत, यह ब्लूमबर्ग में अमेज़ॅन की सेवा क्षेत्र का मानचित्र विकसित करने के लिए कुछ ही घंटे में पत्रकारों को ले जाएगा और इसे आय या जाति के साथ सहसंबंधी बनाना होगा। अगर अमेज़ॅन ने यह आंतरिक रूप से किया था, तो वे कुछ ही मिनटों में एक ही विश्लेषण कर सकते थे - और शायद समस्याओं को देखा और उन्हें उसी दिन सेवा से पहले तय किया गया था।

मनुष्यों की तुलना कैसे होती है?

आइए एक बहुत ही अलग उदाहरण पर एक नज़र डालें ताकि यह देखें कि समान अंक बड़े पैमाने पर कैसे लागू होते हैं। हाल ही में, प्रोपब्लिका प्रकाशित नस्लीय भेदभाव का एक उत्कृष्ट विश्लेषण एक एल्गोरिथ्म द्वारा जो फिर से अपमानजनक होने की आपराधिक संभावना की भविष्यवाणी करता है एल्गोरिथ्म कारकों के दर्जनों पर विचार करता है और एक संभावना अनुमान की गणना करता है। प्रोपब्लिका के विश्लेषण में महत्वपूर्ण व्यवस्थित नस्लीय पूर्वाग्रह पाया गया, भले ही दौड़ विशिष्ट कारकों में शामिल नहीं थी

एल्गोरिदम के बिना, एक मानव न्यायाधीश एक समान अनुमान बना देगा, सजा या पैरोल निर्णय के हिस्से के रूप में। मानव निर्णय कारक के एक अमीर सेट पर विचार कर सकता है, जैसे कि आपराधिक अदालत का आचरण लेकिन हम जानते हैं, से मनोविज्ञान में अध्ययनकि, मानवीय निर्णयों पूर्वाग्रह से परिपूर्ण हैं, तब भी जब हम निष्पक्ष होने के लिए हमारी पूरी कोशिश करें

लेकिन मानव न्यायाधीशों के फैसले में पूर्वाग्रह से होने वाली कोई भी त्रुटि न्यायाधीशों के बीच अलग-थलग होने की संभावना है, और एक ही न्यायाधीश द्वारा किए गए विभिन्न फैसले के लिए भी। कुल मिलाकर, वहाँ के कारण नस्लीय भेदभाव हो सकता है अवचेतन पूर्वाग्रह, लेकिन यह स्थापित करना मुश्किल है। एक अमेरिकी न्याय विभाग के अध्ययन के मजबूत सबूत मिल गया श्वेत और काले अपराधियों को सजा में असमानताएं, लेकिन स्पष्ट रूप से यह निर्धारित नहीं कर सका कि दौड़ में उन निर्णयों में एक कारक था या नहीं।

इसके विपरीत, प्रोपब्ल्का को देखते हुए सटीक एक ही एल्गोरिथ्म कई राज्यों में हजारों मामलों में उपयोग किया जाता है। इसकी कठोरता और बड़ी मात्रा में, यह निर्धारित करने की नौकरी को कम करता है अगर यह भेदभाव करता है - और समस्या को कुशलता से सुधारने के तरीके प्रदान कर सकता है।

सूचना प्रौद्योगिकी का उपयोग लाइनों को उज्ज्वल बनाने, अंतरभेदों और सभी के बारे में डेटा को और अधिक आसानी से उपलब्ध बनाने लगता है क्या कल गलीचा के तहत ब्रश किया जा सकता है ध्यान के लिए clamors। चूंकि हम डेटा-चालित एल्गोरिदम के लिए अधिक से अधिक उपयोग पाते हैं, फिर भी उनकी निष्पक्षता का विश्लेषण करने के लिए आम तौर पर नहीं है, खासकर एक नई डेटा-आधारित सेवा के रोल के पहले। ऐसा करने से, इन तेजी से महत्वपूर्ण कंप्यूटरीकृत गणनाओं की निष्पक्षता को मापने और सुधारने के लिए एक लंबा रास्ता तय किया जाएगा।

के बारे में लेखक

एचवी जगदीश, इलेक्ट्रिक इंजीनियरिंग और कम्प्यूटर साइंस के बर्नार्ड ए गैले कॉलेजिएट प्रोफेसर, यूनिवर्सिटी ऑफ मिशिगन

यह आलेख मूलतः पर प्रकाशित हुआ था वार्तालाप। को पढ़िए मूल लेख.

संबंधित पुस्तकें

at इनरसेल्फ मार्केट और अमेज़न