एक एल्गोरिथ्म द्वारा धोखा देने का आरोप लगाया, और एक प्रोफेसर से वह कभी नहीं मिली थी

एक सामुदायिक कॉलेज में जीव विज्ञान की कक्षा लेने वाले फ्लोरिडा के एक किशोर को इस साल एक परेशान करने वाला नोट मिला। हॉनरलॉक नामक एक स्टार्टअप ने फरवरी में एक परीक्षा के दौरान उन्हें संदिग्ध रूप से अभिनय करने के रूप में चिह्नित किया था। वह थी, उसने द न्यू यॉर्क टाइम्स को एक ईमेल में कहा, एक अश्वेत महिला जिसे “एल्गोरिदम द्वारा अकादमिक बेईमानी का गलत आरोप लगाया गया था।”

हालाँकि, जो हुआ वह एक साधारण एल्गोरिथम गलती से अधिक जटिल था। इसमें कई मानव, अकादमिक नौकरशाही और अमेज़ॅन से एक स्वचालित चेहरे का पता लगाने वाला उपकरण शामिल था जिसे रिकॉग्निशन कहा जाता है। व्यापक डेटा संग्रह के बावजूद, 17 साल की लड़की की रिकॉर्डिंग, और परीक्षा देने के दौरान उसकी स्क्रीन, धोखाधड़ी का आरोप अंततः एक मानवीय निर्णय कॉल था: क्या स्क्रीन से दूर देखने का मतलब था कि वह धोखा दे रही थी?

एक्सप्रेस प्रीमियम का सर्वश्रेष्ठप्रीमियमप्रीमियमप्रीमियम

महामारी उन कंपनियों के लिए एक उछाल का समय था जो दूर से परीक्षार्थियों की निगरानी करती थीं, क्योंकि एक कमरे में एक बड़े समूह को इकट्ठा करना सार्वजनिक स्वास्थ्य के लिए खतरा बन गया था। अचानक, लाखों लोगों को अपने लैपटॉप पर घर पर अकेले बार परीक्षा, परीक्षण और प्रश्नोत्तरी लेने के लिए मजबूर होना पड़ा।

धोखा देने के प्रलोभन को रोकने के लिए, और ऐसा करने वालों को पकड़ने के लिए, रिमोट प्रॉक्टरिंग कंपनियों ने वेब ब्राउज़र एक्सटेंशन की पेशकश की जो कीस्ट्रोक्स और कर्सर की गतिविधियों का पता लगाते हैं, कंप्यूटर के माइक्रोफ़ोन से ऑडियो एकत्र करते हैं, और स्क्रीन और कंप्यूटर के कैमरे से फ़ीड रिकॉर्ड करते हैं, जिससे निगरानी के तरीकों का इस्तेमाल किया जाता है। एक अकादमिक सेटिंग में कानून प्रवर्तन, नियोक्ताओं और घरेलू दुर्व्यवहारियों द्वारा।

बोका रैटन, फ्लोरिडा में स्थित हॉनरलॉक की स्थापना कुछ बिजनेस स्कूल स्नातकों द्वारा की गई थी, जो सहपाठियों द्वारा निराश थे, उनका मानना ​​​​था कि वे गेमिंग टेस्ट थे। स्टार्टअप ने 2021 में 9 मिलियन परीक्षाओं का संचालन किया, पाठ्यक्रम में सभी परीक्षणों को कवर करने के लिए प्रति परीक्षण $ 5 या प्रति छात्र $ 10 का शुल्क लिया। हॉनरलॉक ने निवेशकों से 40 मिलियन डॉलर जुटाए हैं, जिनमें से अधिकांश महामारी शुरू होने के बाद से है।

परीक्षार्थियों को ईमानदार रखना एक बहु-मिलियन डॉलर का उद्योग बन गया है, लेकिन ऑनरलॉक और इसके प्रतिस्पर्धियों, जिनमें ExamSoft, ProctorU और Proctorio शामिल हैं, को रास्ते में बड़े झटके का सामना करना पड़ा है: व्यापक सक्रियता, प्रौद्योगिकी की समस्याओं पर मीडिया रिपोर्ट और यहां तक ​​​​कि एक सीनेट पूछताछ भी। कुछ सर्वेक्षण परीक्षार्थी सॉफ्टवेयर की आक्रामकता, गड़बड़ियों, धोखाधड़ी के झूठे आरोपों और सभी प्रकार के लोगों के लिए समान रूप से अच्छी तरह से काम करने में विफलता से निराश हुए हैं।

फ्लोरिडा की किशोरी एक आरोपी धोखेबाज का एक दुर्लभ उदाहरण है, जिसे उसके खिलाफ सबूत मिले: उसकी घंटे भर की ऑनरलॉक रिकॉर्डिंग से 50-सेकंड की क्लिप। उसने पूछा कि अकादमिक बेईमानी से जुड़े कलंक के कारण उसका नाम इस्तेमाल नहीं किया जाना चाहिए।

चिह्नित किए गए

किशोरी अपने हाई स्कूल डिप्लोमा और अपनी सहयोगी डिग्री दोनों अर्जित करने के लिए एक विशेष कार्यक्रम के अंतिम वर्ष में थी। करीब 40 अन्य छात्र किशोरी की जीव विज्ञान कक्षा में थे, लेकिन वे कभी नहीं मिले। ब्रोवार्ड कॉलेज की कक्षा पूरी तरह से दूरस्थ और अतुल्यकालिक थी।

महामारी से पहले भी अतुल्यकालिक ऑनलाइन शिक्षा बढ़ रही थी। यह छात्रों को अधिक लचीला कार्यक्रम प्रदान करता है, लेकिन इसमें कमियां हैं। पिछले साल, एक कला इतिहास के छात्र, जिसने रिकॉर्ड किए गए व्याख्यान के बारे में एक प्रश्न पूछा था, ने अपने प्रोफेसर को ईमेल करने का प्रयास किया, और पाया कि वह व्यक्ति लगभग दो साल पहले मर गया था।

फ्लोरिडा किशोरी के जीव विज्ञान के प्रोफेसर, जोनेल ऑरिज जीवित थे, लेकिन दूर, ईमेल द्वारा होने वाले छात्रों के साथ उनकी बातचीत, क्योंकि उन्होंने रीडिंग और यूट्यूब वीडियो सौंपे थे। पिछले फरवरी में यह दूसरी परीक्षा थी जो किशोरी ने कक्षा में ली थी। उसने नॉर्थ लॉडरडेल में अपने लिविंग रूम में अपना लैपटॉप स्थापित किया, यह सुनिश्चित करने के लिए कि कक्षा के पाठ्यक्रम में और ऑनरलॉक ड्रॉप-डाउन मेनू में निर्धारित नियमों की एक लंबी सूची का पालन करना सुनिश्चित करें: न खाएं या पिएं, फोन का उपयोग न करें, दूसरों को शामिल करें कमरे, नोट्स पढ़ने के लिए स्क्रीन के बाहर देखें, इत्यादि।

छात्रा को फोटो के लिए अपने लैपटॉप कैमरे के सामने पोज देना था, अपना छात्र आईडी दिखाना था, और फिर अपना लैपटॉप उठाना था और अपने कैमरे का उपयोग करके कमरे का 360-डिग्री स्कैन प्रदान करना था ताकि यह साबित हो सके कि उसके पास कोई प्रतिबंधित सामग्री नहीं है। . उसने इस बारे में कोई आपत्ति नहीं की, उसने कहा, क्योंकि उसे उम्मीद थी कि उपाय दूसरों को धोखा देने से रोकेंगे।

उसने सोचा कि परीक्षण अच्छा रहा, लेकिन कुछ दिनों बाद, उसे ऑरिज से एक ईमेल प्राप्त हुआ।

“आपको ऑनरलॉक द्वारा ध्वजांकित किया गया था,” ऑरिज ने लिखा। “आपके वीडियो की समीक्षा के बाद, आप अक्सर सवालों के जवाब देने से पहले स्क्रीन से नीचे और दूर देखते हुए देखे गए।”

उसे परीक्षा में शून्य प्राप्त हो रहा था, और मामला छात्र मामलों के डीन के पास भेजा जा रहा था। “यदि आप अकादमिक बेईमानी के लिए जिम्मेदार पाए जाते हैं तो शून्य का ग्रेड बना रहेगा,” ऑरिज ने लिखा।

“यह एक गलती होनी चाहिए,” छात्र ने एक ईमेल में उत्तर दिया। “मैं अकादमिक रूप से बेईमान नहीं था। नीचे देखना अकादमिक बेईमानी का संकेत नहीं है।”

‘दैवीय कथन’

न्यूयॉर्क टाइम्स ने वीडियो की समीक्षा की है। किशोरी का वीडियो चलने से पहले, कई अन्य छात्रों की ऑनरलॉक रिकॉर्डिंग स्क्रीन कैप्चर में संक्षिप्त रूप से दिखाई दे रही है।

छात्र और उसकी स्क्रीन दिखाई दे रही है, जैसा कि समय टिकटों का एक आंशिक लॉग है, जिसमें कम से कम एक लाल झंडा शामिल है, जो उसके परीक्षण में केवल एक मिनट में अत्यधिक संदिग्ध व्यवहार को इंगित करने के लिए है। जैसे ही छात्रा परीक्षा शुरू करती है, सुबह 8:29 बजे, वह चार प्रश्नों को स्क्रॉल करती है, प्रत्येक को पढ़ने के बाद नीचे देखती है, एक बार 10 सेकंड तक। वह थोड़ा हिलती है। 50 सेकेंड की इस क्लिप के दौरान वह किसी भी सवाल का जवाब नहीं देती हैं।

वीडियो में क्या हो रहा है, यह निश्चित रूप से कहना असंभव है। आर्टिफिशियल इंटेलिजेंस तकनीक को जो सही मिला वह यह है कि उसने नीचे देखा। लेकिन क्या करें? वह टेबल, स्मार्टफोन या नोट्स को घूर रही होगी। वीडियो अस्पष्ट है।

जब छात्रा वीडियो द्वारा डीन और ऑरिज से मिली, तो उसने कहा, उसने उनसे कहा कि वह सोचने के लिए नीचे देखती है, और वह अपनी याददाश्त को जॉग करने के लिए अपने हाथों से खेलती है। वे विचलित नहीं हुए। छात्रा को “निर्देशों का पालन न करने” के लिए “जिम्मेदार” पाया गया, जिसके परिणामस्वरूप परीक्षा में शून्य और उसके रिकॉर्ड पर चेतावनी दी गई।

“जब वे परीक्षा दे रहे होते हैं, तब कौन एक परीक्षा को देखता है? यह हास्यास्पद है। ऐसा नहीं है कि मनुष्य कैसे काम करते हैं, ”एक डिजिटल अधिकार संगठन, इलेक्ट्रॉनिक फ्रंटियर फाउंडेशन के एक प्रौद्योगिकीविद् कूपर क्विंटिन ने कहा। “इस सॉफ़्टवेयर द्वारा सामान्य व्यवहार को दंडित किया जाता है।”

डार्टमाउथ कॉलेज में मेडिकल छात्रों ने दावा किया कि ऑनलाइन प्रॉक्टरिंग सॉफ्टवेयर की जांच करने के बाद, क्विंटिन ने सुझाव दिया कि स्कूलों में बाहरी विशेषज्ञ धोखाधड़ी के सबूतों की समीक्षा करते हैं। इन प्रणालियों के साथ सबसे गंभीर दोष एक मानव हो सकता है: शिक्षक जो कृत्रिम रूप से बुद्धिमान सॉफ़्टवेयर द्वारा चेतावनी देने पर अति प्रतिक्रिया करते हैं।

“ऐसा लगता है कि स्कूल इसे ईश्वर के वचन के रूप में मान रहे हैं,” क्विंटिन ने कहा। “यदि कंप्यूटर कहता है कि आप धोखा दे रहे हैं, तो आपको अवश्य ही धोखा देना चाहिए।”

ऑनरलॉक के एक प्रवक्ता टेस मिशेल ने कहा कि यह कंपनी की भूमिका नहीं थी कि वह स्कूलों को सलाह दे कि उसके उत्पाद द्वारा चिह्नित व्यवहार से कैसे निपटा जाए।

“किसी भी मामले में हम निश्चित रूप से ‘धोखेबाजों’ की पहचान नहीं करते हैं – अंतिम निर्णय और कार्रवाई का तरीका प्रशिक्षक और स्कूल पर निर्भर करता है, जैसे कि यह कक्षा की सेटिंग में होगा,” मिशेल ने कहा। “एक छात्र के कार्यों की व्याख्या करना चुनौतीपूर्ण हो सकता है। इसलिए हम नहीं करते हैं।”

ऑरिज ने इस लेख के लिए टिप्पणी के अनुरोधों का जवाब नहीं दिया। ब्रोवार्ड कॉलेज की एक प्रवक्ता ने कहा कि वह छात्र गोपनीयता कानूनों के कारण मामले पर चर्चा नहीं कर सकीं। एक ईमेल में, उसने कहा कि संकाय “अपने सर्वोत्तम निर्णय का प्रयोग करते हैं” जो वे ऑनरलॉक रिपोर्ट में देखते हैं। उसने कहा कि बेईमानी के लिए पहली चेतावनी एक छात्र के रिकॉर्ड पर दिखाई देगी, लेकिन इसके अधिक गंभीर परिणाम नहीं होंगे, जैसे कि छात्र को स्नातक होने या क्रेडिट को किसी अन्य संस्थान में स्थानांतरित करने से रोकना।

कौन तय करता है

हॉनरलॉक ने पहले यह खुलासा नहीं किया है कि इसकी कृत्रिम बुद्धिमत्ता कैसे काम करती है, लेकिन कंपनी के प्रवक्ता ने खुलासा किया कि कंपनी रिकॉग्निशन का उपयोग करके चेहरे का पता लगाने का काम करती है, एक छवि विश्लेषण उपकरण जिसे अमेज़ॅन ने 2016 में बेचना शुरू किया था। रिकॉग्निशन सॉफ्टवेयर चेहरे के स्थलों की तलाश करता है – नाक, आंखें, भौहें, मुंह – और एक आत्मविश्वास स्कोर देता है कि स्क्रीन पर जो है वह एक चेहरा है। यह चेहरे की भावनात्मक स्थिति, लिंग और कोण का भी अनुमान लगा सकता है।

ऑनरलॉक के अध्यक्ष और मुख्य परिचालन अधिकारी ब्रैंडन स्मिथ ने कहा कि ऑनरलॉक एक परीक्षार्थी को संदिग्ध के रूप में चिह्नित करेगा यदि वह कमरे में कई चेहरों का पता लगाता है, या यदि परीक्षार्थी का चेहरा गायब हो जाता है, जो तब हो सकता है जब लोग निराशा में अपने हाथों से अपना चेहरा ढक लेते हैं।

ऑनरलॉक कभी-कभी परीक्षार्थियों की निगरानी के लिए मानव कर्मचारियों का उपयोग करता है; क्या हो रहा है यह पता लगाने के लिए परीक्षा में अधिक संख्या में झंडे होने पर “लाइव प्रॉक्टर” चैट द्वारा पॉप इन होगा। हाल ही में, इन प्रॉक्टरों ने पाया कि रिकॉग्निशन गलती से फ़ोटो या पोस्टर में चेहरों को कमरे में अतिरिक्त लोगों के रूप में दर्ज कर रहा था।

जब ऐसा कुछ होता है, तो Honorlock Amazon के इंजीनियरों को बताता है। “वे हमारा वास्तविक डेटा लेते हैं और इसका उपयोग अपने एआई को बेहतर बनाने के लिए करते हैं,” स्मिथ ने कहा।

मान्यता को हॉनरलॉक द्वारा उपयोग किए जा रहे कार्यों से एक कदम ऊपर होना चाहिए था। स्मिथ ने कहा कि Google का पिछला फेस डिटेक्शन टूल कई तरह के स्किन टोन वाले लोगों के चेहरों का पता लगाने में खराब था।

लेकिन मान्यता पर पक्षपात का भी आरोप लगाया गया है। अध्ययनों की एक श्रृंखला में, एक कंप्यूटर शोधकर्ता और एल्गोरिथम जस्टिस लीग के कार्यकारी निदेशक, जॉय बुओलामिनी ने पाया कि लिंग वर्गीकरण सॉफ्टवेयर, जिसमें मान्यता भी शामिल है, ने गहरे रंग की महिलाओं पर कम से कम अच्छा काम किया।

किसी व्यक्ति के लिंग का निर्धारण किसी चेहरे का पता लगाने या पहचानने से अलग है, लेकिन बुओलामिनी ने अपने निष्कर्षों को कोयले की खान में एक कैनरी माना। “यदि आप एक ऐसी प्रणाली बेचते हैं जिसमें मानवीय चेहरों पर पूर्वाग्रह दिखाया गया है, तो यह संदिग्ध है कि आपके अन्य चेहरे-आधारित उत्पाद भी पूरी तरह से पूर्वाग्रह मुक्त हैं,” उसने 2019 में लिखा था।

टाइम्स ने अमेज़ॅन रिकॉग्निशन के साथ छात्र के ऑनरलॉक वीडियो से छवियों का विश्लेषण किया। यह 99.9% आश्वस्त था कि एक चेहरा मौजूद था और यह उदास था, और 59% आश्वस्त थे कि छात्र एक आदमी था।

बुओलामविनी ने कहा कि फ्लोरिडा की छात्रा की त्वचा के रंग और लिंग को उसके नाम को साफ करने के प्रयासों में विचार किया जाना चाहिए, भले ही उन्होंने एल्गोरिथम के प्रदर्शन को प्रभावित किया हो।

“चाहे वह तकनीकी रूप से नस्ल या लिंग से जुड़ा हो, रंग के छात्रों पर लगाए गए कलंक और अनुमान को तब बढ़ाया जा सकता है जब मशीन लेबल पुष्टिकरण पूर्वाग्रह में फ़ीड करता है,” बुलामविनी ने एक ईमेल में लिखा था।

मानव तत्व

जैसा कि महामारी की हवा चल रही है, और परीक्षार्थी फिर से व्यक्तिगत रूप से इकट्ठा हो सकते हैं, दूरस्थ प्रॉक्टरिंग उद्योग जल्द ही कम मांग में हो सकता है और बहुत कम जांच का सामना कर सकता है। हालाँकि, महामारी के दौरान प्रौद्योगिकी के आसपास तीव्र सक्रियता ने कम से कम एक कंपनी को अपने उत्पाद में एक बड़ा बदलाव करने के लिए प्रेरित किया।

प्रॉक्टरयू, एक ऑनरलॉक प्रतियोगी, अब केवल एआई-उत्पाद की पेशकश नहीं करता है जो प्रोफेसरों की समीक्षा के लिए वीडियो को फ़्लैग करता है।

प्रॉक्टरयू के संस्थापक जारोड मॉर्गन ने कहा, “संकाय के पास समय, प्रशिक्षण या इसे करने या इसे ठीक से करने की क्षमता नहीं थी।” प्रॉक्टरयू के आंतरिक डेटा की समीक्षा में पाया गया कि फ़्लैग किए गए व्यवहार के वीडियो केवल 11% बार ही खोले गए।

सभी संदिग्ध व्यवहार की अब कंपनी के लगभग 1,300 प्रॉक्टरों में से एक द्वारा समीक्षा की जाती है, जिनमें से अधिकांश सस्ते श्रम बाजारों में विदेशों में स्थित हैं। मॉर्गन ने कहा कि ये ठेकेदार कठोर प्रशिक्षण से गुजरे हैं, और “एक उल्लंघन की पुष्टि” तभी करेंगे जब इस बात के ठोस सबूत हों कि एक परीक्षार्थी को मदद मिल रही थी। प्रॉक्टरयू ने पिछले साल दी 4 मिलियन परीक्षाएं; उन परीक्षणों में से 3 मिलियन का विश्लेषण करने में, यह पाया गया कि कंपनी के अनुसार 200,000 से अधिक, या लगभग 7%, किसी प्रकार के शैक्षणिक कदाचार में शामिल थे।

किशोरी ने इसी महीने ब्रोवार्ड कॉलेज से स्नातक किया है। वह धोखेबाज कहे जाने से परेशान रहती है और उसे डर है कि ऐसा दोबारा हो सकता है।

“मैं अब परीक्षणों के दौरान एक पुतले की तरह बनने की कोशिश करती हूं,” उसने कहा।

यह लेख मूल रूप से द न्यूयॉर्क टाइम्स में छपा था।