AI डिटेक्टर कितने सटीक हैं? रिसर्च क्या कहती है और स्कोर कैसे समझें
AI डिटेक्टर कितने सटीक हैं? सीधा जवाब: इतने नहीं कि उनसे यह साबित किया जा सके कि किसी ने AI का इस्तेमाल किया है। आज के सबसे अच्छे कमर्शियल टूल चैटबॉट से सीधे कॉपी-पेस्ट किए गए ज़्यादातर टेक्स्ट को पकड़ लेते हैं और इंसानों के लिखे लंबे टेक्स्ट को कम ही AI बताते हैं। लेकिन कमज़ोर टूल बहुत सारे इंसानी टेक्स्ट को AI बता देते हैं, और जिस AI टेक्स्ट को दोबारा लिखा गया हो या किसी असली लेखक की शैली की नकल में लिखा गया हो, वह कई टूल्स से बच निकल सकता है। किसी भी स्कोर को बस एक इशारा मानें, जो बताता है कि कहाँ ध्यान देना है; अपने आप में वह कभी सबूत नहीं है।
हाल के स्वतंत्र टेस्ट में सबसे अच्छे टूल्स ने OpenAI के अपने उस डिटेक्टर से कहीं बेहतर नतीजे दिए, जिसे OpenAI ने 2023 में कम सटीकता की वजह से बंद कर दिया था। फिर भी वे इतने अच्छे नहीं हैं कि कोई स्कोर सबूत बन जाए।
AI डिटेक्टर फ़ैसला कैसे करते हैं
AI डिटेक्टर सिर्फ़ टेक्स्ट को परखते हैं, यह नहीं देखते कि वह कहाँ से आया। आसान टूल यह देखते हैं कि शब्दों का चुनाव कितना अनुमान लगाने लायक (predictable) है और वाक्य कितने एक जैसे दिखते हैं। कमर्शियल टूल इंसानी और AI लेखन के बड़े डेटासेट पर क्लासिफ़ायर ट्रेन करते हैं। दोनों ही सूरतों में नतीजा एक अनुमान होता है, जैसे "82% AI"।
कई गलत अलार्म इसी predictability से आते हैं। डिटेक्टरों पर 2023 की स्टैनफ़र्ड स्टडी के सीनियर लेखक James Zou ने कहा कि ये टूल "आम तौर पर 'perplexity' नाम के एक मापदंड के आधार पर स्कोर देते हैं", और इस मापदंड का संबंध इस बात से है कि लेखन कितना परिष्कृत है। सादा और सधा हुआ लेखन इस तरह के माप पर मशीन जैसा लग सकता है, भले ही उसका हर शब्द किसी इंसान ने लिखा हो।
रिसर्च में क्या सामने आया
ये स्टडीज़ अक्टूबर 2026 में जाँची गईं। पहली तीन 2023 की हैं; आखिरी तीन नए टूल्स और मॉडल्स को परखती हैं।
| स्रोत | क्या टेस्ट किया गया | क्या पाया गया |
|---|---|---|
| OpenAI का अपना AI क्लासिफ़ायर (2023) | अंग्रेज़ी टेक्स्ट के एक चैलेंज सेट पर OpenAI का टूल | इसने AI से लिखे 26% टेक्स्ट पकड़े और 9% मामलों में इंसानी टेक्स्ट को AI बताया। OpenAI ने इसे 20 जुलाई 2023 को "सटीकता की कम दर के कारण" बंद कर दिया। |
| स्टैनफ़र्ड स्टडी, Liang et al. (2023) | उन लेखकों के निबंधों पर 7 डिटेक्टर जिनकी मातृभाषा अंग्रेज़ी है और जिनकी नहीं है | औसतन डिटेक्टरों ने उन लेखकों के 91 TOEFL निबंधों में से, जिनकी मातृभाषा अंग्रेज़ी नहीं है, 61% को AI से बना बताया; 91 में से 89 को कम से कम एक डिटेक्टर ने फ़्लैग किया। अमेरिका के आठवीं कक्षा के छात्रों के निबंधों को लगभग पूरी तरह सही आँका गया। |
| Weber-Wulff et al. (2023) | 12 सार्वजनिक टूल, साथ में Turnitin और PlagiarismCheck | ये टूल "न तो सटीक थे और न ही भरोसेमंद", टेक्स्ट को इंसानी बताने की ओर झुके रहे, और AI टेक्स्ट को छिपाने पर, जैसे पैराफ़्रेज़ करने पर, इनका प्रदर्शन काफ़ी ख़राब हो गया। |
| Erol et al. (2025) | इंसानों के लिखे 250 न्यूरोसर्जरी पेपर्स के एब्स्ट्रैक्ट और इंट्रोडक्शन, और ChatGPT के लिखे उनके 750 वर्ज़न पर GPTZero, ZeroGPT और Corrector | कुल मिलाकर टूल्स ने बिना एडिट किए ChatGPT टेक्स्ट को इंसानी टेक्स्ट से ठीक-ठाक से लेकर बहुत अच्छी तरह अलग किया, लेकिन इंसानों के लिखे 30% टेक्स्ट को Corrector पर और 16% को ZeroGPT पर 50% से ज़्यादा AI स्कोर मिला। GPTZero ने किसी को भी 50% से ऊपर नहीं रखा। एडिट किए गए AI टेक्स्ट को टेस्ट नहीं किया गया। |
| Jabarian और Imas, यूनिवर्सिटी ऑफ़ शिकागो (2025) | छह विधाओं के 1,992 इंसानी पैसेज और चार मॉडल्स से बने उनके अनुरूप AI पैसेज पर Pangram, GPTZero, OriginalityAI और एक ओपन-सोर्स मॉडल | मध्यम और लंबे पैसेज पर Pangram के फ़ॉल्स पॉज़िटिव और फ़ॉल्स नेगेटिव "लगभग शून्य" रहे। ओपन-सोर्स मॉडल ने लगभग 30-78% इंसानी टेक्स्ट को गलती से AI बताया। StealthGPT "ह्यूमनाइज़र" से AI टेक्स्ट दोबारा लिखवाने के बाद ज़्यादातर विधाओं में GPTZero उसका लगभग आधा या उससे भी ज़्यादा हिस्सा नहीं पकड़ पाया, जबकि Pangram ने तब भी लगभग सब पकड़ लिया। |
| Epoch AI (जुलाई 2026) | लगभग 500 शब्दों के 495 इंसानी पैसेज और तीन मौजूदा मॉडल्स के AI पैसेज पर Pangram, GPTZero और Originality.ai | Pangram और GPTZero ने एक भी इंसानी पैसेज को फ़्लैग नहीं किया; Originality.ai ने 3.8% को फ़्लैग किया। तीनों ने सीधे प्रॉम्प्ट से बने लगभग सारे AI टेक्स्ट पकड़ लिए, लेकिन किसी असली लेखक की नकल में लिखे 10-18% AI टेक्स्ट से चूक गए, और वैज्ञानिक लेखन में ऐसी लगभग एक-चौथाई नकलों से। |
इन स्टडीज़ को साथ रखकर पढ़ें तो दो बातें साफ़ होती हैं: आप कौन-सा टूल इस्तेमाल करते हैं, इससे बहुत बड़ा फ़र्क पड़ता है; और शैली की नकल वह जगह है जहाँ सबसे अच्छे टूल भी चूक जाते हैं, जबकि एक ह्यूमनाइज़र ने कुछ टूल्स को मात दे दी।
विस्तार से जानना हो तो शुरुआत इनसे करें: OpenAI का अपने क्लासिफ़ायर पर नोट, पक्षपात वाली स्टडी पर Stanford HAI का लेख, यूनिवर्सिटी ऑफ़ शिकागो का रिसर्च ब्रीफ़ और Epoch AI का 2026 का टेस्ट। Weber-Wulff का पेपर International Journal for Educational Integrity में छपा है, और 2025 की न्यूरोसर्जरी स्टडी Acta Neurochirurgica में।
उदाहरण 1: एक ही ईमानदार क्लास, छह अलग-अलग टूल
मान लीजिए 1,000 निबंध हैं जो पूरी तरह छात्रों ने खुद लिखे हैं, बिना किसी AI के, और हम उन पर ऊपर बताए गए फ़ॉल्स पॉज़िटिव रेट लागू करते हैं। यह हमारा अपना हिसाब है, कोई नया टेस्ट नहीं। स्टडीज़ में अलग-अलग टेक्स्ट और सेटिंग इस्तेमाल हुई थीं, इसलिए इसे रैंकिंग न समझें।
| टूल और स्टडी | बताया गया फ़ॉल्स पॉज़िटिव रेट | 1,000 में से गलती से फ़्लैग हुए ईमानदार निबंध |
|---|---|---|
| Pangram या GPTZero, Epoch AI 2026 (लगभग 500 शब्दों के पैसेज) | 495 में से 0 | लगभग 0 |
| Originality.ai, Epoch AI 2026 | 3.8% | लगभग 38 |
| OpenAI क्लासिफ़ायर, 2023 | 9% | लगभग 90 |
| ZeroGPT, न्यूरोसर्जरी पेपर्स 2025 (इंसानी टेक्स्ट जिन्हें 50% से ज़्यादा AI स्कोर मिला) | 16% | लगभग 160 |
| Corrector, न्यूरोसर्जरी पेपर्स 2025 (इंसानी टेक्स्ट जिन्हें 50% से ज़्यादा AI स्कोर मिला) | 30% | लगभग 300 |
| ओपन-सोर्स मॉडल, शिकागो 2025 | लगभग 30-78% | लगभग 300-780 |
टूल के हिसाब से उसी ईमानदार क्लास में एक भी गलत फ़्लैग न होने से लेकर कई सौ गलत फ़्लैग तक हो सकते हैं। और 495 कोशिशों में शून्य गलतियाँ इस बात का सबूत नहीं हैं कि हर तरह के लेखन पर भी गलती शून्य ही रहेगी।
उदाहरण 2: 1% की दर भी क्यों मायने रखती है
वैंडरबिल्ट यूनिवर्सिटी ने 2023 में Turnitin का AI डिटेक्टर बंद करते समय कुछ ऐसा ही हिसाब लगाया था: उसने 2022 में लगभग 75,000 पेपर जमा किए थे, इसलिए 1% फ़ॉल्स पॉज़िटिव रेट का मतलब हो सकता था कि लगभग 750 पेपर पर गलत लेबल लग जाता।
इसका एक दूसरा असर भी है। जिस छात्र को फ़्लैग किया गया है, उसके लिए असली सवाल एरर रेट नहीं है, बल्कि यह है कि उसका फ़्लैग गलत होने की संभावना कितनी है। और यह इस पर निर्भर करता है कि असल में कितने लोगों ने AI इस्तेमाल किया। यहाँ हम मान रहे हैं कि एक डिटेक्टर AI से लिखे 90% निबंध पकड़ लेता है, और बाकी चीज़ें बदलकर देख रहे हैं। ये आँकड़े सिर्फ़ समझाने के लिए हैं, मापे हुए नहीं।
| स्थिति, 1,000 निबंध | AI से लिखे निबंध | फ़्लैग हुए AI निबंध (90%) | गलती से फ़्लैग हुए इंसानी निबंध | फ़्लैग में से कितने गलत |
|---|---|---|---|---|
| A: 10% ने AI इस्तेमाल किया, 1% फ़ॉल्स पॉज़िटिव | 100 | 90 | 9 (900 का 1%) | लगभग 9% (99 में से 9) |
| B: 10% ने AI इस्तेमाल किया, 5% फ़ॉल्स पॉज़िटिव | 100 | 90 | 45 (900 का 5%) | लगभग 33% (135 में से 45) |
| C: 2% ने AI इस्तेमाल किया, 1% फ़ॉल्स पॉज़िटिव | 20 | 18 | लगभग 10 (980 का 1%) | लगभग 35% (28 में से 10) |
स्थिति C असली पेंच दिखाती है: उसी "1%" वाले डिटेक्टर के साथ, जब कम लोगों ने AI इस्तेमाल किया हो, तो लगभग हर तीन में से एक फ़्लैग किसी ईमानदार लेखक पर पड़ता है। लंबे टेक्स्ट पर सबसे अच्छे टूल्स की दर 0% के करीब हो सकती है, इसलिए उनके लिए यह निराशावादी स्थिति है। लेकिन कमज़ोर टूल्स, छोटे टेक्स्ट और औपचारिक लेखन के मामले में कई प्रतिशत या उससे ज़्यादा की दर होना पूरी तरह संभव है, जैसा पहला उदाहरण दिखाता है।
डिटेक्टर का स्कोर कैसे पढ़ें
- देखें कि प्रतिशत असल में क्या मापता है। Turnitin का नंबर उस "जाँच के दायरे में आने वाले टेक्स्ट" का हिस्सा है जिसे वह संभवतः AI से बना मानता है; यह पूरे पेपर पर कोई फ़ैसला नहीं है। किसी नंबर के आधार पर कदम उठाने से पहले टूल की अपनी व्याख्या पढ़ें।
- कम स्कोर सबसे कम भरोसेमंद होते हैं। Turnitin खुद 1% से 19% के बीच कोई नंबर नहीं दिखाता, उसकी जगह सिर्फ़ एक तारांकन चिह्न दिखाता है, क्योंकि उसकी टेस्टिंग में इस रेंज में फ़ॉल्स पॉज़िटिव ज़्यादा आम पाए गए।
- अलग-अलग टूल्स के स्कोर की आपस में तुलना नहीं की जा सकती। 2025 की न्यूरोसर्जरी स्टडी में इंसानों के लिखे उन्हीं टेक्स्ट को औसतन Corrector पर 37% AI, ZeroGPT पर 28% और GPTZero पर 6% स्कोर मिला।
- लंबाई और भाषा मायने रखती हैं। OpenAI ने कहा था कि उसका क्लासिफ़ायर 1,000 कैरेक्टर से कम, यानी एक-दो छोटे पैराग्राफ़ पर, बहुत अविश्वसनीय था, और अंग्रेज़ी के अलावा दूसरी भाषाओं में कहीं ज़्यादा ख़राब।
- एक टूल पर एक बार चलाना सिर्फ़ एक डेटा पॉइंट है। किसी अच्छी तरह परखे गए टूल से लंबे टेक्स्ट पर ऊँचा स्कोर आए, तो उसे ध्यान से देखना चाहिए। किसी फ़्री टूल से एक छोटे पैराग्राफ़ पर ऊँचा स्कोर आए, तो उसे बहुत कम अहमियत देनी चाहिए।
गलत AI फ़्लैग की संभावना कब ज़्यादा होती है
गलत "AI" लेबल का जोखिम तब बढ़ जाता है जब:
- लेखक की मातृभाषा अंग्रेज़ी न हो। 2023 में स्टैनफ़र्ड स्टडी के सात डिटेक्टरों ने औसतन 61% TOEFL निबंधों को AI बताया। लेखकों ने इसे सरल शब्द-चयन से जोड़ा, जो टेक्स्ट को ज़्यादा predictable बना देता है। नए टूल शायद बेहतर करें, लेकिन ऐसे फ़्लैग को अतिरिक्त सावधानी से देखें।
- टेक्स्ट छोटा हो या अंग्रेज़ी में न हो, जैसी चेतावनी OpenAI ने अपने टूल के बारे में दी थी।
- इंसानी और AI टेक्स्ट मिला-जुला हो। Turnitin कहता है कि मिले-जुले दस्तावेज़ों में, ख़ासकर वहाँ जहाँ इंसानी और AI हिस्से आपस में मिलते हैं, वाक्य-स्तर पर फ़ॉल्स पॉज़िटिव ज़्यादा आम हैं।
- लेखन औपचारिक और एक तय ढर्रे का हो। वैज्ञानिक पेपर सख़्त नियमों का पालन करते हैं; यही एक वजह है कि 2025 की स्टडी में इंसानों के लिखे इतने सारे न्यूरोसर्जरी टेक्स्ट को Corrector और ZeroGPT पर ऊँचा स्कोर मिला।
गलत "इंसानी" लेबल, यानी फ़ॉल्स नेगेटिव, तब ज़्यादा संभव है जब AI टेक्स्ट को पैराफ़्रेज़ किया गया हो, किसी ह्यूमनाइज़र से गुज़ारा गया हो, या किसी असली लेखक की नकल में लिखा गया हो, जैसा Weber-Wulff और Epoch AI के टेस्ट में पाया गया। शिकागो स्टडी में ह्यूमनाइज़र के बाद GPTZero के साथ भी यही देखा गया, हालाँकि Pangram के साथ नहीं।
अगर आपका लेखन AI के रूप में फ़्लैग हो जाए तो क्या करें
अगर कोई टीचर, एडिटर या क्लाइंट कहे कि डिटेक्टर ने आपके खुद लिखे काम को फ़्लैग किया है, तो:
- पूरी जानकारी माँगें। कौन-सा टूल इस्तेमाल हुआ, उसने कितना स्कोर दिया, और कौन-से हिस्से हाइलाइट हुए?
- अपने लिखने की प्रक्रिया दिखाएँ। Google Docs या Microsoft Word की वर्ज़न हिस्ट्री, आउटलाइन, नोट्स, पुराने ड्राफ़्ट और आपके पढ़े हुए स्रोत किसी भी स्कोर से कहीं ज़्यादा मज़बूत सबूत हैं।
- बैठकर समझाने की पेशकश करें। अपना तर्क, अपने स्रोत और अपने फ़ैसले समझाना ऐसा काम है जो किसी टेक्स्ट का असली लेखक आम तौर पर आसानी से कर लेता है।
- सबूतों की ओर ध्यान दिलाएँ। OpenAI ने अपना डिटेक्टर बंद कर दिया, Turnitin सलाह देता है कि उसके स्कोर का इस्तेमाल "बातचीत शुरू करने के लिए करें, निष्कर्ष निकालने के लिए नहीं", और वैंडरबिल्ट यूनिवर्सिटी ने Turnitin का AI डिटेक्टर बंद कर दिया।
- औपचारिक प्रक्रिया अपनाएँ। अपने संस्थान या कंपनी की AI इस्तेमाल और ईमानदारी से जुड़ी नीति पढ़ें और उसमें दिए गए अपील के रास्ते का इस्तेमाल करें। अगर मामला गंभीर हो, तो किसी स्टूडेंट एडवाइज़र, छात्र संघ या विश्वविद्यालय के लोकपाल या शिकायत निवारण प्रकोष्ठ से मदद लें।
ऐसा दोबारा न हो, इसके लिए शुरू से ही ड्राफ़्ट और वर्ज़न हिस्ट्री सँभालकर रखें; किसी भी काम के लिए AI इस्तेमाल करने से पहले, यहाँ तक कि ग्रामर ठीक करने के लिए भी, नियम देख लें; और जहाँ पूछा जाए, वहाँ AI के इस्तेमाल के बारे में बता दें।
टीचर्स और एडिटर्स डिटेक्टर का इस्तेमाल कैसे करें
- स्कोर से बातचीत शुरू करें, फ़ैसला न सुनाएँ। लेखक से पूछें कि यह लेख किस बारे में है और उन्होंने इसे कैसे लिखा।
- पहले से साफ़ नियम तय करें। MIT Sloan की टीचिंग टेक्नोलॉजी टीम डिटेक्शन पर निर्भर रहने के बजाय साफ़ AI नीतियाँ बनाने, खुलकर चर्चा करने और छात्रों से यह बताने को कहने की सलाह देती है कि उन्होंने AI का इस्तेमाल कैसे किया।
फ़्री AI चेकर कहाँ काम आता है
डिटेक्टर सबसे ज़्यादा काम का आपके अपने लेखन पर होता है: सबमिट या पब्लिश करने से पहले यह जल्दी से जाँचने के लिए कि कहीं ड्राफ़्ट घिसा-पिटा तो नहीं लग रहा। अगर ऐसा लगे, तो उसे अपने अंदाज़ में दोबारा लिखें और ऐसी ठोस बातें जोड़ें जो सिर्फ़ आप जानते हैं।
Clever AI का फ़्री AI डिटेक्टर इसी काम के लिए है। आप 20 से 4,000 कैरेक्टर पेस्ट करते हैं और बिना अकाउंट बनाए एक AI स्कोर, एक ह्यूमन स्कोर और "संभवतः AI", "मिला-जुला" या "संभवतः इंसानी" में से एक नतीजा पाते हैं। ऊपर बताई गई वजहों से छोटे पैसेज के नतीजे सबसे कम भरोसेमंद होते हैं। यह एक लैंग्वेज मॉडल पर आधारित अनुमान है, Turnitin, GPTZero या किसी दूसरे डिटेक्टर से की गई जाँच नहीं, और यह ऊपर की स्टडीज़ में परखे गए टूल्स में शामिल नहीं था। जैसा पेज खुद कहता है, इसका इस्तेमाल यह तय करने के लिए करें कि क्या दोबारा लिखना है, किसी और के काम के बारे में सबूत के तौर पर नहीं।
अगर आप ब्रेनस्टॉर्म करने या ड्राफ़्ट बनाने के लिए AI का इस्तेमाल करते हैं, चाहे Clever AI Hub में या कहीं और, तो सबसे सुरक्षित आदत वही है: अपने ड्राफ़्ट सँभालकर रखें, जिन नियमों के तहत आप लिख रहे हैं उनका पालन करें, और जब AI ने मदद की हो तो यह बता दें।
निष्कर्ष: AI डिटेक्टर कितने सटीक हैं?
नए टेस्ट में सबसे अच्छे डिटेक्टर लंबे, बिना एडिट किए टेक्स्ट पर कम ही गलत निकले, लेकिन कोई भी डिटेक्टर किसी एक लेख के बारे में कुछ साबित नहीं कर सकता: टूल्स के बीच बहुत बड़ा फ़र्क है, दोबारा लिखा गया या शैली की नकल करने वाला AI टेक्स्ट कुछ टूल्स से बच निकलता है, और जब असल में AI का इस्तेमाल कम हो, तो कई फ़्लैग गलत होते हैं। स्कोर को ध्यान से देखने की एक वजह मानें, फिर ड्राफ़्ट, नोट्स और बातचीत जैसे असली सबूतों के आधार पर फ़ैसला करें।