آیا تشخیص‌دهنده‌های هوش مصنوعی دقیق هستند؟ پژوهش‌ها چه می‌گویند و نمره را چطور بخوانیم
تشخیص‌دهنده‌های هوش مصنوعی آن‌قدر دقیق نیستند که بتوانند ثابت کنند کسی از هوش مصنوعی استفاده کرده است. بهترین ابزارهای تجاری امروز بیشتر متن‌هایی را که مستقیم از یک چت‌بات کپی شده‌اند شناسایی می‌کنند و به‌ندرت متن‌های بلندِ نوشتهٔ انسان را اشتباه علامت می‌زنند. اما ابزارهای ضعیف‌تر بخش زیادی از نوشته‌های انسانی را هوش مصنوعی تشخیص می‌دهند، و متنی که با هوش مصنوعی تولید و بعد بازنویسی شده یا به تقلید از سبک یک نویسندهٔ واقعی نوشته شده، می‌تواند از چشم بسیاری از ابزارها پنهان بماند. پس اگر می‌پرسید «آیا تشخیص‌دهنده‌های هوش مصنوعی دقیق هستند؟»، هر نمره‌ای را فقط نشانه‌ای بدانید که می‌گوید کجا را بیشتر بررسی کنید، نه مدرکی مستقل.
در آزمون‌های مستقل اخیر، بهترین ابزارها بسیار بهتر از تشخیص‌دهندهٔ خودِ OpenAI در سال 2023 عمل کردند؛ همان ابزاری که این شرکت به دلیل دقت پایین کنارش گذاشت. با این حال، هنوز آن‌قدر خوب نیستند که نمره‌شان مدرک به حساب بیاید.
تشخیص‌دهنده‌های هوش مصنوعی چطور تصمیم می‌گیرند؟
این ابزارها دربارهٔ خودِ متن قضاوت می‌کنند، نه دربارهٔ منشأ آن. ابزارهای ساده‌تر بررسی می‌کنند که انتخاب واژه‌ها چقدر قابل پیش‌بینی است و جمله‌ها چقدر یکنواخت به نظر می‌رسند. ابزارهای تجاری طبقه‌بندهایی را روی مجموعه‌های بزرگی از نوشته‌های انسانی و ماشینی آموزش می‌دهند. در هر دو حالت، خروجی یک تخمین است؛ چیزی مثل «82% هوش مصنوعی».
بسیاری از هشدارهای نادرست از همین پیش‌بینی‌پذیری می‌آیند. جیمز زو، نویسندهٔ ارشد پژوهشی که دانشگاه استنفورد در سال 2023 دربارهٔ این ابزارها انجام داد، گفته است که آن‌ها «معمولاً بر اساس معیاری به نام "سرگشتگی" (perplexity) نمره می‌دهند»؛ معیاری که با میزان پیچیدگی و پختگی نوشته همبستگی دارد. نوشتهٔ ساده و دقیق ممکن است از نگاه چنین معیاری ماشینی به نظر برسد، حتی اگر همهٔ واژه‌هایش را یک انسان نوشته باشد.
پژوهش‌ها چه نشان داده‌اند؟
این پژوهش‌ها در اکتبر 2026 بررسی شدند. سه مورد نخست مربوط به سال 2023 هستند و سه مورد آخر ابزارها و مدل‌های جدیدتر را می‌آزمایند.
| منبع | چه چیزی آزموده شد | یافته‌ها |
|---|---|---|
| طبقه‌بند خودِ OpenAI (2023) | ابزار OpenAI روی مجموعه‌ای دشوار از متن‌های انگلیسی | این ابزار 26% از متن‌های نوشته‌شده با هوش مصنوعی را شناسایی کرد و در 9% موارد متن انسانی را هوش مصنوعی دانست. شرکت OpenAI در 20 ژوئیهٔ 2023 آن را «به دلیل نرخ پایین دقتش» کنار گذاشت. |
| پژوهش استنفورد، Liang و همکاران (2023) | هفت تشخیص‌دهنده روی انشاهای نویسندگان انگلیسی‌زبانِ بومی و غیربومی | این ابزارها به‌طور میانگین 61% از 91 انشای آزمون TOEFL را که غیربومی‌ها نوشته بودند تولیدشده با هوش مصنوعی دانستند؛ 89 مورد از این 91 انشا دست‌کم از سوی یکی از ابزارها علامت خوردند. ابزارها انشاهای دانش‌آموزان پایهٔ هشتم آمریکایی را تقریباً بدون خطا تشخیص دادند. |
| پژوهش Weber-Wulff و همکاران (2023) | دوازده ابزار عمومی به‌علاوهٔ Turnitin و PlagiarismCheck | ابزارها «نه دقیق بودند و نه قابل اعتماد»، گرایش داشتند متن را انسانی بدانند، و وقتی متن هوش مصنوعی پنهان‌سازی می‌شد، مثلاً با بازنویسی، عملکردشان به‌طور چشمگیری بدتر می‌شد. |
| پژوهش Erol و همکاران (2025) | ابزارهای GPTZero، ZeroGPT و Corrector روی چکیده‌ها و مقدمه‌های 250 مقالهٔ جراحی مغز و اعصاب نوشتهٔ انسان و 750 نسخهٔ نوشتهٔ ChatGPT | ابزارها در مجموع متن ویرایش‌نشدهٔ ChatGPT را در حد متوسط تا بسیار خوب از متن انسانی تفکیک کردند، اما 30% از متن‌های انسانی در Corrector و 16% در ZeroGPT نمرهٔ بالای 50% هوش مصنوعی گرفتند. ابزار GPTZero به هیچ‌کدام نمرهٔ بالای 50% نداد. متن هوش مصنوعیِ ویرایش‌شده آزموده نشد. |
| پژوهش Jabarian و Imas، دانشگاه شیکاگو (2025) | ابزارهای Pangram، GPTZero، OriginalityAI و یک مدل متن‌باز روی 1992 متن انسانی در شش ژانر و متن‌های متناظر از چهار مدل هوش مصنوعی | ابزار Pangram در متن‌های متوسط و بلند «عملاً صفر» مثبت کاذب و منفی کاذب داشت. مدل متن‌باز حدود 30 تا 78 درصد از متن‌های انسانی را به اشتباه علامت زد. پس از آنکه «انسانی‌ساز» StealthGPT متن هوش مصنوعی را بازنویسی کرد، GPTZero در بیشتر ژانرها حدود نیمی از آن یا بیشتر را تشخیص نداد، در حالی که Pangram همچنان تقریباً همه را شناسایی کرد. |
| مؤسسهٔ Epoch AI (ژوئیهٔ 2026) | ابزارهای Pangram، GPTZero و Originality.ai روی 495 متن انسانیِ حدوداً 500 کلمه‌ای و متن‌هایی از سه مدل فعلی هوش مصنوعی | هیچ‌یک از دو ابزار Pangram و GPTZero متن‌های انسانی را علامت نزدند؛ Originality.ai در 3.8% موارد علامت زد. هر سه ابزار تقریباً همهٔ متن‌های تولیدشده با دستورهای ساده را شناسایی کردند، اما 10 تا 18 درصد از متن‌هایی را که به تقلید از یک نویسندهٔ واقعی نوشته شده بودند، و در نوشتار علمی حدود یک‌چهارم از این تقلیدها را، تشخیص ندادند. |
اگر این پژوهش‌ها را کنار هم بگذاریم، دو نکته روشن می‌شود: اینکه از کدام ابزار استفاده می‌کنید اهمیت بسیار زیادی دارد، و تقلید سبک همان جایی است که حتی بهترین ابزارها هم خطا می‌کنند؛ در حالی که یک انسانی‌ساز توانست برخی از آن‌ها را فریب دهد.
برای جزئیات بیشتر، از یادداشت OpenAI دربارهٔ طبقه‌بندش، گزارش مؤسسهٔ HAI استنفورد دربارهٔ پژوهش سوگیری، خلاصهٔ پژوهشی دانشگاه شیکاگو و آزمون سال 2026 مؤسسهٔ Epoch AI شروع کنید. مقالهٔ Weber-Wulff در نشریهٔ International Journal for Educational Integrity و پژوهش جراحی مغز و اعصاب سال 2025 در نشریهٔ Acta Neurochirurgica منتشر شده‌اند.
مثال کاربردی اول: یک کلاس صادق، شش ابزار متفاوت
فرض کنید 1000 انشا داریم که دانش‌آموزان کاملاً خودشان و بدون هیچ کمکی از هوش مصنوعی نوشته‌اند، و نرخ‌های مثبت کاذبِ گزارش‌شده در بالا را روی آن‌ها اعمال می‌کنیم. این حساب‌وکتاب خودِ ماست، نه یک آزمون جدید، و پژوهش‌ها از متن‌ها و شرایط متفاوتی استفاده کرده‌اند؛ پس این جدول رتبه‌بندی نیست.
| ابزار و پژوهش | نرخ مثبت کاذب گزارش‌شده | انشاهای صادقانه‌ای که به اشتباه علامت خوردند، از 1000 |
|---|---|---|
| ابزار Pangram یا GPTZero، پژوهش Epoch AI در 2026 (متن‌های حدوداً 500 کلمه‌ای) | 0 از 495 | تقریباً صفر |
| ابزار Originality.ai، پژوهش Epoch AI در 2026 | 3.8% | حدود 38 |
| طبقه‌بند OpenAI، سال 2023 | 9% | حدود 90 |
| ابزار ZeroGPT، مقاله‌های جراحی مغز و اعصاب در 2025 (متن‌های انسانی با نمرهٔ بالای 50% هوش مصنوعی) | 16% | حدود 160 |
| ابزار Corrector، مقاله‌های جراحی مغز و اعصاب در 2025 (متن‌های انسانی با نمرهٔ بالای 50% هوش مصنوعی) | 30% | حدود 300 |
| مدل متن‌باز، پژوهش شیکاگو در 2025 | حدود 30 تا 78 درصد | حدود 300 تا 780 |
بسته به ابزار، همان کلاس صادق ممکن است از صفر تا چند صد هشدار نادرست دریافت کند. ضمن اینکه صفر خطا در 495 تلاش هم ثابت نمی‌کند که در هر نوع نوشته‌ای خطایی رخ نمی‌دهد.
مثال کاربردی دوم: چرا حتی نرخ خطای 1 درصدی هم مهم است؟
دانشگاه وندربیلت وقتی در سال 2023 تشخیص‌دهندهٔ هوش مصنوعی Turnitin را غیرفعال کرد، نسخه‌ای از همین حساب را انجام داد: این دانشگاه در سال 2022 حدود 75 هزار مقاله برای بررسی فرستاده بود، پس نرخ مثبت کاذب 1% می‌توانست به این معنا باشد که حدود 750 مقاله به اشتباه برچسب بخورند.
اثر دومی هم وجود دارد. برای دانشجویی که نوشته‌اش علامت خورده، پرسش اصلی نرخ خطا نیست، بلکه احتمال اینکه علامتِ خودِ او نادرست باشد؛ و این به تعداد کسانی بستگی دارد که واقعاً از هوش مصنوعی استفاده کرده‌اند. در اینجا تشخیص‌دهنده‌ای را فرض می‌کنیم که 90% از انشاهای نوشته‌شده با هوش مصنوعی را شناسایی می‌کند و بقیهٔ عوامل را تغییر می‌دهیم. این اعداد برای توضیح‌اند، نه حاصل اندازه‌گیری.
| سناریو، 1000 انشا | انشاهای نوشته‌شده با هوش مصنوعی | انشاهای هوش مصنوعیِ علامت‌خورده (90%) | انشاهای انسانی که به اشتباه علامت خوردند | سهم علامت‌های نادرست |
|---|---|---|---|---|
| الف: 10% از هوش مصنوعی استفاده کردند، 1% مثبت کاذب | 100 | 90 | 9 (1% از 900) | حدود 9% (9 از 99) |
| ب: 10% از هوش مصنوعی استفاده کردند، 5% مثبت کاذب | 100 | 90 | 45 (5% از 900) | حدود 33% (45 از 135) |
| ج: 2% از هوش مصنوعی استفاده کردند، 1% مثبت کاذب | 20 | 18 | حدود 10 (1% از 980) | حدود 35% (10 از 28) |
سناریوی ج مشکل را نشان می‌دهد: با همان تشخیص‌دهندهٔ «1 درصدی»، وقتی افراد کمی از هوش مصنوعی استفاده کرده‌اند، تقریباً از هر سه علامت، یکی روی نویسنده‌ای صادق می‌نشیند. برای بهترین ابزارها روی متن‌های بلند، این نرخ ممکن است به 0% نزدیک‌تر باشد، پس این سناریو برای آن‌ها حالت بدبینانه است. اما برای ابزارهای ضعیف‌تر، متن‌های کوتاه و نوشته‌های رسمی، نرخ خطای چند درصدی یا بیشتر دور از انتظار نیست، همان‌طور که مثال اول نشان می‌دهد.
نمرهٔ تشخیص‌دهنده را چطور بخوانیم؟
- ببینید درصد دقیقاً چه چیزی را می‌سنجد. عددی که Turnitin نشان می‌دهد سهمی از «متن واجد شرایط» است که به احتمال زیاد با هوش مصنوعی تولید شده، نه حکمی دربارهٔ کل مقاله. پیش از تصمیم‌گیری بر اساس یک عدد، توضیح خود ابزار را بخوانید.
- نمره‌های پایین کمترین اعتبار را دارند. خودِ Turnitin برای مقادیر بین 1% تا 19% به‌جای عدد فقط یک ستاره نشان می‌دهد، چون آزمون‌هایش نشان داده‌اند که مثبت کاذب در این بازه رایج‌تر است.
- نمرهٔ ابزارهای مختلف را نمی‌توان با هم مقایسه کرد. در پژوهش جراحی مغز و اعصاب سال 2025، همان متن‌های انسانی به‌طور میانگین در Corrector نمرهٔ 37%، در ZeroGPT نمرهٔ 28% و در GPTZero نمرهٔ 6% هوش مصنوعی گرفتند.
- طول و زبان متن اهمیت دارند. به گفتهٔ OpenAI، طبقه‌بند این شرکت برای متن‌های کوتاه‌تر از 1000 نویسه، یعنی یکی دو پاراگراف کوتاه، بسیار غیرقابل اعتماد بود و برای زبان‌های غیرانگلیسی بسیار بدتر عمل می‌کرد.
- یک بار اجرا روی یک ابزار، فقط یک داده است. نمرهٔ بالا برای یک متن بلند از ابزاری که به‌خوبی آزموده شده، ارزش بررسی دقیق‌تر را دارد. نمرهٔ بالا برای یک پاراگراف کوتاه از یک ابزار رایگان، وزن بسیار کمی دارد.
چه زمانی احتمال مثبت کاذب بیشتر است؟
خطر برچسب نادرست «هوش مصنوعی» در این موارد بیشتر می‌شود:
- نویسنده انگلیسی‌زبانِ بومی نیست. در سال 2023، هفت تشخیص‌دهندهٔ پژوهش استنفورد به‌طور میانگین 61% از انشاهای TOEFL را هوش مصنوعی دانستند و پژوهشگران این را به انتخاب واژه‌های ساده‌تر نسبت دادند که متن را قابل پیش‌بینی‌تر می‌کند. ابزارهای جدیدتر شاید بهتر عمل کنند، اما با چنین علامتی با احتیاط بیشتری برخورد کنید.
- متن کوتاه است یا به زبان انگلیسی نیست، همان‌طور که OpenAI دربارهٔ ابزار خودش هشدار داده بود.
- متن انسانی و هوش مصنوعی در هم آمیخته‌اند. به گفتهٔ Turnitin، مثبت‌های کاذب در سطح جمله در اسناد ترکیبی رایج‌ترند، به‌ویژه در جاهایی که بخش‌های انسانی و هوش مصنوعی به هم می‌رسند.
- نوشته رسمی و قالبی است. مقاله‌های علمی از قواعد سخت‌گیرانه‌ای پیروی می‌کنند؛ این یکی از دلایلی است که در پژوهش سال 2025 این همه متن انسانی در حوزهٔ جراحی مغز و اعصاب در Corrector و ZeroGPT نمرهٔ بالا گرفتند.
برچسب نادرست «انسانی»، یعنی منفی کاذب، زمانی محتمل‌تر است که متن هوش مصنوعی بازنویسی شده، از یک انسانی‌ساز عبور کرده یا به تقلید از یک نویسندهٔ واقعی نوشته شده باشد؛ همان چیزی که آزمون‌های Weber-Wulff و Epoch AI نشان دادند. پژوهش شیکاگو هم همین را برای GPTZero پس از استفاده از انسانی‌ساز نشان داد، اما نه برای Pangram.
اگر نوشته‌تان به‌عنوان متن هوش مصنوعی علامت خورد، چه کنید؟
اگر معلم، ویراستار یا مشتری به شما گفت که یک تشخیص‌دهنده نوشته‌ای را که خودتان نوشته‌اید علامت زده است:
- جزئیات را بپرسید. از کدام ابزار استفاده شده، چه نمره‌ای داده و کدام بخش‌ها را برجسته کرده است؟
- روند کارتان را نشان دهید. تاریخچهٔ نسخه‌ها در Google Docs یا Microsoft Word، طرح‌های اولیه، یادداشت‌ها، پیش‌نویس‌های قبلی و منابعی که خوانده‌اید، شواهدی بسیار قوی‌تر از هر نمره‌ای هستند.
- پیشنهاد گفت‌وگو بدهید. توضیح استدلال، منابع و انتخاب‌هایتان کاری است که نویسندهٔ واقعی یک متن معمولاً به‌راحتی از عهده‌اش برمی‌آید.
- به شواهد استناد کنید. شرکت OpenAI تشخیص‌دهندهٔ خودش را کنار گذاشت، Turnitin توصیه می‌کند از نمره‌اش «برای آغاز یک گفت‌وگو استفاده شود، نه برای رسیدن به نتیجه»، و دانشگاه وندربیلت تشخیص‌دهندهٔ هوش مصنوعی Turnitin را خاموش کرد.
- از مسیر رسمی استفاده کنید. سیاست مدرسه، دانشگاه یا کارفرمایتان دربارهٔ هوش مصنوعی و صداقت علمی را بخوانید و از مسیر اعتراضی که پیش‌بینی کرده استفاده کنید. اگر پای مسئلهٔ مهمی در میان است، از مشاور دانشجویی، معاونت دانشجویی یا شورای صنفی دانشجویان کمک بخواهید.
برای اینکه این اتفاق تکرار نشود، از همان ابتدا پیش‌نویس‌ها و تاریخچهٔ نسخه‌ها را نگه دارید، پیش از استفاده از هوش مصنوعی برای هر کاری، حتی اصلاح دستور زبان، قوانین را بررسی کنید و هر جا از شما خواسته شد، استفاده‌تان را اعلام کنید.
معلمان و ویراستاران چطور باید از تشخیص‌دهنده استفاده کنند؟
- از نمره برای شروع گفت‌وگو استفاده کنید، نه برای صدور حکم. از نویسنده بخواهید توضیح دهد متن دربارهٔ چیست و چطور آن را نوشته است.
- از ابتدا قوانین روشنی بگذارید. تیم فناوری آموزشی MIT Sloan توصیه می‌کند به‌جای تکیه بر تشخیص، سیاست‌های روشنی دربارهٔ هوش مصنوعی وضع شود، گفت‌وگوی باز صورت گیرد و از دانشجویان خواسته شود توضیح دهند چطور از هوش مصنوعی استفاده کرده‌اند.
ابزار رایگان تشخیص متن هوش مصنوعی کجا به کار می‌آید؟
تشخیص‌دهنده بیشترین فایده را روی نوشتهٔ خودتان دارد: بررسی سریعی برای اینکه ببینید پیش‌نویستان پیش از تحویل یا انتشار، کلیشه‌ای و بی‌رنگ به نظر می‌رسد یا نه. اگر چنین است، آن را با لحن خودتان بازنویسی کنید و جزئیات مشخصی اضافه کنید که فقط خودتان می‌دانید.
برای همین کار، Clever AI یک ابزار رایگان تشخیص متن هوش مصنوعی دارد. شما 20 تا 4000 نویسه را وارد می‌کنید و بدون نیاز به حساب کاربری، یک نمرهٔ هوش مصنوعی، یک نمرهٔ انسانی و یک حکم می‌گیرید: «احتمالاً هوش مصنوعی»، «ترکیبی» یا «احتمالاً انسانی». نتایج روی متن‌های کوتاه، به همان دلایلی که گفتیم، کمترین اعتبار را دارند. این ابزار تخمینی مبتنی بر مدل زبانی است، نه اسکنی از طریق Turnitin، GPTZero یا هر تشخیص‌دهندهٔ دیگری، و جزو ابزارهای پژوهش‌های بالا هم نبوده است. همان‌طور که خود صفحه می‌گوید، از آن برای تصمیم‌گیری دربارهٔ اینکه چه چیزی را بازنویسی کنید استفاده کنید، نه به‌عنوان مدرکی دربارهٔ کار کس دیگری.
اگر از هوش مصنوعی برای ایده‌پردازی یا نوشتن پیش‌نویس استفاده می‌کنید، چه در Clever AI Hub و چه هر جای دیگر، امن‌ترین عادت همان است: پیش‌نویس‌هایتان را نگه دارید، از قوانینی که در چارچوبشان می‌نویسید پیروی کنید و هر وقت هوش مصنوعی کمکتان کرد، آن را بگویید.
جمع‌بندی
در تازه‌ترین آزمون‌ها، بهترین تشخیص‌دهنده‌ها به‌ندرت دربارهٔ متن‌های بلندتر و ویرایش‌نشده اشتباه کردند، اما هیچ‌کدام نمی‌توانند چیزی را دربارهٔ یک نوشتهٔ مشخص ثابت کنند: ابزارها تفاوت بسیار زیادی با هم دارند، متن هوش مصنوعیِ بازنویسی‌شده یا مقلدِ سبک از برخی از آن‌ها رد می‌شود، و وقتی استفادهٔ واقعی از هوش مصنوعی نادر است، بسیاری از علامت‌ها نادرست‌اند. نمره را دلیلی برای بررسی دقیق‌تر بدانید و سپس بر اساس شواهد واقعی مانند پیش‌نویس‌ها، یادداشت‌ها و گفت‌وگو تصمیم بگیرید.