اشتباهات فاجعه باری که هوش مصنوعی موقع نوشتن تست کیس ها انجام میدهد (و نحوه مچ گیری از آن)
اشتباهات فاجعهبار هوش مصنوعی در نوشتن تستکیس (و نحوه مچگیری از آن)
همه از سرعت بالای ChatGPT و Copilot در تولید کدهای تست شگفتزدهاند؛ اما هیچکس از بدهی فنی (Technical Debt) و تستهای شکنندهای که این ابزارها به کدهای شما تزریق میکنند حرفی نمیزند. بیایید توهمات هوش مصنوعی را کالبدشکافی کنیم.
هوش مصنوعی یک کارآموزِ به شدت خوشبین است!
اگر یک پرامپت ساده به مدلهای زبانی (LLMs) بدهید و بخواهید برای یک فرم ثبتنام تستکیس بنویسند، در ۹۹ درصد مواقع فقط یک «مسیر سبز» (Happy Path) به شما تحویل میدهند. هوش مصنوعی فرض میکند کاربر همیشه دیتای درست وارد میکند، سرور همیشه در کمتر از ۲۰۰ میلیثانیه پاسخ میدهد و دیتابیس هرگز قفل نمیشود (Deadlock).
یک تستر ارشد میداند که ارزش واقعی اتومیشن، کشف باگ در Edge Caseها (موارد مرزی) و سناریوهای منفی (Negative Testing) است. هوش مصنوعی مفاهیمی مثل Rate Limiting (محدودیت درخواست)، خطاهای ۵۰۲ درگاه بانکی یا تایماوت شدن نشستها (Session Timeout) را به طور پیشفرض درک نمیکند، مگر اینکه شما به عنوان یک مهندس پرامپت، او را مجبور کنید.
Retry یا اعتبارسنجیِ خطای شبکهای ندارند و تست شما به صورت کاذب (Flaky) فیل خواهد شد.
هوش مصنوعی یک کد اتومیشن با Playwright برای صفحه پرداخت نوشته است. روی تبها کلیک کنید تا تفاوت فاجعهبارِ کد خام AI را با کد ریفکتور شدهی یک معمار QA ببینید:
// ❌ AI Generated Code: Brittle & Hardcoded
test('Checkout process', async ({ page }) => {
await page.waitForTimeout(3000);
await page.locator('//*[@id="app"]/div[2]/button[1]').click();
await page.fill('.email-input', 'test@test.com');
await page.click('#submit');
await expect(page.locator('.success-msg')).toBeVisible();
});// ✅ QA Architect Refactored: Dynamic & Resilient
test('Checkout process with dynamic fixtures', async ({ page, userFixture }) => {
const responsePromise = page.waitForResponse('**/api/cart/checkout');
await page.getByRole('button', { name: 'تکمیل خرید' }).click();
await page.getByLabel('ایمیل').fill(userFixture.dynamicEmail);
await page.getByTestId('submit-checkout').click();
const response = await responsePromise;
expect(response.status()).toBe(200);
});هوش مصنوعی، Context سازمان شما را نمیفهمد!
یکی از خطرناکترین اشتباهات اعتماد چشمبسته به هوش مصنوعی، پدیدهای به نام توهم منطق (Business Logic Hallucination) است. مدلهای هوش مصنوعی با دادههای عمومی اینترنت آموزش دیدهاند. وقتی به آنها میگویید «سناریوی خرید از فروشگاه را بنویس»، آنها یک سناریوی عمومیِ شبیه به آمازون برای شما مینویسند.
اما سیستم شما آمازون نیست! شاید در سیستم شما قانونی وجود داشته باشد که «کاربران VIP نیازی به پرداخت هزینه ارسال ندارند»، یا «سبد خریدهای بالای ۵۰ میلیون تومان نیازمند تایید پیامکی (OTP) ثانویه هستند». هوش مصنوعی این قوانین پنهان (Implicit Rules) را نمیداند و تستکیسهایی تولید میکند که از نظر سینتکس کدنویسی بینقصاند، اما از نظر پوشش منطق بیزینس (Business Coverage) کاملاً بیارزش و کور هستند.
زبالهدانیِ سلکتورها: چرا تستهای AI مدام میشکنند؟
مدلهایی مثل GPT-4 یا Claude تمایل عجیبی به استفاده از سلکتورهای CSS طولانی و XPathهای مطلق (Absolute) دارند. وقتی کدهای HTML سایت را به آنها میدهید، آنها چیزی شبیه به این تولید میکنند:
cy.get('div.container > div.row > div:nth-child(3) > ul > li.active > a').click();این دقیقاً یک بمب ساعتی است! کافیست توسعهدهنده فرانتاند یک تگ <div> جدید به خاطر رسپانسیو کردن نسخه موبایل اضافه کند؛ کل تست شما متلاشی میشود. یک مهندس تست باید مچ AI را بگیرد و او را وادار کند تا فقط از data-testid ها یا سلکتورهای معنایی استفاده کند.
نحوه درخواست شما از هوش مصنوعی، خروجی را از «فاجعه» به «شاهکار» تغییر میدهد. پرامپتهای زیر را انتخاب کنید تا رفتار مدل زبانی را مشاهده کنید:
در تستتو، ما هوش مصنوعی را رام کردهایم!
هوش مصنوعی یک ابزار قدرتمند است، اما بدون نظارت یک معمار کیفیت (QA Architect)، تنها سرعت تولید باگها و کدهای بیکیفیت را افزایش میدهد. بسیاری از تیمها با اعتماد کورکورانه به AI، زیرساخت تست خود را به باتلاقی از کدهای غیرقابل نگهداری (Unmaintainable) تبدیل کردهاند.
ما در تستتو (Testeto)، از مدلهای زبانی (LLMs) برای سرعت بخشیدن به فرآیندهای تکراری مانند تولید دادههای ساختگی (Mock Data) استفاده میکنیم؛ اما طراحی استراتژی، اعتبارسنجی Edge Caseها و معماریِ کدهای اتومیشن، منحصراً توسط متخصصین خبره ما انجام میشود. ما کدهای AI را با دقیقترین استانداردهای مهندسیِ روز دنیا بازنویسی (Refactor) میکنیم تا تستهایی ۱۰۰٪ پایدار، سریع و بدون لغزش (Flakiness-free) به شما تحویل دهیم.
data-attributes و شنود مستقیم ترافیک شبکه (API Interception) نوشته میشوند.