انتقل إلى المحتوى

أتمتة المتصفح بـ Playwright: 30 جلسة متوازية في Salamah Checker

كيف بنيت أداة لسطح المكتب تفحص التصاريح بالجملة على منصة «سلامة» عبر 30 جلسة متصفح متوازية، وتستأنف من حيث توقفت، وتعيد المحاولة على فترات متزايدة.
نُشر
القراءة
قراءة في 7 دقائق
الكاتب
مهندس برمجيات متكامل (Full-Stack)

Salamah Checker أداة لسطح مكتب Windows بنيتها لشركة إسناد المدن، تفحص حالة التصاريح بالجملة على منصة «سلامة» التابعة للدفاع المدني السعودي، وتقوم على أتمتة المتصفح بـ Playwright وPython. تشغّل حتى 30 جلسة متصفح بالتوازي، وتستأنف من حيث توقفت إن انقطع التشغيل، وتعيد الفحص المتعثّر على فترات متزايدة، وتحفظ كل نتيجة في SQLite ثم تصدّرها إلى Excel.

هذا المقال عن هندسة الموثوقية في أداة كهذه: كيف تعمل عملية طويلة على موقع لا تتحكم فيه دون أن تضيع نتائجها. وليس عن تجاوز حماية المواقع، فهذا ليس موضوعه.

ما الذي احتاجته إسناد المدن من الأداة

كان العميل يفحص حالة التصاريح على المنصة واحدًا تلو الآخر. المطلوب أداة تفحص عددًا كبيرًا منها دفعة واحدة، بشرط واضح: إذا انقطع التشغيل أو ردّت المنصة بأخطاء، لا تضيع النتائج ولا يبدأ المستخدم من الصفر.

تستقبل الأداة التصاريح بثلاث طرق: رقم واحد، أو نطاق من الأرقام، أو ملف Excel. أيًا كان مصدر الإدخال، فالأهم أن يتحول قبل التشغيل إلى قائمة واحدة بلا تكرار، لأن كل ما بعد ذلك من توزيع وحفظ واستئناف يتعامل مع هذه القائمة لا مع مصدرها.

والنطاق تحديدًا يحتاج إلى تحقق قبل التشغيل: أن تكون البداية أصغر من النهاية، وأن يكون طول النطاق معقولًا. خطأ في خانة واحدة عند الإدخال قد يحوّل مئة تصريح إلى مئة ألف، والأفضل أن تكتشف أداة كهذه ذلك وتسأل المستخدم قبل أن تبدأ.

بنيت الأداة خلال عمل مستقل استمر شهرين في 2025، وسُلّمت في نسختين: برنامج تثبيت ونسخة محمولة.

أتمتة المتصفح بـ Playwright: المتصفح والسياق والصفحة

يميّز Playwright بين ثلاثة مستويات. المتصفح (Browser) عملية واحدة على الجهاز. السياق (BrowserContext) جلسة معزولة داخل هذا المتصفح، لها ملفات تعريف الارتباط والتخزين الخاصة بها، ولا تشاركها مع السياقات الأخرى. والصفحة (Page) تبويب داخل سياق.

هذا التمييز هو مفتاح التوازي. يشرح توثيق Playwright أن السياقات تتيح تشغيل جلسات مستقلة كثيرة داخل متصفح واحد، وأن السياق غير الدائم لا يكتب بيانات التصفح على القرص. فثلاثون جلسة معزولة لا تعني ثلاثين متصفحًا كاملًا.

والشكل العام لمجموعة عمّال (worker pool) فوق Playwright في Python يبدو هكذا. هذا مثال توضيحي، لا كود الأداة نفسه:

import asyncio
from playwright.async_api import async_playwright

async def worker(browser, queue, check, record_failure):
    context = await browser.new_context()
    page = await context.new_page()
    try:
        while True:
            permit = await queue.get()
            try:
                await check(page, permit)
            except Exception as exc:
                record_failure(permit, exc)
            finally:
                queue.task_done()
    finally:
        await context.close()

async def run(permits, check, record_failure, workers):
    queue = asyncio.Queue()
    for permit in permits:
        queue.put_nowait(permit)
    async with async_playwright() as pw:
        browser = await pw.chromium.launch()
        tasks = [
            asyncio.create_task(worker(browser, queue, check, record_failure))
            for _ in range(workers)
        ]
        await queue.join()
        for task in tasks:
            task.cancel()
        await asyncio.gather(*tasks, return_exceptions=True)
        await browser.close()

كل عامل يأخذ رقمًا من الطابور، ويفحصه، ثم يأخذ التالي. وإذا فشل الفحص سُجّل الفشل وانتقل العامل إلى الرقم التالي، لأن العامل الذي يتوقف عند أول استثناء يُخرج مكانه من المجموعة، وإن توقفت كل العمّال بقي queue.join() ينتظر إلى الأبد. وما يستحق الانتباه هنا أن واجهة Playwright ليست آمنة للاستخدام من عدة خيوط (threads) في وقت واحد، كما يذكر توثيقها. لذلك إما أن يعمل كل شيء في حلقة asyncio واحدة كما في المثال، وإما أن يكون لكل خيط نسخته الخاصة من Playwright.

سقف 30 جلسة: لماذا يكون للتوازي حد أعلى

الحد الأعلى في Salamah Checker هو 30 جلسة متوازية. الرقم سقف لا هدف، ولكل جلسة ثمن.

الثمن الأول على جهاز المستخدم: كل سياق وصفحة مفتوحة تستهلك ذاكرة ومعالجًا، والأداة تعمل على جهاز Windows عادي لا على خادم. والثمن الثاني على المنصة نفسها: هي خدمة عامة يستخدمها غيرك، وزيادة الجلسات لا تسرّع شيئًا إذا بدأت المنصة تبطئ أو تردّ بأخطاء.

القاعدة التي أراها صحيحة في أي أتمتة على موقع لا تملكه: إن زادت الأخطاء فقلّل عدد الجلسات ولا تزده. أداة الفحص الجيدة تنهي العمل، ولا تضغط على المصدر الذي تقرأ منه.

نقاط الحفظ: الإيقاف والاستئناف دون فحص تصريح مرتين

تحفظ الأداة نقاط توقف تسمح للمستخدم بإيقاف التشغيل مؤقتًا ثم استئنافه، وتحفظ النتائج في SQLite. الفكرة العامة وراء نقطة حفظ يمكن الوثوق بها أن تكون عملية الحفظ متكررة الأثر (idempotent): كتابة نتيجة التصريح نفسه مرتين تنتج الحالة نفسها، لا سجلين.

أبسط طريقة لذلك جدول مفتاحه رقم التصريح، تُسجَّل فيه حالة كل رقم فور انتهاء فحصه. وعند الاستئناف تُقرأ الأرقام التي لم تكتمل فقط. مثال توضيحي:

CREATE TABLE IF NOT EXISTS checks (
  permit     TEXT PRIMARY KEY,
  status     TEXT NOT NULL,
  attempts   INTEGER NOT NULL DEFAULT 0,
  result     TEXT,
  checked_at TEXT
);

INSERT INTO checks (permit, status, result, checked_at)
VALUES (?, 'done', ?, datetime('now'))
ON CONFLICT(permit) DO UPDATE SET
  status = 'done', result = excluded.result, checked_at = excluded.checked_at;

وهناك أمران يجب الانتباه لهما. الإيقاف المؤقت الصحيح يعني التوقف عن أخذ أرقام جديدة مع ترك الفحوص الجارية تنتهي، لا قطعها في المنتصف. وSQLite يسمح بكاتب واحد في كل لحظة، فإن كتبت ثلاثون جلسة في الوقت نفسه فالأفضل أن تمر الكتابة عبر مكان واحد.

إعادة المحاولة بفترات متزايدة (backoff)

الفحص المتعثّر في Salamah Checker لا يُعاد فورًا، بل على فترات متزايدة. السبب بسيط: إذا كانت المنصة مشغولة، فإعادة الطلب في الحال تزيد انشغالها ولا تحل شيئًا.

الصيغة الشائعة، وتُسمى exponential backoff، أن تتضاعف مدة الانتظار مع كل محاولة حتى سقف معيّن، مع إضافة قدر عشوائي (jitter). العشوائية مهمة حين تعمل جلسات كثيرة معًا، فلو فشلت عشر جلسات في اللحظة نفسها بلا عشوائية، لأعادت المحاولة كلها في اللحظة نفسها أيضًا.

import random

def backoff_delay(attempt: int, base: float = 2.0, cap: float = 60.0) -> float:
    return random.uniform(0, min(cap, base * 2 ** attempt))

وما يستحق الانتباه أكثر من الصيغة نفسها: التفريق بين خطأ مؤقت وخطأ دائم. انتهاء مهلة التحميل أو خطأ من الخادم يستحق إعادة المحاولة. أما رقم غير موجود أصلًا فلن يتغير جوابه بالإعادة، والأصح أن يُسجَّل كما هو ويظهر في ملف النتائج. ولكل رقم حد أقصى من المحاولات، يُعلَّم بعده للمراجعة اليدوية.

SQLite وExcel: أداة سطح مكتب لا تحتاج إلى خادم

يناسب SQLite أداة سطح مكتب لأنه لا يطلب من المستخدم تشغيل أي شيء إضافي. فهو قاعدة بيانات في ملف واحد على الجهاز، بلا خادم وبلا إعداد، وتبقى النتائج فيها إن أُغلق البرنامج فجأة.

وExcel في طرفي العملية: قد تدخل منه التصاريح، وإليه تخرج النتائج بعد انتهاء الفحص. بهذا لا يضطر المستخدم إلى تعلّم صيغة جديدة لكي يستفيد من الأداة.

وما يستحق الانتباه في ملف التصدير أن يظهر فيه كل رقم أُدخل، بما في ذلك ما تعذّر فحصه، مع سبب واضح أمامه. ملف ينقصه عشرة أرقام بلا تفسير أسوأ من ملف فيه عشرة أسطر مكتوب أمامها «تعذّر الفحص»، لأن المستخدم في الحالة الأولى لا يعرف ما الذي عليه أن يعيده.

نسخة تثبيت ونسخة محمولة على Windows

سُلّمت الأداة في نسختين: برنامج تثبيت عادي، ونسخة محمولة تعمل من مجلد دون تثبيت. النسخة المحمولة مفيدة على أجهزة لا يملك فيها المستخدم صلاحية تثبيت البرامج.

وفي تغليف أي أداة مبنية على Playwright يجب الانتباه لأمر واحد على الأقل: Playwright لا يكتفي بالمكتبة، بل يحتاج إلى ملفات المتصفحات التي يُنزّلها عادةً أمر playwright install. فالحزمة النهائية يجب أن تحمل المتصفح معها أو تنزّله عند أول تشغيل، وإلا عملت الأداة على جهاز المطوّر وتوقفت على جهاز العميل.

179 اختبارًا آليًا لأداة أتمتة

تغطي Salamah Checker مجموعة من 179 اختبارًا آليًا. لن أعدّد الاختبارات هنا، لكن المبدأ في أداة من هذا النوع أن أغلب ما يستحق الاختبار لا يحتاج إلى المنصة الحقيقية.

قراءة النطاقات وملفات Excel، ومنطق الاستئناف، وسياسة إعادة المحاولة، وشكل ملف التصدير، كلها يمكن اختبارها محليًا. والجزء الذي يلمس الصفحة يمكن اختباره على صفحات HTML محلية تحاكي الحالات المختلفة: نجاح، وبطء، وخطأ، ورقم غير موجود. هكذا تبقى الاختبارات سريعة، ولا ترسل طلبًا واحدًا إلى منصة لا تملكها.

حدود هذا النوع من الأتمتة

بنيت Salamah Checker لعمل يقوم به العميل أصلًا، لكن يدويًا وببطء. وهذا ما صُممت له أدوات كهذه: أتمتة فحص مشروع على منصة يحق لك استخدامها، بسرعة تحتملها المنصة. وإذا طلب موقع أن تبطئ، فالصحيح أن تبطئ.

تفاصيل المشروع في دراسة حالة Salamah Checker، وما نبنيه من أدوات أتمتة ومساعدات ذكية في صفحة الشات بوت وأتمتة المهام. نحن مهندسان في المنوفية بمصر نعمل عن بُعد لعملاء في مصر والخليج.

إن كان لدى فريقك عمل متكرر في المتصفح أو في ملفات Excel، أرسل لنا وصفًا قصيرًا.

مشاركة