البيانات الضخمة وأنظمة التوصية – فقاعة التصفية

ماذا تعرض

يمرّ العمل مع البيانات الضخمة بمسار ثابت: جمع السجلات الخام، ثم تنظيفها، ثم تحليلها، ثم التصرف بناءً على النتائج. فالبيانات الخام القادمة من وسائل التواصل الاجتماعي أو أجهزة الاستشعار أو المبيعات أو منصات التعلم تحتوي على تكرارات وحقول ناقصة وأخطاء، وبدون تنظيف تعطي حتى مجموعة بيانات هائلة نتائج غير موثوقة. ويحاكي الجزء الثاني نظام توصية يظل يقترح ما يشاهده المستخدم أكثر. ويُقاس التنوع بالإنتروبيا المعيارية H = −Σ pᵢ·log pᵢ ÷ log N، حيث N عدد المواضيع، وهي تنخفض نحو 0% عندما يطغى موضوع واحد وتتكوّن فقاعة تصفية. ويضيف معدل الاستكشاف اقتراحات غير مألوفة من حين إلى آخر.

طريقة الاستخدام

اختر «مصدر البيانات» واسحب منزلقَي «السجلات» و«التنظيف»، وقارن عدد السجلات الصالحة والموثوقية المقدّرة في المسار. ثم اضبط «الاستكشاف» على 0%، واضغط «تشغيل التوصية» أو استخدم «خطوة» للتقدم جولة بجولة، ولاحظ انخفاض منحنى التنوع. اضغط «إعادة الضبط»، وارفع معدل الاستكشاف، وأعد التشغيل للمقارنة. والنقر على عمود موضوع يجعل المستخدم يشاهده، فترى مدى سرعة النظام في ملاحقته.

المعاملات القابلة للتغيير

• مصدر البيانات منشورات وسائل التواصل الاجتماعي, أجهزة استشعار الأجهزة الذكية, معاملات المبيعات, سجلات التعلم عبر الإنترنت
• عدد السجلات الخام المجموعة 1–10000 ألف سجل
• مستوى تنظيف البيانات 0–100 %
• معدل الاستكشاف في نظام التوصية 0–50 %
• عدد جولات التوصية 5–50 جولة

أسئلة للاستكشاف

1. لماذا قد تعطي مجموعة بيانات ضخمة جدًا لم تُنظَّف نتائج غير دقيقة؟
2. ماذا يخبرك انخفاض قيمة الإنتروبيا عن المحتوى الذي يراه المستخدم؟
3. ما معدل الاستكشاف التقريبي الذي يمنع تكوّن فقاعة تصفية خلال 20 جولة؟