قم بتوصيل نماذج التعلم الآلي وتنفيذها للحالات الشاذة المرئية في بنية AWS بدون خادم

تخيل أن لديك بنية تحتية كبيرة من أنواع مختلفة من الأجهزة التي تحتاج إلى صيانتها بانتظام أو التأكد من أنها ليست خطرة على البيئة المحيطة.

تتمثل إحدى طرق تحقيق ذلك في إرسال الأشخاص بانتظام إلى كل مكان للتحقق مما إذا كان كل شيء على ما يرام. هذا ممكن إلى حد ما ولكنه أيضًا مكلف للغاية للوقت والموارد. وإذا كانت البنية التحتية كبيرة بما يكفي ، فقد لا تتمكن من تغطيتها بالكامل في غضون عام.

هناك طريقة أخرى وهي أتمتة هذه العملية والسماح للوظائف في السحابة بالتحقق من هويتك. لكي يحدث ذلك ، سوف تحتاج إلى القيام بما يلي:

عملية سريعة حول كيفية الحصول على صور للأجهزة. لا يزال بإمكان الأشخاص القيام بذلك لأنه لا يزال من الأسرع بكثير عمل صورة مثل القيام بجميع عمليات التحقق من الجهاز. يمكن أيضًا أن يتم ذلك من خلال الصور المأخوذة من السيارات أو حتى الطائرات بدون طيار ، وفي هذه الحالة تصبح عملية جمع الصور أسرع بكثير وأكثر آلية.

👉 إذن فأنت بحاجة إلى إرسال جميع الصور التي تم الحصول عليها إلى مكان واحد مخصص في السحابة.

👉 في السحابة ، تحتاج إلى وظيفة آلية لالتقاط الصور ومعالجتها من خلال نماذج التعلم الآلي المدربة على التعرف على أضرار الجهاز أو الحالات الشاذة.

👉 أخيرًا ، يجب أن تكون النتائج مرئية للمستخدمين المطلوبين حتى يمكن جدولة الإصلاح للأجهزة التي بها مشاكل.

لنلقِ نظرة على كيفية تحقيق اكتشاف الشذوذ من الصور الموجودة في سحابة AWS. تمتلك أمازون عددًا قليلاً من نماذج التعلم الآلي المبنية مسبقًا والتي يمكننا استخدامها لهذا الغرض.

كيفية إنشاء نموذج لاكتشاف الشذوذ البصري

لإنشاء نموذج لاكتشاف الشذوذ البصري ، ستحتاج إلى اتباع عدة خطوات:

الخطوة 1: حدد بوضوح المشكلة التي تريد حلها وأنواع الحالات الشاذة التي تريد اكتشافها. سيساعدك هذا في تحديد مجموعة بيانات الاختبار المناسبة التي ستحتاجها لتدريب النموذج.

الخطوة 2: اجمع مجموعة بيانات كبيرة من الصور التي تمثل الظروف العادية والشاذة. قم بتسمية الصور للإشارة إلى أيها طبيعي وأيها يحتوي على شذوذ.

الخطوة 3: اختر بنية نموذجية مناسبة للمهمة. قد يتضمن ذلك اختيار نموذج مدرب مسبقًا وضبطه لحالة الاستخدام الخاصة بك أو إنشاء نموذج مخصص من البداية.

الخطوة 4: تدريب النموذج باستخدام مجموعة البيانات المعدة والخوارزمية المحددة. وهذا يعني استخدام نقل التعلم للاستفادة من النماذج المدربة مسبقًا أو تدريب النموذج من نقطة الصفر باستخدام تقنيات مثل الشبكات العصبية التلافيفية (CNN).

كيفية تدريب نموذج التعلم الآلي

المصدر: aws.amazon.com

عادةً ما تتضمن عملية تدريب نماذج التعلم الآلي لـ AWS لاكتشاف الشذوذ البصري عدة خطوات مهمة.

# 1. اجمع البيانات

في البداية ، تحتاج إلى جمع مجموعة كبيرة من البيانات من الصور التي تمثل كلًا من الظروف العادية والشاذة وتصنيفها. كلما كانت مجموعة البيانات أكبر ، كان من الممكن تدريب النموذج بشكل أفضل وأكثر دقة. ولكنه يتطلب أيضًا وقتًا أطول بكثير مخصصًا لتدريب النموذج.

عادة ، تريد أن يكون لديك حوالي 1000 صورة في مجموعة اختبار لتبدأ بداية جيدة.

# 2. تحضير البيانات

يجب أولاً معالجة بيانات الصورة مسبقًا حتى تتمكن نماذج التعلم الآلي من التقاطها. يمكن أن تعني المعالجة المسبقة أشياء مختلفة ، مثل:

• تنظيف الصور المدخلة في مجلدات فرعية منفصلة ، وتصحيح البيانات الوصفية ، إلخ.
• تغيير حجم الصور لتلبي متطلبات دقة النموذج.
• توزيعها على أجزاء أصغر من الصور من أجل معالجة أكثر فعالية ومتوازية.

# 3. حدد النموذج

الآن اختر النموذج المناسب للقيام بالمهمة الصحيحة. إما أن تختار نموذجًا مُدرَّبًا مسبقًا ، أو يمكنك إنشاء نموذج مخصص مناسب لاكتشاف الشذوذ البصري على النموذج.

# 4. تقييم النتائج

بمجرد أن يعالج النموذج مجموعة البيانات الخاصة بك ، يجب عليك التحقق من صحة أدائها. أيضًا ، تريد التحقق مما إذا كانت النتائج مرضية للاحتياجات. يمكن أن يعني هذا ، على سبيل المثال ، أن النتائج صحيحة في أكثر من 99٪ من بيانات الإدخال.

# 5. انشر النموذج

إذا كنت راضيًا عن النتائج والأداء ، فقم بنشر النموذج بإصدار محدد في بيئة حساب AWS حتى تتمكن العمليات والخدمات من البدء في استخدامه.

# 6. المراقبة والتحسين

دعها تعمل من خلال العديد من وظائف الاختبار ومجموعات بيانات الصور وقم باستمرار بتقييم ما إذا كانت المعلمات المطلوبة لصحة الكشف لا تزال في مكانها.

إذا لم يكن الأمر كذلك ، فأعد تدريب النموذج من خلال تضمين مجموعات البيانات الجديدة حيث قدم النموذج نتائج خاطئة.

نماذج التعلم الآلي في AWS

الآن ، انظر إلى بعض النماذج الملموسة التي يمكنك الاستفادة منها في سحابة Amazon.

AWS Rekognition

المصدر: aws.amazon.com

Rekognition عبارة عن خدمات تحليل للصور والفيديو للأغراض العامة يمكن استخدامها في حالات الاستخدام المختلفة ، مثل التعرف على الوجوه واكتشاف الكائنات والتعرف على النص. في معظم الأوقات ، ستستخدم نموذج Rekognition لتوليد أولي أولي لنتائج الكشف لتشكيل بحيرة بيانات من الحالات الشاذة التي تم تحديدها.

يوفر مجموعة من النماذج المبنية مسبقًا والتي يمكنك استخدامها بدون تدريب. تقدم Rekognition أيضًا تحليلًا في الوقت الفعلي للصور ومقاطع الفيديو بدقة عالية وزمن انتقال منخفض.

فيما يلي بعض حالات الاستخدام النموذجية حيث يعد Rekognition خيارًا جيدًا لاكتشاف الانحراف:

• لديك حالة استخدام للأغراض العامة لاكتشاف الانحرافات ، مثل اكتشاف الحالات الشاذة في الصور أو مقاطع الفيديو.
• قم باكتشاف الشذوذ في الوقت الحقيقي.
• ادمج نموذج اكتشاف الشذوذ مع خدمات AWS مثل Amazon S3 أو Amazon Kinesis أو AWS Lambda.

وإليك بعض الأمثلة الملموسة للحالات الشاذة التي يمكنك اكتشافها باستخدام Rekognition:

• التشوهات في الوجوه ، مثل اكتشاف تعابير الوجه أو الانفعالات خارج النطاق الطبيعي.
• أشياء مفقودة أو في غير مكانها في مشهد.
• كلمات بها أخطاء إملائية أو أنماط نصية غير عادية.
• ظروف إضاءة غير عادية أو أشياء غير متوقعة في مشهد ما.
• محتوى غير لائق أو مسيء في الصور أو مقاطع الفيديو.
• تغيرات مفاجئة في الحركة أو أنماط حركة غير متوقعة.

AWS Lookout for Vision

المصدر: aws.amazon.com

Lookout for Vision هو نموذج مصمم خصيصًا لاكتشاف العيوب في العمليات الصناعية ، مثل خطوط التصنيع والإنتاج. يتطلب عادةً بعض المعالجة المسبقة للشفرة المخصصة والمعالجة اللاحقة لصورة أو بعض القطع الملموس للصورة ، وعادة ما يتم ذلك باستخدام لغة برمجة Python. في معظم الأحيان ، يتخصص في بعض المشاكل الخاصة جدًا في الصورة.

يتطلب تدريبًا مخصصًا على مجموعة بيانات من الصور العادية والشاذة لإنشاء نموذج مخصص لاكتشاف الشذوذ. انها ليست مركزة في الوقت الحقيقي. بدلاً من ذلك ، فهو مصمم لمعالجة الصور دفعة واحدة ، مع التركيز على الدقة والدقة.

فيما يلي بعض حالات الاستخدام النموذجية حيث يكون Lookout for Vision خيارًا جيدًا إذا كنت بحاجة إلى الكشف:

• عيوب في المنتجات المصنعة أو تحديد أعطال المعدات في خط الإنتاج.
• مجموعة بيانات كبيرة من الصور أو البيانات الأخرى.
• شذوذ في الوقت الحقيقي في عملية صناعية.
• تم دمج حالة غير طبيعية مع خدمات AWS الأخرى ، مثل Amazon S3 أو AWS IoT.

وإليك بعض الأمثلة الملموسة للحالات الشاذة التي يمكنك اكتشافها باستخدام Lookout for Vision:

• قد تؤثر العيوب في المنتجات المصنعة ، مثل الخدوش أو الخدوش أو العيوب الأخرى ، على جودة المنتج.
• أعطال المعدات في خط الإنتاج ، مثل اكتشاف الآلات المكسورة أو المعطلة التي قد تسبب تأخيرات أو مخاطر على السلامة.
• تتضمن مشكلات مراقبة الجودة في خط الإنتاج الكشف عن المنتجات التي لا تفي بالمواصفات المطلوبة أو التفاوتات المسموح بها.
• تشمل مخاطر السلامة في خط الإنتاج الكشف عن الأشياء أو المواد التي قد تشكل خطرًا على العمال أو المعدات.
• الحالات الشاذة في عملية الإنتاج ، مثل اكتشاف التغييرات غير المتوقعة في تدفق المواد أو المنتجات عبر خط الإنتاج.

AWS Sagemaker

المصدر: aws.amazon.com

Sagemaker عبارة عن نظام أساسي مُدار بالكامل لبناء نماذج مخصصة للتعلم الآلي وتدريبها ونشرها.

إنه حل أكثر قوة. في الواقع ، يوفر طريقة للاتصال وتنفيذ العديد من العمليات متعددة الخطوات في سلسلة وظائف واحدة تلو الأخرى ، تمامًا مثل وظائف خطوات AWS.

ولكن نظرًا لأن Sagemaker يستخدم مثيلات EC2 مخصصة لمعالجته ، فلا يوجد حد لمدة 15 دقيقة لمعالجة مهمة واحدة ، كما هو الحال في وظائف AWS lambda في وظائف خطوات AWS.

يمكنك أيضًا إجراء ضبط تلقائي للنموذج باستخدام Sagemaker ، وهي بالتأكيد ميزة تجعله خيارًا متميزًا. أخيرًا ، يمكن لـ Sagemaker نشر النموذج بسهولة في بيئة الإنتاج.

فيما يلي بعض حالات الاستخدام النموذجية حيث يكون SageMaker خيارًا جيدًا لاكتشاف الشذوذ:

• حالة استخدام محددة لا تغطيها النماذج أو واجهات برمجة التطبيقات مسبقة الصنع ، وإذا كنت بحاجة إلى إنشاء نموذج مخصص ومناسب لاحتياجاتك الخاصة.
• إذا كان لديك مجموعة بيانات كبيرة من الصور أو البيانات الأخرى. تتطلب النماذج المبنية مسبقًا بعض المعالجة المسبقة في مثل هذه الحالات ، ولكن يمكن لـ Sagemaker القيام بذلك بدونها.
• إذا كنت بحاجة إلى إجراء اكتشاف الشذوذ في الوقت الفعلي.
• إذا كنت بحاجة إلى دمج نموذجك مع خدمات AWS الأخرى ، مثل Amazon S3 أو Amazon Kinesis أو AWS Lambda.

وإليك بعض حالات اكتشاف الشذوذ النموذجية التي يستطيع Sagemaker القيام بها:

• كشف الاحتيال في المعاملات المالية ، على سبيل المثال ، أنماط الإنفاق غير العادية أو المعاملات خارج النطاق العادي.
• الأمن السيبراني في حركة مرور الشبكة ، مثل الأنماط غير العادية لنقل البيانات أو الاتصالات غير المتوقعة بالخوادم الخارجية.
• التشخيص الطبي بالصور الطبية مثل الكشف عن الأورام.
• الشذوذ في أداء المعدات ، مثل اكتشاف التغيرات في الاهتزاز أو درجة الحرارة.
• مراقبة الجودة في عمليات التصنيع ، مثل اكتشاف العيوب في المنتجات أو تحديد الانحرافات عن معايير الجودة المتوقعة.
• أنماط غير عادية لاستخدام الطاقة.

كيفية دمج النماذج في بنية بدون خادم

نموذج التعلم الآلي المدرب عبارة عن خدمة سحابية لا تستخدم أي خوادم عنقودية في الخلفية ؛ وبالتالي ، يمكن إدراجه بسهولة في بنية بدون خادم موجودة.

تتم الأتمتة عبر وظائف AWS lambda ، متصلة بوظيفة من خطوات متعددة داخل خدمة AWS Step Functions.

عادةً ما تحتاج إلى اكتشاف أولي بعد جمع الصور ومعالجتها مسبقًا على دلو S3. هذا هو المكان الذي ستنشئ فيه اكتشاف الشذوذ الذري على صور الإدخال وحفظ النتائج في بحيرة بيانات ، على سبيل المثال ، ممثلة بقاعدة بيانات أثينا.

في بعض الحالات ، لا يكون هذا الاكتشاف الأولي كافيًا لحالة الاستخدام الملموسة الخاصة بك. قد تحتاج إلى اكتشاف آخر أكثر تفصيلاً. على سبيل المثال ، يمكن للنموذج الأولي (على سبيل المثال ، التعرف) اكتشاف بعض المشكلات على الجهاز ، ولكن لا يمكن تحديد نوع المشكلة بشكل موثوق.

لذلك ، قد تحتاج إلى طراز آخر بقدرات مختلفة. في مثل هذه الحالة ، يمكنك تشغيل النموذج الآخر (على سبيل المثال ، Lookout for Vision) على مجموعة فرعية من الصور حيث حدد النموذج الأولي المشكلة.

هذه أيضًا طريقة جيدة لتوفير بعض التكاليف ، حيث لا تحتاج إلى تشغيل النموذج الثاني على مجموعة كاملة من الصور. بدلاً من ذلك ، يمكنك تشغيله فقط على مجموعة فرعية ذات مغزى.

ستغطي وظائف AWS Lambda كل هذه المعالجة باستخدام كود Python أو Javascript بالداخل. يتعلق الأمر فقط بطبيعة العمليات وعدد وظائف AWS lambda التي ستحتاج إلى تضمينها داخل التدفق. سيحدد الحد الأقصى البالغ 15 دقيقة للمدة القصوى لاستدعاء AWS lambda عدد الخطوات التي يجب أن تحتويها هذه العملية.

الكلمات الأخيرة

يعد العمل مع نماذج التعلم الآلي السحابية مهمة ممتعة للغاية. إذا نظرت إليها من منظور المهارات والتقنيات ، فستكتشف أنك بحاجة إلى فريق يتمتع بمجموعة كبيرة ومتنوعة من المهارات.

يحتاج الفريق إلى فهم كيفية تدريب النموذج ، سواء كان مبنيًا مسبقًا أو تم إنشاؤه من البداية. هذا يعني أن الكثير من الرياضيات أو الجبر متورط في موازنة موثوقية وأداء النتائج.

تحتاج أيضًا إلى بعض مهارات ترميز Python أو Javascript المتقدمة وقاعدة البيانات ومهارات SQL. وبعد الانتهاء من جميع أعمال المحتوى ، فأنت بحاجة إلى مهارات DevOps لتوصيله بخط أنابيب يجعله مهمة آلية جاهزة للنشر والتنفيذ.

تحديد الشذوذ وتدريب النموذج شيء واحد. لكن من الصعب دمج كل ذلك في فريق وظيفي واحد يمكنه معالجة نتائج النماذج وحفظ البيانات بطريقة فعالة وآلية لتقديمها للمستخدمين النهائيين.

بعد ذلك ، تحقق من كل شيء عن التعرف على الوجه للشركات.