كيفية تدريب روبوت محادثة AI باستخدام قاعدة معارف مخصصة باستخدام ChatGPT API

في مقالنا السابق ، أوضحنا كيفية إنشاء روبوت محادثة AI باستخدام واجهة برمجة تطبيقات ChatGPT وتعيين دور لتخصيصه. ولكن ماذا لو كنت تريد تدريب الذكاء الاصطناعي على بياناتك الخاصة؟ على سبيل المثال ، قد يكون لديك كتاب أو بيانات مالية أو مجموعة كبيرة من قواعد البيانات ، وترغب في البحث عنها بسهولة. في هذه المقالة ، نقدم لك برنامجًا تعليميًا سهل المتابعة حول كيفية تدريب روبوت محادثة AI باستخدام قاعدة معارفك المخصصة باستخدام LangChain و ChatGPT API. نحن ننشر LangChain و GPT Index والمكتبات القوية الأخرى لتدريب روبوت الدردشة AI باستخدام نموذج اللغة الكبيرة (LLM) من OpenAI. في هذه الملاحظة ، دعنا نتحقق من كيفية تدريب وإنشاء روبوت محادثة AI باستخدام مجموعة البيانات الخاصة بك.

تدريب روبوت محادثة AI باستخدام قاعدة معارف مخصصة باستخدام ChatGPT API و LangChain و GPT Index (2023)

في هذه المقالة ، أوضحنا خطوات تعليم روبوت الدردشة AI ببياناتك الخاصة بمزيد من التفصيل. من إعداد الأدوات والبرامج إلى تدريب نموذج الذكاء الاصطناعي ، قمنا بتضمين جميع التعليمات بلغة سهلة الفهم. يوصى بشدة باتباع التعليمات من أعلى إلى أسفل دون تخطي أي جزء.

نقاط بارزة قبل تدريب الذكاء الاصطناعي ببياناتك الخاصة

1. يمكنك تدريب روبوت الدردشة المدعوم بالذكاء الاصطناعي على أي منصة ، سواء كانت Windows أو macOS أو Linux أو ChromeOS. في هذه المقالة ، أستخدم Windows 11 ، لكن الخطوات متطابقة تقريبًا مع الأنظمة الأساسية الأخرى.

2. الدليل مخصص للمستخدمين العاديين ، ويتم شرح التعليمات بلغة بسيطة. لذا ، حتى إذا كانت لديك معرفة سريعة بأجهزة الكمبيوتر ولا تعرف كيفية البرمجة ، يمكنك بسهولة تدريب وإنشاء روبوت محادثة Q&A AI في بضع دقائق. إذا اتبعت مقالة روبوت ChatGPT السابقة ، فسيكون من الأسهل فهم العملية.

3. نظرًا لأننا سنقوم بتدريب روبوت محادثة AI استنادًا إلى بياناتنا الخاصة ، فمن المستحسن استخدام جهاز كمبيوتر قادر مع وحدة معالجة مركزية ووحدة معالجة رسومات جيدة. ومع ذلك ، يمكنك استخدام أي جهاز كمبيوتر منخفض الجودة لأغراض الاختبار ، وسيعمل دون أي مشاكل. لقد استخدمت جهاز Chromebook لتدريب نموذج الذكاء الاصطناعي باستخدام كتاب مكون من 100 صفحة (حوالي 100 ميجابايت). ومع ذلك ، إذا كنت ترغب في تدريب مجموعة كبيرة من البيانات التي تصل إلى آلاف الصفحات ، فمن المستحسن استخدام جهاز كمبيوتر قوي.

4. أخيرًا ، يجب أن تكون مجموعة البيانات باللغة الإنجليزية للحصول على أفضل النتائج ، ولكن وفقًا لـ OpenAI ، ستعمل أيضًا مع اللغات العالمية الشهيرة مثل الفرنسية والإسبانية والألمانية وما إلى ذلك ، لذا تفضل وجربها بنفسك لغة.

قم بإعداد بيئة البرنامج لتدريب روبوت محادثة يعمل بالذكاء الاصطناعي

مثل مقالتنا السابقة ، يجب أن تعلم أنه يجب تثبيت Python و Pip مع العديد من المكتبات. في هذه المقالة ، سنقوم بإعداد كل شيء من البداية حتى يتمكن المستخدمون الجدد من فهم عملية الإعداد. لإعطائك فكرة موجزة ، سنقوم بتثبيت Python و Pip. بعد ذلك ، سنقوم بتثبيت مكتبات Python ، والتي تشمل OpenAI و GPT Index و Gradio و PyPDF2. خلال العملية ، ستتعلم ما تفعله كل مكتبة. مرة أخرى ، لا تقلق بشأن عملية التثبيت ، فهي بسيطة جدًا. في هذه المذكرة ، دعنا نقفز مباشرة.

ثبت بايثون

1. أولاً ، تحتاج إلى تثبيت Python (Pip) على جهاز الكمبيوتر الخاص بك. يفتح هذا الرابط وقم بتنزيل ملف الإعداد لمنصتك.

2. بعد ذلك ، قم بتشغيل ملف الإعداد وتأكد من تمكين مربع الاختيار “Add Python.exe to PATH.” هذه خطوة مهمة للغاية. بعد ذلك ، انقر فوق “التثبيت الآن” واتبع الخطوات المعتادة لتثبيت Python.

3. للتحقق مما إذا تم تثبيت Python بشكل صحيح ، افتح Terminal على جهاز الكمبيوتر الخاص بك. أنا أستخدم Windows Terminal على Windows ، ولكن يمكنك أيضًا استخدام Command Prompt. مرة واحدة هنا ، قم بتشغيل الأمر أدناه ، وسيخرج إصدار Python. في Linux و macOS ، قد تضطر إلى استخدام python3 –version بدلاً من python –version.

python --version

ترقية النقطة

عند تثبيت Python ، يتم تثبيت Pip في نفس الوقت على نظامك. لذلك دعونا نترقيته إلى أحدث إصدار. بالنسبة لأولئك غير المدركين ، فإن Pip هو مدير الحزم في Python. في الأساس ، يتيح لك تثبيت الآلاف من مكتبات Python من Terminal. باستخدام Pip ، يمكننا تثبيت مكتبات OpenAI و gpt_index و gradio و PyPDF2. فيما يلي الخطوات التي يجب اتباعها.

1. افتح Terminal من اختيارك على جهاز الكمبيوتر الخاص بك. أنا أستخدم Windows Terminal ، ولكن يمكنك أيضًا استخدام موجه الأوامر. الآن ، قم بتشغيل الأمر أدناه لتحديث Pip. مرة أخرى ، قد تضطر إلى استخدام python3 و pip3 على نظامي Linux و macOS.

python -m pip install -U pip

2. للتحقق مما إذا تم تثبيت Pip بشكل صحيح ، قم بتشغيل الأمر أدناه. سيخرج رقم الإصدار. إذا واجهت أي أخطاء ، فاتبع دليلنا المخصص حول كيفية تثبيت Pip على Windows لإصلاح المشكلات المتعلقة بـ PATH.

pip --version

قم بتثبيت مكتبات OpenAI و GPT Index و PyPDF2 و Gradio

بمجرد إعداد Python و Pip ، حان الوقت لتثبيت المكتبات الأساسية التي ستساعدنا في تدريب روبوت محادثة AI باستخدام قاعدة معرفية مخصصة. فيما يلي الخطوات التي يجب اتباعها.

1. افتح Terminal وقم بتشغيل الأمر أدناه لتثبيت مكتبة OpenAI. سنستخدمه كنموذج LLM (نموذج لغة كبير) لتدريب وإنشاء روبوت محادثة AI. وسنقوم أيضًا باستيراد إطار عمل LangChain من OpenAI. لاحظ أنه قد يتعين على مستخدمي Linux و macOS استخدام pip3 بدلاً من pip.

pip install openai

2. بعد ذلك ، دعنا نثبت فهرس GPT ، والذي يسمى أيضًا LlamaIndex. يسمح لـ LLM بالاتصال بالبيانات الخارجية التي تمثل قاعدة معارفنا.

pip install gpt_index

3. بعد ذلك ، قم بتثبيت PyPDF2 لتحليل ملفات PDF. إذا كنت ترغب في تغذية بياناتك بتنسيق PDF ، فستساعد هذه المكتبة البرنامج في قراءة البيانات دون عناء.

pip install PyPDF2

4. أخيرًا ، قم بتثبيت مكتبة Gradio. هذا مخصص لإنشاء واجهة مستخدم بسيطة للتفاعل مع روبوت محادثة AI المدربين. لقد انتهينا الآن من تثبيت جميع المكتبات المطلوبة لتدريب روبوت محادثة AI.

pip install gradio

قم بتنزيل محرر التعليمات البرمجية

أخيرًا ، نحتاج إلى محرر كود لتعديل بعض التعليمات البرمجية. في نظام Windows ، أوصي باستخدام Notepad ++ (تحميل). ما عليك سوى تنزيل البرنامج وتثبيته عبر الرابط المرفق. يمكنك أيضًا استخدام VS Code على أي نظام أساسي إذا كنت مرتاحًا مع IDEs القوية. بخلاف VS Code ، يمكنك تثبيت Sublime Text (تحميل) على نظامي macOS و Linux.

بالنسبة لنظام التشغيل ChromeOS ، يمكنك استخدام تطبيق Caret الممتاز (تحميل) لتعديل الكود. لقد أوشكنا على الانتهاء من إعداد بيئة البرنامج ، وحان الوقت للحصول على مفتاح OpenAI API.

احصل على مفتاح OpenAI API مجانًا

الآن ، لتدريب وإنشاء روبوت محادثة AI استنادًا إلى قاعدة معرفية مخصصة ، نحتاج إلى الحصول على مفتاح API من OpenAI. سيسمح لك مفتاح API باستخدام نموذج OpenAI باعتباره LLM لدراسة بياناتك المخصصة واستخلاص الاستنتاجات. حاليًا ، تقدم OpenAI مفاتيح واجهة برمجة تطبيقات مجانية برصيد مجاني بقيمة 5 دولارات أمريكية للأشهر الثلاثة الأولى للمستخدمين الجدد. إذا قمت بإنشاء حساب OpenAI الخاص بك في وقت سابق ، فقد يكون لديك رصيد مجاني بقيمة 18 دولارًا في حسابك. بعد نفاد الرصيد المجاني ، سيتعين عليك الدفع مقابل الوصول إلى واجهة برمجة التطبيقات. ولكن في الوقت الحالي ، فهو متاح لجميع المستخدمين مجانًا.

1. توجه إلى platform.openai.com/signup وإنشاء حساب مجاني. إذا كان لديك بالفعل حساب OpenAI ، فما عليك سوى تسجيل الدخول.

2. بعد ذلك ، انقر فوق ملف التعريف الخاص بك في الزاوية العلوية اليمنى وحدد “عرض مفاتيح API” من القائمة المنسدلة.

3. هنا ، انقر فوق “إنشاء مفتاح سري جديد” وانسخ مفتاح API. لاحظ أنه لا يمكنك نسخ أو عرض مفتاح API بالكامل لاحقًا. لذلك يوصى بشدة بنسخ ولصق مفتاح API في ملف المفكرة على الفور.

4. أيضًا ، لا تشارك أو تعرض مفتاح API علنًا. إنه مفتاح خاص مخصص فقط للوصول إلى حسابك. يمكنك أيضًا حذف مفاتيح API وإنشاء عدة مفاتيح خاصة (حتى خمسة مفاتيح).

تدريب وإنشاء روبوت محادثة AI باستخدام قاعدة معارف مخصصة

الآن بعد أن أعددنا بيئة البرنامج وحصلنا على مفتاح API من OpenAI ، دعنا ندرب روبوت الدردشة AI. هنا ، سوف نستخدم نموذج “text-davinci-003” بدلاً من أحدث طراز “gpt-3.5-turbo” لأن Davinci يعمل بشكل أفضل لإكمال النص. إذا كنت تريد ، يمكنك تغيير النموذج جيدًا إلى Turbo لتقليل التكلفة. مع هذا بعيدًا ، دعنا ننتقل إلى التعليمات.

أضف المستندات الخاصة بك لتدريب روبوت الدردشة المدعوم بالذكاء الاصطناعي

1. أولاً ، قم بإنشاء مجلد جديد يسمى docs في مكان يسهل الوصول إليه مثل سطح المكتب. يمكنك اختيار موقع آخر وفقًا لتفضيلاتك. ومع ذلك ، احتفظ باسم مجلد المستندات.

2. بعد ذلك ، انقل المستندات التي ترغب في استخدامها لتدريب الذكاء الاصطناعي داخل مجلد “المستندات”. يمكنك إضافة ملفات نصية أو ملفات PDF متعددة (حتى الملفات الممسوحة ضوئيًا). إذا كان لديك جدول كبير في Excel ، فيمكنك استيراده كملف CSV أو PDF ثم إضافته إلى مجلد “المستندات”. يمكنك حتى إضافة ملفات قاعدة بيانات SQL ، كما هو موضح في هذا سقسقة Langchain AI. لم أجرب العديد من تنسيقات الملفات إلى جانب التنسيقات المذكورة ، ولكن يمكنك الإضافة والتحقق بنفسك. بالنسبة لهذه المقالة ، أقوم بإضافة إحدى مقالاتي على NFT بتنسيق PDF.

ملاحظة: إذا كان لديك مستند كبير ، فستستغرق معالجة البيانات وقتًا أطول ، اعتمادًا على وحدة المعالجة المركزية ووحدة معالجة الرسومات. بالإضافة إلى ذلك ، ستستخدم رموز OpenAI المجانية الخاصة بك بسرعة. لذا في البداية ، ابدأ بمستند صغير (30-50 صفحة أو أقل من 100 ميجابايت من الملفات) لفهم العملية.

اجعل الكود جاهزًا

1. الآن ، قم بتشغيل Notepad ++ (أو من اختيارك لمحرر الكود) والصق الكود أدناه في ملف جديد. مرة أخرى ، لقد تلقيت مساعدة كبيرة من armrrs على Google Colab وقم بتعديل الكود لجعله متوافقًا مع ملفات PDF وإنشاء واجهة Gradio في الأعلى.

from gpt_index import SimpleDirectoryReader, GPTListIndex, GPTSimpleVectorIndex, LLMPredictor, PromptHelper
from langchain import OpenAI
import gradio as gr
import sys
import os

os.environ["OPENAI_API_KEY"] = 'Your API Key'

def construct_index(directory_path):
    max_input_size = 4096
    num_outputs = 512
    max_chunk_overlap = 20
    chunk_size_limit = 600

    prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)

    llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.7, model_name="text-davinci-003", max_tokens=num_outputs))

    documents = SimpleDirectoryReader(directory_path).load_data()

    index = GPTSimpleVectorIndex(documents, llm_predictor=llm_predictor, prompt_helper=prompt_helper)

    index.save_to_disk('index.json')

    return index

def chatbot(input_text):
    index = GPTSimpleVectorIndex.load_from_disk('index.json')
    response = index.query(input_text, response_mode="compact")
    return response.response

iface = gr.Interface(fn=chatbot,
                     inputs=gr.inputs.Textbox(lines=7, label="Enter your text"),
                     outputs="text",
                     title="Custom-trained AI Chatbot")

index = construct_index("docs")
iface.launch(share=True)

2. هذا هو شكل الكود في محرر الكود.

3. بعد ذلك ، انقر فوق “ملف” في القائمة العلوية وحدد “حفظ باسم …” من القائمة المنسدلة.

4. بعد ذلك ، قم بتعيين اسم الملف app.py وقم بتغيير “حفظ كنوع” إلى “جميع الأنواع” من القائمة المنسدلة. بعد ذلك ، احفظ الملف في المكان الذي أنشأت فيه مجلد “المستندات” (في حالتي ، إنه سطح المكتب). يمكنك تغيير الاسم حسب رغبتك ، ولكن تأكد من إلحاق .py.

5. تأكد من وجود مجلد “docs” و “app.py” في نفس المكان ، كما هو موضح في لقطة الشاشة أدناه. سيكون ملف “app.py” خارج مجلد “docs” وليس بداخله.

6. عد إلى الكود مرة أخرى في Notepad ++. هنا ، استبدل مفتاح API الخاص بك بالمفتاح الذي تم إنشاؤه على موقع OpenAI أعلاه.

7. أخيرًا ، اضغط على “Ctrl + S” لحفظ الكود. أنت الآن جاهز لتشغيل الكود.

قم بإنشاء ChatGPT AI Bot بقاعدة معرفة مخصصة

1. أولاً ، افتح Terminal وقم بتشغيل الأمر أدناه للانتقال إلى سطح المكتب. إنه المكان الذي قمت فيه بحفظ مجلد “docs” وملف “app.py”. إذا قمت بحفظ كلا العنصرين في موقع آخر ، فانتقل إلى هذا الموقع عبر Terminal.

cd Desktop

2. الآن ، قم بتشغيل الأمر أدناه. قد يضطر مستخدمو Linux و macOS إلى استخدام python3.

python app.py

3. الآن ، سيبدأ تحليل المستند باستخدام نموذج OpenAI LLM ويبدأ في فهرسة المعلومات. اعتمادًا على حجم الملف وقدرة جهاز الكمبيوتر الخاص بك ، سوف تستغرق معالجة المستند بعض الوقت. بمجرد الانتهاء من ذلك ، سيتم إنشاء ملف “index.json” على سطح المكتب. إذا لم تعرض الوحدة الطرفية أي إخراج ، فلا داعي للقلق ، فقد لا تزال تعالج البيانات. لمعلوماتك ، تستغرق معالجة مستند 30 ميغا بايت حوالي 10 ثوانٍ.

4. بمجرد أن تقوم LLM بمعالجة البيانات ، سوف تتلقى بعض التحذيرات التي يمكن تجاهلها بأمان. أخيرًا ، في الجزء السفلي ، ستجد عنوان URL محليًا. انسخه.

5. الآن ، الصق عنوان URL المنسوخ في مستعرض الويب ، وها هو متوفر لديك. روبوت الدردشة AI المدرب بشكل مخصص والمدعوم من ChatGPT جاهز. للبدء ، يمكنك أن تسأل روبوت الدردشة AI عن موضوع المستند.

6. يمكنك طرح المزيد من الأسئلة ، وسيقوم برنامج ChatGPT بالإجابة من البيانات التي قدمتها إلى الذكاء الاصطناعي. إذن هذه هي الطريقة التي يمكنك بها إنشاء روبوت محادثة AI مدرب خصيصًا باستخدام مجموعة البيانات الخاصة بك. يمكنك الآن تدريب وإنشاء روبوت محادثة AI بناءً على أي نوع من المعلومات التي تريدها. الاحتمالات لا حصر لها.

7. يمكنك أيضًا نسخ عنوان URL العام ومشاركته مع أصدقائك وعائلتك. سيكون الرابط نشطًا لمدة 72 ساعة ، ولكنك تحتاج أيضًا إلى إبقاء جهاز الكمبيوتر الخاص بك قيد التشغيل نظرًا لأن مثيل الخادم يعمل على جهاز الكمبيوتر الخاص بك.

• 
• 

8. لإيقاف روبوت محادثة AI المدرب بشكل مخصص ، اضغط على “Ctrl + C” في نافذة Terminal. إذا لم يعمل ، اضغط على “Ctrl + C” مرة أخرى.

9. لإعادة تشغيل خادم روبوت الدردشة AI ، ما عليك سوى الانتقال إلى موقع سطح المكتب مرة أخرى وتشغيل الأمر أدناه. ضع في اعتبارك أن عنوان URL المحلي سيكون هو نفسه ، لكن عنوان URL العام سيتغير بعد كل إعادة تشغيل للخادم.

python app.py

10. إذا كنت ترغب في تدريب روبوت الدردشة AI ببيانات جديدة ، فاحذف الملفات الموجودة داخل مجلد “docs” وأضف ملفات جديدة. يمكنك أيضًا إضافة ملفات متعددة ، ولكن قم بتغذية المعلومات حول نفس الموضوع وإلا فقد تحصل على استجابة غير متماسكة.

11. الآن ، قم بتشغيل الكود مرة أخرى في Terminal ، وسيقوم بإنشاء ملف “index.json” جديد. هنا ، سيتم استبدال ملف “index.json” القديم تلقائيًا.

python app.py

12. لتتبع الرموز المميزة الخاصة بك ، توجه إلى OpenAI’s على الإنترنت لوحة القيادة وتحقق من مقدار الرصيد المجاني المتبقي.

13. أخيرًا ، لا تحتاج إلى لمس الرمز إلا إذا كنت تريد تغيير مفتاح API أو نموذج OpenAI لمزيد من التخصيص.

قم ببناء روبوت محادثة مخصص بتقنية الذكاء الاصطناعي باستخدام بياناتك الخاصة

هذه هي الطريقة التي يمكنك بها تدريب روبوت محادثة AI باستخدام قاعدة معرفية مخصصة. لقد استخدمت هذا الكود لتدريب الذكاء الاصطناعي على الكتب الطبية ، والمقالات ، وجداول البيانات ، والتقارير من الأرشيفات القديمة ، وقد عمل بشكل لا تشوبه شائبة. لذا انطلق وقم بإنشاء روبوت محادثة AI خاص بك باستخدام نموذج اللغة الكبيرة من OpenAI و ChatGPY. على أي حال ، هذا كل شيء منا. إذا كنت تبحث عن أفضل بدائل ChatGPT ، فانتقل إلى مقالتنا المرتبطة. ولاستخدام ChatGPT على Apple Watch ، اتبع البرنامج التعليمي المتعمق الخاص بنا. أخيرًا ، إذا كنت تواجه أي نوع من المشكلات ، فأخبرنا بذلك في قسم التعليقات أدناه. سنحاول بالتأكيد مساعدتك.