منذ الإصدار المذهل الذي أطلقته شركة OpenAI لبرنامج ChatGPT 3 في أواخر عام 2022، استحوذت نماذج اللغة الكبيرة (LLMs) على خيال العالم من خلال إظهار قدرات رائعة، من كتابة المقالات إلى الإجابة على الأسئلة المعقدة.
ومع ذلك، لست بحاجة إلى الاعتماد على شركات مثل OpenAI أو Google أو Anthropic ومشاركة بيانات شخصية محتملة للاستفادة من قوة برامج الماجستير في القانون. فباستخدام Raspberry Pi بأسعار معقولة، يمكنك إعداد مساعدك المحلي القائم على الدردشة بالذكاء الاصطناعي. يوضح لك هذا الدليل كيفية القيام بذلك.
ماذا ستحتاج
لإعداد برنامج LLM الخاص بك على Raspberry Pi، هناك بعض المكونات الأساسية التي ستحتاج إليها:
- فطيرة التوت:نظرًا لأن أجهزة LLM تستهلك الكثير من الموارد، فمن الأفضل استخدام Raspberry Pi الأقوى المتاح للحصول على الأداء الأمثل. في وقت كتابة هذا المقال، يعد Raspberry Pi 5 المزود بذاكرة وصول عشوائي (RAM) سعة 8 جيجابايت هو الخيار الموصى به.
- بطاقة microSD مع نظام التشغيل Raspberry Pi:للحصول على أقصى أداء، فكر في استخدام الإصدار الخفيف من نظام التشغيل Raspberry Pi، حيث لا يلزم وجود واجهة مستخدم رسومية لتشغيل LLM (يمكنك التفاعل معه عن بُعد باستخدام محطة طرفية وSSH). ومع ذلك، إذا كنت تستخدم Raspberry Pi لمهام أخرى أو كجهاز كمبيوتر أساسي، فيمكنك استخدام الإصدار العادي من نظام التشغيل Raspberry Pi. يمكن أن يساعدك دليلنا حول كيفية إعداد نظام التشغيل Raspberry Pi على Raspberry Pi في البدء.
- مكونات إضافية:بصرف النظر عن Raspberry Pi وبطاقة microSD سريعة، ستحتاج إلى مصدر طاقة موثوق به (يوصى بالمصدر الرسمي)، ولوحة مفاتيح، وماوس، وشاشة للإعداد الأولي (اختياري إذا كنت تستخدم SSH)، واتصال بالإنترنت لتنزيل البرامج والنماذج الضرورية.
مع وجود هذه المكونات في متناول اليد، تكون جاهزًا لبدء إعداد برنامج LLM الخاص بك على Raspberry Pi الخاص بك.
تثبيت أولاما
الخطوة الأولى في إعداد برنامج LLM الخاص بك على Raspberry Pi هي تثبيت البرنامج اللازم. حاليًا، الخياران الأكثر شيوعًا لتشغيل برامج LLM محليًا هما llama.cpp وOllama.
- لاما.cpp هو تطبيق خفيف الوزن بلغة C++ لبرنامج LLaMA (محول نموذج اللغة الكبير) من Meta والذي يمكن تشغيله على مجموعة واسعة من الأجهزة، بما في ذلك Raspberry Pi. تم تطويره بواسطة Georgi Gerganov وتم إصداره في مارس 2023.
- يكونمن ناحية أخرى، تم تصميم Ollama حول llama.cpp، مما يوفر العديد من الميزات سهلة الاستخدام. فهو يتعامل تلقائيًا مع طلبات الدردشة النموذجية بالتنسيق الذي يتوقعه كل نموذج، ويقوم بتحميل وتفريغ النماذج عند الطلب بناءً على طلب العميل. كما يدير Ollama تنزيل النماذج وتخزينها مؤقتًا، بما في ذلك النماذج الكمية، حتى تتمكن من طلبها بالاسم.
بالنسبة لهذا الدليل، سنستخدم Ollama نظرًا لسهولة استخدامه وميزاته الإضافية.
لتثبيت Ollama على Raspberry Pi، افتح نافذة طرفية على Raspberry Pi. إذا كنت تستخدم SSH، فاتصل بجهاز Raspberry Pi باستخدام عميل SSH المفضل لديك. ثم أدخل الأمر التالي في المحطة الطرفية:
curl -fsSL https://ollama.com/install.sh | sh
يقوم هذا الأمر بتنزيل البرنامج النصي للتثبيت وتنفيذه من موقع Ollama الرسمي. سيقوم البرنامج النصي تلقائيًا بتثبيت التبعيات المطلوبة وإعداد Ollama على Raspberry Pi الخاص بك.
تنزيل وتشغيل برنامج LLM
بعد تثبيت Ollama، حان الوقت لتنزيل نموذج لغوي كبير. إذا كنت تستخدم Raspberry Pi مزودًا بذاكرة وصول عشوائي (RAM) سعة 8 جيجابايت، فيمكنك تشغيل نماذج تحتوي على ما يصل إلى 7 مليارات معلمة (الإعدادات التي يستخدمها الذكاء الاصطناعي لتحديد مخرجاته).
تتضمن بعض الخيارات الشائعة Mistral (7B)، وGemma (7B أو 2B)، وLlama 2 غير الخاضع للرقابة (7B)، أو Microsoft's Phi-3 (3.8B). يمكنك عرض جميع الطرز المدعومة على صفحة مكتبة أولاما.
بالنسبة لهذا الدليل، سنستخدم نموذج Phi-3 من مايكروسوفتعلى الرغم من صغر حجمه وكفاءته، فإن Phi-3 هو نموذج ذو قدرات عالية للغاية. لتثبيته، قم ببساطة بتشغيل الأمر التالي في المحطة الطرفية:
سيقوم هذا الأمر بتنزيل نموذج Phi-3 وتثبيته، كما سيبدأ تلقائيًا جلسة دردشة تفاعلية مع النموذج.
استخدام LLM محليًا على Raspberry Pi الخاص بك
بعد تنزيل نموذج Phi-3 وتثبيته، ستظهر لك رسالة في المحطة الطرفية تشبه هذا:
>>> Send a message (/? for help)
هذا يعني أن LLM قيد التشغيل وينتظر إدخالك. لبدء التفاعل مع النموذج، اكتب رسالتك واضغط على Enter.
فيما يلي بعض النصائح لصياغة مطالبات فعالة:
- كن دقيقا:قم بتوفير تعليمات أو أسئلة واضحة ومفصلة لمساعدة المتدرب على فهم ما تبحث عنه.
- حدد السياق:أعطي ماجستير القانون بعض المعلومات الأساسية أو سيناريو لمساعدته على توليد استجابات أكثر صلة.
- تحديد الأدوار:حدد الدور الذي ينبغي أن يلعبه طالب الماجستير في القانون في استجابته، مثل راوي القصص، أو المعلم، أو الخبير التقني.
لإنهاء جلسة LLM، اضغط على كنترول + د أو أدخل /bye الأمر. إذا كنت ترغب في بدء جلسة أخرى لاحقًا، فما عليك سوى فتح محطة طرفية جديدة وتشغيل الأمر ollama run phi3 نظرًا لأن النموذج تم تنزيله بالفعل، فسيتم تشغيله بسرعة دون الحاجة إلى تنزيله مرة أخرى.
ضع في اعتبارك أن أداء Raspberry Pi 5 له حدوده، ولا يمكنه إخراج سوى عدد قليل من الرموز في الثانية. للحصول على أداء أفضل، فكر في تشغيل Ollama على جهاز كمبيوتر أكثر قوة مزود ببطاقة رسوميات مخصصة.