اختبر جودة استعلامك على قواعد بيانات كبيرة

[ahmad sadiq]

السلام عليكم

كثيرًا ما تحتار كيف سيتصرف الاستعلام الذي تكتبه في حالة تضخم قواعد البيانات
بشكل كبير، يعني عندما يصبح حجم القاعدة 1-2 جيجا مثلا ً
وايضًا ماذا سيحدث عندما يشبك على موقعك مئات الاف الزوار بشكل متزامن

لحل المشكلة الاولى يمكن ان تنزل من الانترنت قواعد بيانات ضخمة - database dumps ، تقوم بعض الشركات بمشاركتها مع المبرمجين من وقت لآخر.

وهنا اخص بالذكر موقعي stack overflow و imdb (تبع معلومات الافلام)
واللتين تطرحان قواعد بياناتهما للتنزيل .

قواعد بيانات stack overflow
http://blog.stackoverflow.com/2009/0...ons-data-dump/

قواعد بيانات imdb
http://www.imdb.com/interfaces
دليل دموز
http://rdf.dmoz.org/

المزيد:
http://stackoverflow.com/questions/1...for-the-public

اذا كنت متطرفًا لحد كبير وتريد قواعد بيانات بحجم 200 جيجا
يمكن ان تنزل قواعد ال rainbow tables
والتي تستعمل لكسر الغوريتمات الهاش مثل ال md5
عن طريق تخزين كل الامكانيات في قواعد بيانات ضخمة تحوي على الكلمة وتشفيرها

http://www.freerainbowtables.com/en/tables/

[أشرف السمهوري]

موضوع ممتع، أتحفنا بالمزيد من هذه الخبرات

[عبدالله أبولبن]

احب اشكرك اخوي احمد صادق على هذه المجموعة الكبييير والمفيدة صراحة في البرمجة

وان شاء الله سيتم اختبار الاستعلامات عليها ورؤية الأفضل ...

لكن ما اريده هو التالي :

http://www.freerainbowtables.com/en/tables

^^^ محظور بالامارات الموقع لذلك ارجو تحميله ورفعه على موقع اخر

تحياتي لك

[أشرف السمهوري]

احب اشكرك اخوي احمد صادق على هذه المجموعة الكبييير والمفيدة صراحة في البرمجة

وان شاء الله سيتم اختبار الاستعلامات عليها ورؤية الأفضل ...

لكن ما اريده هو التالي :

http://www.freerainbowtables.com/en/tables

^^^ محظور بالامارات الموقع لذلك ارجو تحميله ورفعه على موقع اخر

تحياتي لك

تفضل صفحة mht من الموقع في المرفقات

[massalha]

احمد - الشركة التي ذكرت اسمها انها تبحث عن مبرمجين هي شركة اعلانات
كنا نتعامل بها بقواعد بيانات كبيرة الحجم
هناك - آخر مهمة كانت لي - هي تقليل وقت الاستعلامات
وتستغرب بهذا المجال ان البرمجة بالطرق البدائية تأتي بنتائج أحسن ...

مثلاً ... من أسرع ؟ استعمال JOIN ام برمجة استعلامين و IN ؟
اتضح لي أن JOIN بطيئة جداً ... وحتى لو كان الاستعلامين طريقة بدائية فقد أتت دائماً بنتائج أفضل...

وايضاً - كم من الوقت يأخذ لك للاستعلام بواسطة الاندكس أو بدونه ؟ تستغرب ان بعض التغييرات في بعض جداولك تأتي بالثمار فقط في القواعد الكبيرة.

[ahmad sadiq]

احمد - الشركة التي ذكرت اسمها انها تبحث عن مبرمجين هي شركة اعلانات
كنا نتعامل بها بقواعد بيانات كبيرة الحجم
هناك - آخر مهمة كانت لي - هي تقليل وقت الاستعلامات
وتستغرب بهذا المجال ان البرمجة بالطرق البدائية تأتي بنتائج أحسن ...

مثلاً ... من أسرع ؟ استعمال JOIN ام برمجة استعلامين و IN ؟
اتضح لي أن JOIN بطيئة جداً ... وحتى لو كان الاستعلامين طريقة بدائية فقد أتت دائماً بنتائج أفضل...

وايضاً - كم من الوقت يأخذ لك للاستعلام بواسطة الاندكس أو بدونه ؟ تستغرب ان بعض التغييرات في بعض جداولك تأتي بالثمار فقط في القواعد الكبيرة.

رأيت هذه الامور في mysql university
وهي مجموعة من دروس الفيديو تقدمها mysql للبرمجين لتحسين جودة برمجياتهم

وضع الاندكس هو عبارة عن تغيير شكل هيكل المعلومات(data structure) لقواعد البيانات
إلى BTree على ما اذكر، وبالتالي يتم الاستعلام بصورة اسرع كما تعلم- لأن هذا المبنى سريع في البحث لأنه مرتب حسب index

القاعدة البرمجية التي تعملتها :
normalize first
يعني تقسّم القاعدة بشكل جيد في البداية
وان تعسّرت الامور لا مفر من العودة للوضع الطبيعي(denormalize)

هذه هي فيديوهات جامعة مايسكول
http://forge.mysql.com/wiki/MySQL_University
وهذا الدرس الذي يشرح جزئيتك بالتحديد:
http://forge.mysql.com/wiki/Optimizi...s_with_Explain

[ahmadmarafa]

ماذا عن النقطة الثانية ؟

مشكور جداً جداً على هذه المعلومات , بحق , كنت أريد أن أعرف هذه المعلومات وستسهل لى كثيراً برمجتى القادمة
شكراً جزيلاً

[ahmad sadiq]

ماذا عن النقطة الثانية ؟

مشكور جداً جداً على هذه المعلومات , بحق , كنت أريد أن أعرف هذه المعلومات وستسهل لى كثيراً برمجتى القادمة
شكراً جزيلاً

بالنسبة للنقطة الثانية توجد برامج لمحاكاة اللود على السيرفر
اي انها تعمل لود وهمي

وجدت برنامج اسمه load runner لشركة hp
لكن اكتشفت عندها ان هذا البرنامج اكبر من احتياجات المبرمج العادي

http://www.youtube.com/watch?v=1gVyk9-HSq0

[ahmadmarafa]

بالنسبة للنقطة الثانية توجد برامج لمحاكاة اللود على السيرفر
اي انها تعمل لود وهمي

وجدت برنامج اسمه load runner لشركة hp
لكن اكتشفت عندها ان هذا البرنامج اكبر من احتياجات المبرمج العادي

http://www.youtube.com/watch?v=1gVyk9-HSq0

شكراً على الرد والإهتمام أخى الكريم

[ahmad sadiq]

فقط للاضافة ، اذا كنت تريد فك تشفير كلمة سر مشفرة بال md5 او sha1

يمكن ان تستعمل هذا الموقع
http://md5.rednoize.com/

وقد نجحت بفك بعض الكلمات عن طريقه
لكن علينا ان نتذكر ان مثل هذه المواقع
تعتمد على قواعد بيانات
اي انها لم تتوصل لحل الالغوريتم
لذلك ما زالت محدودة بالامكانيات الموجودة في قاعدة البيانات فقط
(وهي امكانيات كبيرة جدًا)

[DNSerror]

شكرا على هذه المداخلات القيمة والمعلومات المفيدة جدا، شكرا أخي أحمد على المصادر الجميلة والرائعة بالذات ما يخص منها جامعة المايسيكول

[ahmad sadiq]

ماذا عن النقطة الثانية ؟

مشكور جداً جداً على هذه المعلومات , بحق , كنت أريد أن أعرف هذه المعلومات وستسهل لى كثيراً برمجتى القادمة
شكراً جزيلاً

اليوم وجدت العديد من اﻷدوات التي يمكن ان تقوم بذلك
http://www.opensourcetesting.org/performance.php


====

انا سعيد ان مشاركاتي افادت شخص مثلك اخي خالد