[سكربت] - تحويل ترميز قواعد البيانات الإصدار الثاني

العندليب · 31-05-2007, 11:48 PM

السلام عليكم ورحمة الله وبركاته

قمت في ما مضى ببرمجة سكربت لتحويل ترميز قواعد البيانات MySQL إلى الترميز العربي cp1256 والحمدلله نال السكربت إستحسان من أغلب الأعضاء علماً بأن السكربت كان لا يدعم التحويل الى ترميز اليونيكوود UTF8.
لذلك قمت بتطوير السكربت السابق بمميزات جديدة وفكره جديده تختلف عن الفكره السابقه عملها كالتالي:
1- يتم تحويل ترميز صفوف كل جدول بحيث يتم تحويل ترميز مجموعه من الصفوف عددها 500 صف وبعد الانتهاء منها يبدأ بتحويل ترميز مجموعه أخرى وهكذا حتى يتم الانتهاء من كل الصفوف.
2- يتم تحويل خاصية الترميز لحقول الجدول النصيه.
3- يتم تطبيق الخطوات السابقه على الجداول الأخرى بطريقه تتابعيه ويتم الانتهاء بتحويل ترميز قاعدة البيانات.

قمت بإضافة شاشه للدخول عليها عند البدء بالسكربت وتعبئة البيانات اللازمه بدلاً من التعديل على الملف.

السكربت يدعم تحويل أي قاعدة بيانات الى التراميز التاليه فقط:
cp1256
utf8

السكربت بالمرفق

بالتوفيق

مدمن نت · 31-05-2007, 11:57 PM

العندليب .. رايتك بيضاء .. وسيتم التجربة

بيض الله وجهك .. يامال العافية .. وياجعل يدينك تنحرم من النار .. قل آمين

بصراحة احترت أدور على كلمة توفي حقك لكن للأسف مالقيت كلمة صادقة أصدق من شكراً لك ياعندل ..

والله يعز مقدارك يالغالي .. ويوفقك ويسهل عليك كيف ماكنت ووين مارحت ..

كلمة لك يالعندليب / أحبك في الله

عبد الله الزايدي · 01-06-2007, 12:02 AM

لا هنت اخوي العندليب

وبارك الله فيك .. وجزاك الله كل الخير

عمل مميز ورائع

تحيتي لك

سبعات · 01-06-2007, 12:24 AM

فعلا يا عندليب حليتلنا مشاكل كثرة

ربنا يوفقك
--------------
افلام تحميل افلام مسلسلات برامج صور فيديو خلفيات افلام عربية افلام اجنبية برامج منتدى تحميل صور مايو 200 مارس 2007 ابريل 2007
ابريل 2007 مارس 2007 فبراير 2007 يناير 2007 ديسمبر 2007 40 30 10 22

مدمن نت · 01-06-2007, 12:47 AM

حقيقة نصيحة لكم من أخوكم ..

أنصحكم جداً جداً بتحويل تراميز قواعد البيانات الخاصة بكم إلى cp1256

ولست أنا من يقول ذلك ..

بل استاذنا وكبيرنا العندليب .. وكذلك جريح الحب يؤيد هذا الترميز وبشدة ..

لماذا نرفض ترميز utf8 ..؟

لعدة أسباب :

1- لا يمكنك أبداً قراءة البيانات عبر القاعدة وذلك لأن رموزها غير مفهومة .
2- هذا الترميز لاترتب الحروف الدقيقة العربية .. كما هو الحال مع المتواجدون الآن حيث لاتفرق هذا الترميز بين ( ا ) و ( أ ) .. هكذا ترتيبها :
احمد ، أمجد ، احمد ، أمجد
3- ثقيلة وتضاعف من حجم القاعدة إلى 3 أضعاف تقريباً ، فمثلا إذا كان لديك قاعدة حجمها 100 ميجا .. فستصبح حجمها بعد تحويل ترميزها إلى utf8 .. تقريباً 300 ميجا ..

أما ترميز cp1256 فلها مميزات عديدة .. أهمها

1- بإمكانك قراءة البيانات على القاعدة بشكل مباشر باللغه العربية وبكل سهولة ..
2- هذا الترميز ترتب الحروف الدقيقة العربية .. مثل ( ا ) و ( أ ) مثل المتواجدون الآن هكذا ترتيبها :
احمد ، امجد ، أحمد ، أمجد
3- تخف حجم القاعدة مابين النصف إلى ثلاثة أرباع الحجم السابق ..

ومميزات عديدة رائعة ستكتشفها بنفسك عند تجربتها ..

ويجب على الجميع عند التجربة أخذ نسخة احتياطية لضمان عدم حدوث مشاكل عند التحويل

هذا مالدي .. وسأفسح المجال لغيري ..

ولكم أجمل تحياتي ..

مدمن نت · 01-06-2007, 01:59 AM

للأسف يالعندليب.. لم يفلح السكربت بالتحويل بشكل كامل ..

بل عندما انتهت التحويل .. دخلت على القاعدة ولقيت البيانات كلها عبارة عن استفهامات ( ؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟ )

أي انه قد تم ضياعه البيانات ..

تأكد من السكربت .. أكيد فيه خطأ ؟؟

لأن السكربت الاصدار الأول تم تحويله بشكل ممتاز .. لكن لم يتم تحويل جدول القاعدة بشكل كامل ..

وحركة 500 صف 500 صف في هذا الإصدار جميلة .. لكن أتوقع هناك خطأ بالسكربت أدى إلى ضياع البيانات بشكل كامل واصبحت كلها استفهامات كما ذكرت ( ؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟ )

ممكن تشوف لنا الخلل لاهنت ؟

العندليب · 01-06-2007, 02:09 AM

العفو يا أخواني
وشكراً على إطرائكم الطيب وهذا من طيب أصلكم

أخي مدمن نت
أحبك الله الذي أحببتنا فيه
وأتمنى بهذا السكربت تم حل مشكلتك.

بخصوص مزايا تحويل ترميز قاعدة البيانات إلى cp1256 مع منتديات الـ vbulletin بشكل خاص مايلي:
1- حجم القاعده لن يكون مضاعفاً مثل حجم قاعدة ترميز اليونيكوود.
2- دقة البحث في المشاركات والعناوين.
3- دعم الباسوورد العربي.
4- دقة عناوين المواضيع المتشابهه التي تظهر أسفل كل موضوع.

أما ترميز اليونيكوود فالعيب القوي الذي سنحصل عليه منه
هو مضاعفة حجم أي بيانات يتم حفظها وهذه تستهلك من مساحة الموقع إضافة إلى أن بعض الدوال البرمجيه لا تتلائم مع بعض الحروف المكتوبه باليونيكوود من مايؤدي بنا إلى الدخول في نفق الثغرات المتعدده.

تحياتي لكم

العندليب · 01-06-2007, 02:13 AM

إقتباس:

المشاركة الأصلية بواسطة مدمن نت

للأسف يالعندليب.. لم يفلح السكربت بالتحويل بشكل كامل ..

بل عندما انتهت التحويل .. دخلت على القاعدة ولقيت البيانات كلها عبارة عن استفهامات ( ؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟ )

أي انه قد تم ضياعه البيانات ..

تأكد من السكربت .. أكيد فيه خطأ ؟؟

لأن السكربت الاصدار الأول تم تحويله بشكل ممتاز .. لكن لم يتم تحويل جدول القاعدة بشكل كامل ..

وحركة 500 صف 500 صف في هذا الإصدار جميلة .. لكن أتوقع هناك خطأ بالسكربت أدى إلى ضياع البيانات بشكل كامل واصبحت كلها استفهامات كما ذكرت ( ؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟ )

ممكن تشوف لنا الخلل لاهنت ؟

الحقيقه لم أدرج هذا السكربت في موضوع إلا بعد تجربتي له على قاعدة بيانات عاديه
حولتها على الترميزين بالـ cp1256 والـ utf8 فكانت ناجحه.

أعطني نسخه لجدول واحد من قاعدة بياناتك لنرى سوياً مكمن الخلل.

بانتظارك

b happy · 01-06-2007, 10:31 AM

إقتباس:

المشاركة الأصلية بواسطة العندليب

الحقيقه لم أدرج هذا السكربت في موضوع إلا بعد تجربتي له على قاعدة بيانات عاديه
حولتها على الترميزين بالـ cp1256 والـ utf8 فكانت ناجحه.

أعطني نسخه لجدول واحد من قاعدة بياناتك لنرى سوياً مكمن الخلل.

بانتظارك

بارك الله فيك اخي العندليب برمجية مميزة

و لكن فعلا هناك خطأ فيها فهي تصدر علامات استفهام و جربت بنفسي و ظهر نفس الخطأ لي

ارفقت لك صورة (الصورة من الموقع و لكن ايضا داخل phpmyadmin نفس الحال)

بالتوفيق

العندليب · 01-06-2007, 12:09 PM

أزلت السكربت من الموضوع

وسأراجعه من البدايه

علماً بأني إلى هذه اللحظه والسكربت يعمل معي بشكل ممتاز !!!!

مدمن نت · 01-06-2007, 12:29 PM

جزاك الله خير استاذي العندليب ..

فقط لمعلوميتك .. قاعدة البيانات الخاصة بي ترميزها latin_swidesh

أيضاً هل لإصدارات الـ MySQL علاقة بتلك المشكلة ؟

حيث إن إصدار الـ MySQL الخاصة بي : 4.1.21-standard

( أبو محمد ) · 01-06-2007, 02:43 PM

ننتظر النسخة بعد فحصها منك عزيزي العندليب ،، عندي مشكلة واعتقد ان حلها هو في هذا السكربت ..

بالتوفيق

العندليب · 01-06-2007, 03:42 PM

السلام عليكم ورحمة الله وبركاته

الله يهديكم يا أخواني
شككتوني والعمل سليم 100% والخطأ كان من اتصالكم

سأثبت لكم أين مكمن الخلل لديكم والتي بسببها ظهرت الحروف لديكم ( ؟؟؟؟؟؟؟؟؟؟؟ )

سأضرب مثال حتى يتضح الخطأ

إفرض أن لديك قاعدة بيانات ذات ترميز latin1 وتريد تحويل ترميزها الى الترميز العربي cp1256

قم بإستخدام سكربت DataBase Charset Converter v2.0 المرفق بالمشاركه الأولى للموضوع وتحويل قاعدة بياناتك الى ترميز cp1256 .

بعدها قم بتحميل السكربت المرفق بهذا الرد MySQL Interface وهو سكربت قديم للإتصال بقواعد البيانات قمت بتطويره لنسخ 4.1 ومافوق.

أدخل على السكربت وستظهر لك الشاشه التاليه:

أدخل اسم المستخدم وكلمة المرور وعدل ترميز الاتصال charset إلى ترميز cp1256
بعدها ستظهر لك الجداول الموجوده بقاعدة بياناتك
اختر اي جدول يحتوي على حروف عربيه واضغط على رابط data وستشاهد قاعدتك قد تحولت الى ترميز عربي.

الخطأ لديكم كان من ترميز الاتصال والتي ذكرناها في موضوع ترميز الـ MySQL حيث ذكرنا أنه يجب استخدام جملة
Set Names cp1256 للعربي
Set Names UTF8 لليونيكوود

وأي سؤال أنا حاضر

بانتظاركم

b happy · 01-06-2007, 05:01 PM

اسمحلنا يالغالي

ممتاز كل شي تمام

بارك الله فيك و جزاك كل خير

تم تثبيت الموضوع

محب الله ورسوله · 01-06-2007, 05:44 PM

أخي لم تفهم قصدي

أنا كان لدي القاعدة لاتين
وفيها الترميز cp1256 فكانت بالطبع تظهر رموز

قمت بإستخدام هاك ميلاد لتحويل المنتدي ل utf-8 وتم

ولكن مازالت القاعدة بالداخل تظهر رموز وتميز الحقول لاتين

أتمني توضح لي ماذا افعل لجعل الكلا يظهر عربي بالداخل
في حين أن الترميز utf-8 ولكن الحقول latin

مدمن نت · 01-06-2007, 05:48 PM

أخي العندليب .. ياعسانا ماننحرم منك قل آمين

عندي مشكلتين..

الأولى

إقتباس:

وهو انه عند وصول السكربت لهذا الرابط :
c2.php?do=conv&table=84&fromrow=120500

يطول فتح الصفحة وبالأخير يعطيني tcp error الظاهر ..!!

طبعا الجدول 84 هي جدول الـ post الخاصة بالمشاركات وبالتحديد عند الصف 120500

أي عند مشاركة رقم 120500

وهذا تكررت معي 4 مرات .. حيث تجربتي الرابعه على السكربت ..

ولاينفع الا حين تغيير مسار الرابط إلى :
c2.php?do=conv&table=85

حيث ان السكربت يقوم بمهامه بكل الجداول حتى جدول thread بنجاح عدا هذا الجدول post .. ويجب عندها التخطي إلى الجدول التالي عبر تعديل الرابط ..

برايك ماهو السبب في ذلك ؟

المشكلة الثانية :

إقتباس:

قمت بعمل نسخ لقاعدة البيانات إلى قاعدة جديدة وتحتوي على 143 جدول

طبعا الترميز latin الافتراضي

وقمت بتشغيل السكربت وادخلت بيانات القاعدة الجديدة والترميز cp1256 وضغطت start

بعد الانتهاء من القيام بالتحويل بشكل كامل عدا جدول البوست كما ذكرت في المشكلة الأولى

قمت بتشغيل سكربت MySQL Interface لرؤية بيانات القاعدة وانظر في المرفق كيف اصبحت ترميز القاعدة وقد اخترت جدول thread لأخذ الـ Print Screen كما ستراها في المرفق ..

ننتظرك بيض الله وجهك ..

العندليب · 01-06-2007, 06:06 PM

الحمدلله يارب

أخيراً إقتنعوا الأخوه

على كل حال نأتي لمداخلاتكم

مشرفنا الكريم bhappy أشكرك على التثبيت وهذا من طيب أصلك

الأخ مجروح
إذا تمت خطوات تحويل قاعدتك بنجاح فيجب عليك التأكد من تغيير ترميز الاتصال كما أشر في ردي الأخير وقلت
Set Names cp1256 للعربي
Set Names UTF8 لليونيكوود
أتمنى يكون هذا قصدك

الأخ مدمن نت
عزيزي الجدول به مشكله ويجب إصلاحه
هل تستطيع عمل repair او optimize للجدول قبل عملية التحويل ؟
إذا لم تستطع ذلك فحاول سحب الجدول بأمر Mysqldump على سبيل المثال
mysqldump -udbuser -pdbpass database table > table.sql
وبعدها قم بتركيبه مره أخرى وجرب عملية التحويل.

موفقين أجمعين

مدمن نت · 01-06-2007, 06:12 PM

العندليب تراي عدلت ردي

في مشكلة ثانيه

يعني آسف والله على إزعاجك

__________________________________________

إقتباس:

المشاركة الأصلية بواسطة العندليب

الخطأ لديكم كان من ترميز الاتصال والتي ذكرناها في موضوع ترميز الـ MySQL حيث ذكرنا أنه يجب استخدام جملة
Set Names cp1256 للعربي
Set Names UTF8 لليونيكوود

تقصد هذا في ملف config.php للـ vbulletin :

كود PHP:

  $config['Mysqli']['charset'] = 'cp1256';

؟؟

العندليب · 01-06-2007, 09:55 PM

لا أدري ما أصاب سوالف فقد أصبح محررها لا يعمل
على كل حال

الاخ مدمن ذكرت في مشكلتك الثانيه :

إقتباس:

قمت بتشغيل سكربت MySQL Interface لرؤية بيانات القاعدة وانظر في المرفق كيف اصبحت ترميز القاعدة وقد اخترت جدول thread لأخذ الـ Print Screen كما ستراها في المرفق ..

يهمني أن أعرف كيف قمت بالدخول على سكربا MySQL Interface ؟
هل عدلت ترميز الاتصال charset قبل البدء ؟؟

أما مشكلة جدول Post فقد ذكرت لك حلها في ردي السابق
فحاول أن تستخدم هذا الحل الثاني بالتعديل على نفس الرابط
بحيث يكون
c2.php?do=conv&table=84&fromrow=120600
أضف 100 على الرقم الأخير
فربما كانت المشكله من أحد الصفوف.

إقتباس:

تقصد هذا في ملف config.php للـ vbulletin :

كود PHP:
$config['Mysqli']['charset'] = 'cp1256';

ماهي نسخة منتداك ؟

موفق

مدمن نت · 01-06-2007, 11:10 PM

إقتباس:

المشاركة الأصلية بواسطة العندليب

يهمني أن أعرف كيف قمت بالدخول على سكربا MySQL Interface ؟
هل عدلت ترميز الاتصال charset قبل البدء ؟؟

طبعاً بعد التحويل دخلت على سكربت MySQL Interface وعدلت على ترميز الاتصال إلى cp1256

وانا متأكد من ذلك 100%

إقتباس:

المشاركة الأصلية بواسطة العندليب

أما مشكلة جدول Post فقد ذكرت لك حلها في ردي السابق
فحاول أن تستخدم هذا الحل الثاني بالتعديل على نفس الرابط
بحيث يكون
c2.php?do=conv&table=84&fromrow=120600
أضف 100 على الرقم الأخير
فربما كانت المشكله من أحد الصفوف.

للأسف قمت بعمل Check و Optimize و Repair و Analyze لجدول post

وعند وصولها للصف 120500 يعطيني هذا الكلام

إقتباس:

tcp_error: A communication error occurred: ""

ووضعت 120600 ونفس الكلام

عندها .. وضعت العدد 120100 ثم 120200 ثم 120300 ثم 120400 ونجح تمام

ووضعت 120410 حتى وصلت بالأخير انه لايمكن تخطي الصف 120430

ونفذت هذا الأمر لتحديد مكان الحقل

كود:

SELECT *
FROM `post`
LIMIT 120429, 120431

ووجدت أنها آخر حقل .. أي انه توقف عن العمل عند المشاركة الأخيرة ..

عندها لم أجد حلاً إلا أن اتخطى الجدول فقط ..

إقتباس:

المشاركة الأصلية بواسطة العندليب

ماهي نسخة منتداك ؟

موفق

نسخة منتداي 3.6.7

ومعليش تعبتك والله ..
وعسى الله يجعل أعمالك في ميزان حسناتك يوم لاينفع مال ولابنون إلا من أتى الله بقلب سليم ..

أخوك / محمد

العندليب · 01-06-2007, 11:41 PM

بداية أقول

لقد قمت برفع سكربت التحويل مره أخرى لإصلاح ترقيم الجداول وتحسين بعض الخطوات.

نأتي للأخ مدمن نت
أولاً هل قاعدة البيانات سليمه من البدايه ؟
أعني بكلامي
هل هي تظهر حروف عربيه في الترميز القديم دون علامات الاستفهام ؟

ثانياً
جرب ملف السكربت الذي قمت برفعه الان فربما ستحصل على إصلاح مشكلة هذا الجدول.
لأنني أعتقد ولست متأكداً من أن أحد الصفوف في جدول post حجم البيانات التي به أكبر من حجم الـ MAX_PACKET_SIZE وتعني أقصى حجم لحزمة بيانات اتصال الـ TCP .

ثالثاً
إذا لم ينفع التحويل مره أخرى فقم بإستخدام أمر Mysqldump وارجاعه بأمر mysql فأعتقد ان المشكله ستزول.

أما بخصوص نسختك فقم بالتعديل على ملف config.php

كود:

$config['Mysqli']['charset'] = 'cp1256';

بالتوفيق وأخبرنا بنتائجك

تحياتي لك

مدمن نت · 02-06-2007, 01:14 AM

إقتباس:

المشاركة الأصلية بواسطة العندليب

بداية أقول

لقد قمت برفع سكربت التحويل مره أخرى لإصلاح ترقيم الجداول وتحسين بعض الخطوات.

نأتي للأخ مدمن نت
أولاً هل قاعدة البيانات سليمه من البدايه ؟
أعني بكلامي
هل هي تظهر حروف عربيه في الترميز القديم دون علامات الاستفهام ؟

نعم قاعدة بياناتي سليمة جداً .. وبالنسبة للحروف العربية في الترميز القديم ..

كلا .. لاتظهر عربيه داخل القاعدة .. لأنها بالترميز اللاتيني latin1 لكنها تظهر بالمتصفح بشكل عادي جداً وعربي ..

إقتباس:

المشاركة الأصلية بواسطة العندليب

ثانياً
جرب ملف السكربت الذي قمت برفعه الان فربما ستحصل على إصلاح مشكلة هذا الجدول.
لأنني أعتقد ولست متأكداً من أن أحد الصفوف في جدول post حجم البيانات التي به أكبر من حجم الـ MAX_PACKET_SIZE وتعني أقصى حجم لحزمة بيانات اتصال الـ TCP .

جربت ملف السكربت الجديد وهذا تجربتي السادسة صراحة .. ونفس المشكلة قائمة للأسف

بالنسبة لمسألة حجم MAX_PACKET_SIZE .. طيب هل تنفع هذه الحركة في الـ htaccess :

كود:

php_value max_packet_size 10M

إقتباس:

المشاركة الأصلية بواسطة العندليب

ثالثاً
إذا لم ينفع التحويل مره أخرى فقم بإستخدام أمر Mysqldump وارجاعه بأمر mysql فأعتقد ان المشكله ستزول.

لم يبقى إلا هذا الحل .. وسأقوم بتجربته وأوافيك بالنتائج

إقتباس:

المشاركة الأصلية بواسطة العندليب

أما بخصوص نسختك فقم بالتعديل على ملف config.php

كود:

$config['Mysqli']['charset'] = 'cp1256';

بالتوفيق وأخبرنا بنتائجك

تحياتي لك

أعرف تلك الطريقة .. لكن لا فائدة من ذلك في حالة ظهور استفهامات ببيانات القاعدة

وأشكرك على سعة صدرك وتحملك لي ..

لك اجمل تحياتي وتقديري ..

مدمن نت · 02-06-2007, 01:55 AM

على فكرة أستاذي ..

تم إعادة تجربة السكربت القديم حقك للإصدار الأول ..

وتم تحويل الترميز بنجاح بدون مشاكل ولا أي تعقيدات ..

عدا مشكلة جدول post والـ thread اللي يوم قلته لك عنها سابقاً في هذا الرد :
http://www.swalif.net/softs/showpost...53&postcount=5

ستجد بالمرفق صورة لجدول الإعلانات announcement بالقاعدة وليس من سكربت MySQL Interface وانظر كيف تظهر باللغه العربيه بكل حلاوه 100%

ذلك معناه أن الخلل من السكربت الإصدار الثاني على ما أعتقد ..

طيب سؤال يالعندليب ..هل قمت بتجربة السكربت على قاعدة بيانات منتدى ؟؟

العندليب · 02-06-2007, 02:21 AM

لم يبقى أمامي إلا أن أطلبك يوزر وباسوورد لقاعدة بياناتك ترسلها على بريدي
وغداً أنظر في أمرها
والسكربت يعمل بشكل سلييييييييم وهناك خطأ ما لديك دعني أراه ونناقشه هنا.

بانتظارك

مدمن نت · 02-06-2007, 03:47 AM

أستاذي العندليب .. جزاك الله خير ماقصرت .. وشهادتي فيك مجروحه

بالمناسبة أرسلت لك الرسالة ..هل وصلتك ..!

بانتظارك