الترميز في ( MYSQL )

[العندليب]

وعليكم السلام ورحمة الله وبركاته

حي الله زميلنا all-patch
ونورت الموضوع والنقاش أيضاً

بالنسبه لسؤالك التالي:

ماذا عن اصحبا المواقع المستضافة ، و ماذا عن من يملك موقع مستضاف على احدى الشركات الاجنبية و الاكيد انهم كثرة ، لم تم مراسلة الشركة لن يلبو الطلب بتغيير نظام التخزين و هذا شيء اكيد ، لذا ارجوا ان تكون الحلول مبينة على ان هناك اصحاب مواقع قدرتهم تكون محدوة فقط على نظام القاعدة و نظام السكريبت الخاص بهم ...

عزيزي ليس من الواجب مخاطبة المستضيف لتغيير ترميز طبقة الخادم أو ترميز قواعد البيانات.
إن كنت صاحب موقع فقط قم بتطبيق الخطوات التي ذكرتها في ردي رقم 23

اما بخصوص تساؤلك التالي:

طرحت سكريبت و تجاهلت فيه uft-8 .... لي رجاء سكريبت تغيير النظام من windows-1256 إلى utf-8 ....
أرجوا الإفادة في الموضوع لانه موضوع سيغير أشياء كثيرة و سيجعلنا نستريح من عقدة التحويل للترميز uft-8 ...

الحقيقه إعتمدت في برمجة السكربت على القيمه الإفتراضيه للـ collation ( القانون ) حسب الترميز المطلوب في السكربت.
لاحظ معي الجدول التالي:

+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
| big5     | Big5 Traditional Chinese    | big5_chinese_ci     |      2 |
| dec8     | DEC West European           | dec8_swedish_ci     |      1 |
| cp850    | DOS West European           | cp850_general_ci    |      1 |
| hp8      | HP West European            | hp8_english_ci      |      1 |
| koi8r    | KOI8-R Relcom Russian       | koi8r_general_ci    |      1 |
| latin1   | cp1252 West European        | latin1_swedish_ci   |      1 |
| latin2   | ISO 8859-2 Central European | latin2_general_ci   |      1 |
| swe7     | 7bit Swedish                | swe7_swedish_ci     |      1 |
| ascii    | US ASCII                    | ascii_general_ci    |      1 |
| ujis     | EUC-JP Japanese             | ujis_japanese_ci    |      3 |
| sjis     | Shift-JIS Japanese          | sjis_japanese_ci    |      2 |
| hebrew   | ISO 8859-8 Hebrew           | hebrew_general_ci   |      1 |
| tis620   | TIS620 Thai                 | tis620_thai_ci      |      1 |
| euckr    | EUC-KR Korean               | euckr_korean_ci     |      2 |
| koi8u    | KOI8-U Ukrainian            | koi8u_general_ci    |      1 |
| gb2312   | GB2312 Simplified Chinese   | gb2312_chinese_ci   |      2 |
| greek    | ISO 8859-7 Greek            | greek_general_ci    |      1 |
| cp1250   | Windows Central European    | cp1250_general_ci   |      1 |
| gbk      | GBK Simplified Chinese      | gbk_chinese_ci      |      2 |
| latin5   | ISO 8859-9 Turkish          | latin5_turkish_ci   |      1 |
| armscii8 | ARMSCII-8 Armenian          | armscii8_general_ci |      1 |
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 |
| ucs2     | UCS-2 Unicode               | ucs2_general_ci     |      2 |
| cp866    | DOS Russian                 | cp866_general_ci    |      1 |
| keybcs2  | DOS Kamenicky Czech-Slovak  | keybcs2_general_ci  |      1 |
| macce    | Mac Central European        | macce_general_ci    |      1 |
| macroman | Mac West European           | macroman_general_ci |      1 |
| cp852    | DOS Central European        | cp852_general_ci    |      1 |
| latin7   | ISO 8859-13 Baltic          | latin7_general_ci   |      1 |
| cp1251   | Windows Cyrillic            | cp1251_general_ci   |      1 |
| cp1256   | Windows Arabic              | cp1256_general_ci   |      1 |
| cp1257   | Windows Baltic              | cp1257_general_ci   |      1 |
| binary   | Binary pseudo charset       | binary              |      1 |
| geostd8  | GEOSTD8 Georgian            | geostd8_general_ci  |      1 |
| cp932    | SJIS for Windows Japanese   | cp932_japanese_ci   |      2 |
+----------+-----------------------------+---------------------+--------+

أمام كل إسم ترميز تجد القيمه الإفتراضيه للـ collation ( القانون ).
فترميز cp1256 العربي ستكون القيمه الإفتراضيه لقانونه هي cp1256_general_ci
وترميز utf8 ستكون القيمه الإفتراضيه لقانونه هي utf8_general_ci
بإمكانك وضع Utf8 في السكربت الذي برمجته ولكن سوف يصبح الـ collation ( القانون ) المستخدم هو الـ utf8_general_ci والذي بسببه يظهر الحرف العربي مشوه في طريقتك التي ذكرتها في ردك السابق في أول الموضوع.
لاحظ معي أنواع الـ collations ( القوانين ) المدرجه لترميز الـ utf8

+--------------------+---------+-----+---------+----------+---------+
| Collation          | Charset | Id  | Default | Compiled | Sortlen |
+--------------------+---------+-----+---------+----------+---------+
| utf8_general_ci    | utf8    |  33 | Yes     | Yes      |       1 |
| utf8_bin           | utf8    |  83 |         | Yes      |       1 |
| utf8_unicode_ci    | utf8    | 192 |         | Yes      |       8 |
| utf8_icelandic_ci  | utf8    | 193 |         | Yes      |       8 |
| utf8_latvian_ci    | utf8    | 194 |         | Yes      |       8 |
| utf8_romanian_ci   | utf8    | 195 |         | Yes      |       8 |
| utf8_slovenian_ci  | utf8    | 196 |         | Yes      |       8 |
| utf8_polish_ci     | utf8    | 197 |         | Yes      |       8 |
| utf8_estonian_ci   | utf8    | 198 |         | Yes      |       8 |
| utf8_spanish_ci    | utf8    | 199 |         | Yes      |       8 |
| utf8_swedish_ci    | utf8    | 200 |         | Yes      |       8 |
| utf8_turkish_ci    | utf8    | 201 |         | Yes      |       8 |
| utf8_czech_ci      | utf8    | 202 |         | Yes      |       8 |
| utf8_danish_ci     | utf8    | 203 |         | Yes      |       8 |
| utf8_lithuanian_ci | utf8    | 204 |         | Yes      |       8 |
| utf8_slovak_ci     | utf8    | 205 |         | Yes      |       8 |
| utf8_spanish2_ci   | utf8    | 206 |         | Yes      |       8 |
| utf8_roman_ci      | utf8    | 207 |         | Yes      |       8 |
| utf8_persian_ci    | utf8    | 208 |         | Yes      |       8 |
+--------------------+---------+-----+---------+----------+---------+

هل ترى قانون للغه العربيه؟
الظاهر أنهم وضعوا قانون اللغه العربيه مع اللغه الفارسيه utf8_persian_ci أصبح العرب من الفرس ياساتر.

طريقتك السابقه كانت كالتالي:

ALTER TABLE myTable MODIFY myColumn BINARY(255);
 ALTER TABLE myTable MODIFY myColumn VARCHAR(255) CHARACTER SET utf8 

أنت لم تحدد القانون فيها لذلك أصبح القانون هو utf8_general_ci وأعتقد هذا هو سبب تشويه الحرف العربي فيها.

جرب تعديل الأمر بالشكل التالي:

ALTER TABLE myTable MODIFY myColumn BINARY(255);
 ALTER TABLE myTable MODIFY myColumn VARCHAR(255) CHARACTER SET utf8 COLLATE utf8_persian_ci 

هناك قانون آخر وهو utf8_unicode_ci ولا أدري هل يغني عن هذا الفارسي أم لا.

جرب وأعطنا نتائجك.

ملاحظه مهمه:
ترميز utf8 يختلف عن ترميز ucs2 .
لمزيد من المعلومات أدخل على الرابط التالي:
http://mysql.inspire.net.nz/doc/refm...t-unicode.html

بالتوفيق

[all-patch]

عدت اليك و بسرعة .... فكرة و فراضية خطرت على البال و اود التحدث فيها .....

عند تركيب سكريبت معين ، كمجلة او منتدى ، لاحظ معي ان السكريبت لا يقوم يتغيير نظام القاعدة في الترميز بل يستخدم الترميز الحالي للقاعدة إضافة إلى ترميز السكريب الذي يكون مثلا iso-******* على حسب اللغة ...

يظهر ترقية للسكريبت و في الترقية يتم التغيير لنظام uft-8 ، و الغريب في الامر ان السكريبت ايضا لا يقوم بالمس في ترميز القاعدة ، فقط تغيير الترميز في السكريبت يؤدي إلى عمل السكريبت و ظهور الحروف بسكل طبيعي !!!!!!!!!!!

هذه ليست فراضية بل حقيقة و تجربة شخصية ، لكن كل معطيات الموقع كانت بلغة غير العربية .....

فهل اللغة العربية لها تعامل خاص ؟؟؟؟

بخصوص القانون ب uft-8 ، جربت 3 قوانين و نفس النتيجة .....
utf8_unicode_ci
utf8_general_ci
utf8_persian_ci

[all-patch]

حللت و فكرت جيدا في سبب عدم تحويل ظهور اللغة العربية رغم تحويل القانون و الترميز ، و بعد عدة تجارب توصلت لهذا ، نحتاج لسكريبت يقوم بهذا :

استخراج المعلومات من الجداول و إعادة إدخال نفس المعلومات لكن بترميز utf-8 ، و ليس سكريبت لنغيير ترميز الحقول و القانون فقط .... لان المعطيات تظل مخزنة بترميز قديم .... و كما طرح الاخ beshoo لدينا فورم بترميز windows-1256 ، المعلموت المدخلة تكون بترميز windows-1256 و نحن نحتاج لإعادة إدخال تلك المعلومات بترميز utf-8 لتكون المعلومات المخزنة تناسب ترميز السكريبت ...

قمت بالعملية يدويا على بعض الحقول و نجحت الفكرة ، للاشارة فقط لم أقم بالتعديل على تغيير قانون القاعدة و لم أقم بتغيير اي شيء في القاعدة ... كل ما قمت به إعادة إدخال المعلومات بترميز uft-8 و ظهر كل شيء ممتاز .....

الان نحتاج إلى سكريبت يقوم بحفظ معلومات الجداول و إعادة زرع تلك الحقول بترميز utf-8 ...
نفس الفكرة استخدمها مطوروا جملة للانتقال لترميز utf-8 .

و شكرا لكم .

[p7r]

السلام عليكم ورحمة الله

لك الشكر حتى ترضى أخي العندليب وزادك الله من علمه ونفع بك

والشكر موصول للإخوان الذي أثروا الموضوع بردودهم

كونوا بخير

[PHP-Master02]

ما شاء الله تبارك الله
========
لقد أكملت قراءة هذا الموضوع ... ولقد استفدت منه كثيراً
جزاك الله خيرا أخي "العندليب" وجميع الذين قاموا بالتوضيح..

[ابو مشعل]

امتعك الله بالصحة و العافية كما امتعتنا بالفوائد في هذا الموضوع. اسأل الله لك التوفيق في الدنيا و الاخرة .

اخوك ابو مشعل

[Milad]

قمت ببرمجة سكربت بالـ php يقوم هذا السكربت بأخذ جداول قاعدة بيانات تحددها له وبعدها يبدأ هذا السكربت بأخذ كل جدول وجمع كل حقوله وبعدها يقوم بتحويل هذه الحقول واحداً تلو الآخر بطريقه تلقائيه وبعد أن ينتهي من تحويل الحقول يقوم بتحويل ترميز الجدول ويبدأ بعدها بالجدول التالي وهكذا حتى ينتهي من كل الجداول وبعدها ينتهي بتحويل ترميز قاعدة البيانات.

قمت أنا أيضاً ببرمجة هاك حاص بتحويل ترميز المنتديات من أي ترميز إلى أي ترميز آخر باستخدام iconv

وقمت بانتقاء الجداول والحقول التي تحتاج إلى تعديل ولقنتها للسكربت

الآن هناك مسألة مهمة يجب الانتباه إليها وهي serialized data
حيث أن تغيير تشفيرها سيؤدي إلى تغيير عدد المحارف داخل سلسلة البيانات وبالتالي ستفشل الدالة unserialize عند استدعاء البيانات.

لذلك يجب الكشف فيما إذا كانت البيانات في حقل ما serialaized وتحويلها إلى مصفوفة ثم تطبيق تحويل التشفير على مفردات المصفوفة ثم إعادتها بشكل serialized وإدخالها إلى قاعدة البيانات من جديد ...

سكربتي لا تزال بيتا ولم أجربها إلا على الـ localhost وسأجربها على منتداي بعد فترة

ولكن هل من المهم تعديل تشفير الجدول أو الحقل بعد تعديل محتواه من البيانات؟

سكربتي خاص بمنتديات الـ vB

وشكراً لك

[Milad]

طبعاً أنا شخصياً سأنتقل من windows-1256 إلى utf-8 ومن المحتمل أن أنتظر حتى طرح utf-16

[Milad]

أرجو الاطلاع هنا

[ليبي مكافح]

متابع بشغف ...

أخي العندليب لا أعتقد أنه توجد كلمات توفيك حقك ... خليها في القلب .

[php4pro]

السلام عليكم ورحمة الله وبركاته

جزاك الله خيرا اخي العندليب موضوع رائع ومفيد جدا

قلت في أحد ردودك

2- إذا كان السرفر يعمل على الـ safemode سوف تفشل طريقة التحويل لأن أقصى وقت محدد لتنفيذ عمليات الـ php هو 30 ثانيه.

الا يمكن عمل باك اب لقاعدة البينات ثم تنزيلها على الجهاز ثم تحويلها على السيرفر الشخصي ومن ثم رفعها مره أخرى للموقع طبعا قد تكون الطريقة غبية اذا كانت قاعدة البينات كبيرة لكن المهم هل تنفع هذه الطريقة ام لا

ثانيا:
هناك مشكلة اخرى لنفرض انك حولت قاعدة البيانات الى utf8 ولا صار فيه مشاكل عند استعراض الموقع بالwindows-1256 او اذا ادخلت عن طريق الفورم بترميز windows-1256 هل سيظهر العربي؟؟ لن يظهر

الحقيقة شيء يوجع الراس لاحظ ان هناك قاعدة بينات فيها مشكلة واذا حليتها وحولتا الى utf لابد ان يكون المستخدم يستخدم ترميز utf من اجل ان يظهر العربي لكن غالب الناس تستخدم windows-1256

ممكن حل هذه المشكلة بدون ما يعرف المستخدم وهو عند دخوله للموقع يتحول التصفح عنده الى utf مثل google الان يستخدم utf اذا دخلت يتغير عنك الترميز مباشرة ولو رجعته الى windows-1256 راح ظهر عندك كلمات غير مفهومه مثل "طھط¬ط±ط¨ط©"

شكرا لك

[العندليب]

السلام عليكم ورحمة الله وبركاته

أهلا وسهلا بالأخوان الجدد بالموضوع وحياكم الله

الزميل all-patch

عدت اليك و بسرعة .... فكرة و فراضية خطرت على البال و اود التحدث فيها .....

عند تركيب سكريبت معين ، كمجلة او منتدى ، لاحظ معي ان السكريبت لا يقوم يتغيير نظام القاعدة في الترميز بل يستخدم الترميز الحالي للقاعدة إضافة إلى ترميز السكريب الذي يكون مثلا iso-******* على حسب اللغة ...

ذكرنا هذا الكلام في بداية الموضوع
حيث قلنا لو قمنا بإنشاء قاعدة بيانات بدون تحديد نوع الترميز لها فسوف يتم إنشاء هذه القاعده بنوع ترميز الخادم.
لذلك السكربت الذي قمت بتركيبه راجع فيه جملة إنشاء القاعده فيه.

يظهر ترقية للسكريبت و في الترقية يتم التغيير لنظام uft-8 ، و الغريب في الامر ان السكريبت ايضا لا يقوم بالمس في ترميز القاعدة ، فقط تغيير الترميز في السكريبت يؤدي إلى عمل السكريبت و ظهور الحروف بسكل طبيعي !!!!!!!!!!!

لم أفهم هذا الجزء حقيقة !!!

بخصوص القانون ب uft-8 ، جربت 3 قوانين و نفس النتيجة .....
utf8_unicode_ci
utf8_general_ci
utf8_persian_ci

طيب بما أن الـ utf8 لم ينجح معك فقم بتجربة الـ ucs2 فهذا الترميز ثنائي وهو الترميز الصحيح لليونيكوود وبعد التحويل الى ucs2 قم بالتحويل الى ut8 وشاهد النتيجه.
يعني حتكون خطواتك كالتالي:

 ALTER TABLE myTable MODIFY myColumn BINARY(255); 
 ALTER TABLE myTable MODIFY myColumn VARCHAR(255) CHARACTER SET ucs2  COLLATE ucs2_persian_ci;
 ALTER TABLE myTable MODIFY myColumn BINARY(255); 
 ALTER TABLE myTable MODIFY myColumn VARCHAR(255) CHARACTER SET utf8 COLLATE utf8_persian_ci; 

الاخ p7r
الشكر والرضى لله وحده.
تسلم على مرورك ياطيب


الاخ PHP-Master02
شاكر مرورك الكريم وحياك الله


المشرف أبو مشعل
تسلم ياعزيزي على المرور وأشكرك على التثبيت ووفقنا الله وإياك لكل خير.


الاخ Milad
اشكرك على المرور
إن شاء الله حشاهد العمل اللي عملته اذا تفرغ الوقت .


الاخ ليبي مكافح
نورت ياعزيزي وتسلم على المرور


الاخ php4pro
حياك الله ياطيب
بالنسبه لتساؤلاتك

الا يمكن عمل باك اب لقاعدة البينات ثم تنزيلها على الجهاز ثم تحويلها على السيرفر الشخصي ومن ثم رفعها مره أخرى للموقع طبعا قد تكون الطريقة غبية اذا كانت قاعدة البينات كبيرة لكن المهم هل تنفع هذه الطريقة ام لا

نعم تنفع الطريقه وهناك طرق اخرى تختلف عن طريقة السكربت في التحويل.

ثانيا:
هناك مشكلة اخرى لنفرض انك حولت قاعدة البيانات الى utf8 ولا صار فيه مشاكل عند استعراض الموقع بالwindows-1256 او اذا ادخلت عن طريق الفورم بترميز windows-1256 هل سيظهر العربي؟؟ لن يظهر

يبدو أن لديك خلط.
الـ utf8 كل حرف فيه يمثل 2 بايت
أما الـ windows-1256 كل حرف فيه يمثل بايت واحد فقط.
إفرض أنك تريد إظهار حروف الـ utf8 على ترميز الـ windows-1256 فكيف تتوقع ظهور هذه الحروف ؟
سأعطيك مثال:
الجمله الأولى مكتوبه بالـ utf8 :
العندليب

الجمله الأولى معروضه بالـ windows-1256 :
ے‏'D9F/DJ(

حروف جملة ( العندليب ) 8 حروف أصبحت 16 جزء عند عرضها بالـ windows-1256 .

الحقيقة شيء يوجع الراس لاحظ ان هناك قاعدة بينات فيها مشكلة واذا حليتها وحولتا الى utf لابد ان يكون المستخدم يستخدم ترميز utf من اجل ان يظهر العربي لكن غالب الناس تستخدم windows-1256

ممكن حل هذه المشكلة بدون ما يعرف المستخدم وهو عند دخوله للموقع يتحول التصفح عنده الى utf مثل google الان يستخدم utf اذا دخلت يتغير عنك الترميز مباشرة ولو رجعته الى windows-1256 راح ظهر عندك كلمات غير مفهومه مثل "طھط¬ط±ط¨ط©"

تحديد ترميز صفحة الـ html التي تعرض للزوار يتم بتاقز يسمى meta على سبيل المثال:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

لذلك يجب التركيز على الترميز المرسل الى الخادم وعلى الترميز المستقبل من الخادم.
إن شاء الله اتضحت الصوره.

تحياتي لكم

[all-patch]

الـ utf8 كل حرف فيه يمثل 2 بايت
أما الـ windows-1256 كل حرف فيه يمثل بايت واحد فقط.
إفرض أنك تريد إظهار حروف الـ utf8 على ترميز الـ windows-1256 فكيف تتوقع ظهور هذه الحروف ؟
سأعطيك مثال:
الجمله الأولى مكتوبه بالـ utf8 :
العندليب

الجمله الأولى معروضه بالـ windows-1256 :
ے‏'D9F/DJ(

بهذا تكون اصبحت صلب موضوع التحويل ...
ساعود لاناقش سكريبت التحويل الذي طرحت ، لا حظ معي انه يحول فقط نظام الترميز و لا يمس إطلاقا المدخلات في القاعدة ....

ففرضا لو غيرنا ترميز القاعدة التي تحتوي على كلمة العندليب و عرضناها بالترميز الجديد فنفس النتيجة سنحصل عليها ، لانها لا زالت مخزنة بالترميز القديم ..... لان كلمة العندليب مازالت مخزنة ب 2 بايت للحرف .... أعتقد فهمت قصدي

لذا في سكريبت التحويل عليه ان يقوم بإخراج المدخلات المخزنة بالقاعدة و إعادة إدخالها بالترميز الجديد .... لكي تصبح كلمة العندليب مخزنة ببايت واحد للحرف .....


تحياتي لك و لي عودة بعض ان اقوم ببعض التجارب الاخرى .... و ان شاء الله يكون نتيجة هذا الموضوع هو الحل النهائي للتحويل من و إلى اي ترميز

[Arabse_NeT]

عزيزي العندليب ممكن تشوف مشكلتي

http://www.swalif.net/softs/showthread.php?t=161443

أشكرك مقدما

[Arabse_NeT]

تم حل المشكله

أولا : تحويل إلى Windows

ثم تحرير النصوص إلتي كانت UTF-8

و إعادة نشرها ....

شكرا لكم

تم إستخدام سكربت العندليب ..........ربي يجزيك خير