[مقال] : تشفير الروابط والنصوص بواسطة الترميز UTF-8

[EbNCaNa]

السلام عليكم ورحمة الله وبركاته


في كثير من الاحيان يفكر البعض لماذا لا نستعمل عنوان الموضوع ليكون المعتمد عليه في عملية جلب بيانات هذا الموضوع عن طريق GET في صفحة ديناميكية معينة , وليس كما جرت العادة بالاعتماد على id هذا الموضوع وخاصة عندما يكون عنوان الموضوع باللغة العربية … ان الناظر لواقع المواقع العملاقة اليوم والمتصدرة لائحة الترتيب الاقوى في محركات البحث يلاحظ بأنها تستعمل هذه التقنية الرائعة امثال موسوعة ويكيبيديا وشركة ووردبرس وجميع المدونات المستخدمة نظامها حول العالم … وطبعا لا ننسى عملاق البحث جوجل .



- ما هي الرموز المحبذ تحويلها الى الترميز utf-8 لكي تستعمل في الرابط ؟

انه ولكي تتم عملية تحويل الرابط بنجاح … ولكي يتجلى المقصد من وراء تحويل الرابط الى الترميز utf-8 فان الرموز الاصلية للرابط يجب ان تكون اية رموز مع عدا رموز مجموعة المحارف ASCII , فمثلا يمكن ان نحول رموز او حروف اللغة العربية او الروسية او العبرية والسبب لان رموز او حروف اي من هذه اللغات لا تدخل في تركيب مجموعة المحارف ASCII وقس على ذلك الكثير الكثير من لغات العالم .
احيانا نحتاج ايضا الى تحويل بعض رموز مجموعة المحارف ASCII الى الترميز utf-8 وسنذكر ذلك لاحقا مع مثال مفصل .


- مم سيتحول الرابط بعد التحويل الى utf-8 ؟

حسب بروتوكول RFC 3986 فان الرموز التي يجب ان يتكون منها الرابط المشفر بالترميز utf-8 يجب ان تكون مشتقه بشكل مباشر او غير مباشر من مجموعة المحارف ASCII , وما دون ذلك من رموز فلن يقبل بالمرة في عملية تكوين الرابط المشفر .


- ما هي مجموعة المحارف ASCII ؟

American Standard Code for Information Interchange وهي مختصرة في الحروف ASCII ، تلفظ عادة آسكي ، هي مجموعة رموز ونظام ترميز مبني على الألف باء اللاتينية بالشكل الذي تستخدم به في الإنجليزية الحديثة ولغات غرب أوروبية اخرى.
من أكثر الإستخدامات شيوعا للنصوص المكتوبة باللآسكي تشتمل على إستخدامها في أنظمة الحاسوب، كما تستخدم في أجهزة الإتصالات وأنظمة التحكم التي تتعامل مع نصوص .
مجموعة الرموز المباشرة المشتقه من ASCII :

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
a b c d e f g h i j k l m n o p q r s t u v w x y z
0 1 2 3 4 5 6 7 8 9 - _ . ~

مجموعة الرموز الغير مباشرة المشتقه من ASCII :

! * ‘ ( ) ; : @ & = + $ , / ? % # [ ]

- ما الفائدة من تحويل الروابط الى الترميز utf-8 ?

1- وهو الاهم ويتمثل في اعطاء المستخدم او صاحب الموقع الثقة العمياء من قبل محركات البحث في حال كان الرابط باللغة العربية وقمت بتحويله الى الترميز utf-8 .

2- الدعم الكامل لجميع التطبيقات او البرمجيات التي لا تدعم الا الترميز utf-8 وعندها سوف يصبح الرابط او النص الذي قمت بتحويله الى نص عالمي مقروء ومفهوم ومعرف في هذه التطبيقات , الأمر يشبه ترجمة لغة معينة غير مشهورة الى لغة عالمية معتدمة من قبل الكثير من الدول الكبرى .

3- في بعض الاحيان نحتاج لتحويل بعض رموز مجموعة المحارف ASCII نفسها الى الترميز utf-8 لكي يتوافق مع متطلبات الرابط … مثال :

نفرض الرابط التالي :

http://en.wikipedia.org/wiki/Percent-encoding

رابط جميل اليس كذلك ؟؟ ولكن ماذا لو اراد مدير الموقع اضافة العلامة سلاش / داخل الرابط العنوان نفسه ؟؟ ماذا لو قمنا بادخال / ولكن غير مشفر ؟؟ سيصبح الرابط كالتالي :

http://en.wikipedia.org/wiki/URL-/Percent-encoding

هل تعتقد باننا لو دخلنا لهذه الرابط سيقوم الموقع باعطانا النتيجة بشكل صحيح ؟؟ انا لا اعتقد هذا الامر لان / تعني حسب بروتوكول HTTP الانتقال الى مجلد آخر داخل الموقع ولذلك فان الموقع سيعطينا بالضرورة خطأ 404 .. اذن ما الحل ؟هنا يأتي دور تحويل الرمز / الى الترميز utf-8 وهذا ما اعنيه بمتطلبات الرابط … سيكون الرابط بعد تحويل الرمز / كالتالي :

http://en.wikipedia.org/wiki/URL-%2FPercent-encoding

وهنا لاحظ القيمة 2F% وهي الصيغة المشفرة من الرمز / حسب ترميز utf-8 الرائع !!

اعتقد انكم مللتم من الكلام النظري … وتريدون مشاهدة وتجربة المثال بأنفسكم … حسنا لكم ذلك من خلال اداة تشفير الروابط وتحويلها الى الترميز utf-8 - اضغط هنا لدخول المثال .


اتمنى انكم قد اتستفدتم ولو قليلا من هذا الدرس وتذكروا : ” لا لاحتكار العلم ” .


اخوكم المحب : EbNCaNa


المقال الأصلي : http://ebncana.wordpress.com/2008/06...%8a%d8%b2-utf/


السلام عليكم اخواني .

[strange man]

موضوع مهم جدا جدا واكثر من رائع وهام جدا للمطورين الذين يبحثون عن توافق برمجياتهم مع محركات البحث

اشكرك ابن قانا على الموضوع الرائع

[EbNCaNa]

العفو اخوي وان شاء الله يستفيد الجميع عشان نرتقي اكثر بمستوى المواقع العربية ونزاحم المواقع الاجنبية في محركات البحث .


الى الامام حبيبي .

[خالد الحربي]

مقال جداً رائع تمنيت ان اكون مبرمج حتى اغوص فيه اكثر


ابدعت في طرحك وفعلاً .. لا لاحتكار العلم (:

[EbNCaNa]

حياك الله اخوي secret على ردك المشجع بحق ...

بالحقيقة كل شخص بقدر يكون مبرمج محترف ... بشرط ما تستنى المديح والاطراء من حد لانك بعمرك ما رح تسير مبرمج اذا عملت هيك ... اعمل كثير واتعب واشتغل واغلط ... وكل شوي قف خلف الشاشة وانظر باعجاب الى عملك ... وامدح نفسك حتى لو بتضحك على نفسك مرات بهمش p:

المهم تعمل وتتعب لتزيد علمك وبهيك بقدر اضمنلك تكون اكبر مبرمج

[محمد الثقفي]

شكرا لك EbNCaNa

لاتنسى بان البعض لايعرف طريقة تشفير الترميز

وهو مايعرف بـ urlencode في ال php

و escape في الجافا سكريبت والاجاكس والفلاش

ومن افضل المواقع العربيه الذي يستخدم هذه الطريقه في نظري هو موقع لون لاخونا معاذ

ظپظˆطھظˆط´ظˆط¨, ط¯ط±ظˆط³ ظپظˆطھظˆط´ظˆط¨, ط®ط·ظˆط·, ط§ظٹظ‚ظˆظ†ط§طھ - ظ„ظˆظ†

[Milad]

ولكنها لا تظهر في الـ Adressbar بشكل صحيح .. يعني تظهر على شكل Hex

[EbNCaNa]

شكرا اخوي MohDesign على مرورك الكريم ...

لكن انا ما فهمت انو كلامك مجرد ملاحظة ام خطأ في طرحي ؟ اذا كان خطأ يا ريت توضحلي اكثر ... اما اذا كان ملاحظة فاعتقد ان احد لا يحتاج لمعرفة مسبقة بدوال url_encode او escape مع ان لكل دالة منهم طريقة مختلفة في التشفير والي تكلمت عنها بالدرس هي escape .

اعتقد انو الشغلة بسيطة جدا ... يعني الي ما بعرف يمرر رابط معين على دالة بسيطة مثل الدالة escape ما بطلعلو يكون موقعو مشهور ... مزحة

بس اعتقد انو لو شخص بالصين مثلا دخل على موقع الاخ الذي وضعته هل سيقرأ جهازه الروابط العربية بشكل صحيح ام رح تكون ملخبطة ؟؟ وليش الاخ صاحب الموقع ما شفر الروابط ؟؟ مش بستفيد اكثر اذا شفرها وبضمن قرائتها من قبل جميع الانظمة ؟؟ اما انو كون ترميز الصفحات عندو utf-8 بضمن انو الروابط سوف تقرأ عالميا بدون مشاكل ؟؟


شكرا على ردك مرة اخرى .

[EbNCaNa]

اخوي Milad هذا هو عمل الدالة ... وليش انها لا تعمل بشكل صحيح ... صح انها مشفرة بالهيكس ... لكن هذا هو فحوى التشفير ... انها لا تظهر باللغة العربية لكن جميع المواقع والانظمة سوف تحلل الرابط المشفر وتقرأه كنص عربي ... وجوجل مثلا لما بأرشف رابط من هالنوع ... بستقبلو هيكس لكن لما يظهر الرابط في نتائج البحث بظهر عربي 100% وهون بيت القصيد .

شكرا على مرورك اخي الكريم .

[ma3hd]

موضوع رائع اخى EbNCaNa

ترميز utf8 اتعبنى كثيرا لأن معظم السكربتات و القواعد العربية لا تدعمة ... و بالتالى فيقع على عاتقك تحويل القواعد الى utf-general-ci .. و ايضا التغيير فى بعض الدوال فى ال php لأرسال البيانات صحيحية الى القواعد ..

و بعد تحويل الروابط فى المعهد العربي بصراحة اعجبت اولا بالشكل و خصوصا ان الموفع كان يظهر فى مظم كلمات البحث فى الصفحة الأولى ... و لكن انصدمت بمشكلة اخري و خصوصا فى المنتدى و هى الزخرفات الموجودة فى اللغة العربية مثل التشكيل و ايضا الرسومات و حروف المد و التطويل ..الخ .. كل هذا يشوه منظر الرابط بلغة العربية و خصوصا ان لا توجد stop words للغة العربية لتفعليها ...

بصراحة اعتمدت على id فى تلك المواضيع ... ااما الروابط التى اتحكم فى مواضيعها فجعلتها بلغة العربية مثل الألعاب gv.ma3hd.net او حتى اسماء الأعضاء فى المنتدى

جزاك الله خيرا بنشر العلم

[ma3hd]

ولكنها لا تظهر في الـ Adressbar بشكل صحيح .. يعني تظهر على شكل Hex

اخى ميلاد ...

اتذكر ردك على فى موضوع يخص الروابط بلغة العربية و ان متصفح اوبرا فقط هو الذي يظهر الروابط العربية بشكل صحيح لأنه يحول الهيكس لقيمة الأصلية ... و ايضا حاليا الفايرفوكس 3 دعم تلك الطريقة و الروابط العربية تظهر بدون مشاكل ...المشكلة فقط فى الأنترنت اكسبلور 6 او 7 ...لم اجرب 8 بيتا حتى الأن ان دعمت تلك الطريقة ام لا فيه

[EbNCaNa]

اخوي egy-ksa معك حق بخصوص الزخارف وحروف المد باللغة العربية ... لكن اعتقد انو طريقة التشفير هذه ستحل المشكلة ... جرب اعمل decode للرابط التالي بواسطة اداة فك التشفير وشوف النتيجة شو رح تكون :

%D8%A7%D9%84%D9%85%D8%B9%D9%80%D9%80%D9%87%D9%8E%D8%AF%20%D8%A7%D9%84%D9%80%D9%80%D8%B9%D9%8E%D8%B1%D9%8E%D8%A8%D9%8A

شكرا كمان مرة على مرورك .

[محمد الثقفي]

شكرا اخوي MohDesign على مرورك الكريم ...

لكن انا ما فهمت انو كلامك مجرد ملاحظة ام خطأ في طرحي ؟ اذا كان خطأ يا ريت توضحلي اكثر ... اما اذا كان ملاحظة فاعتقد ان احد لا يحتاج لمعرفة مسبقة بدوال url_encode او escape مع ان لكل دالة منهم طريقة مختلفة في التشفير والي تكلمت عنها بالدرس هي escape .

اعتقد انو الشغلة بسيطة جدا ... يعني الي ما بعرف يمرر رابط معين على دالة بسيطة مثل الدالة escape ما بطلعلو يكون موقعو مشهور ... مزحة

بس اعتقد انو لو شخص بالصين مثلا دخل على موقع الاخ الذي وضعته هل سيقرأ جهازه الروابط العربية بشكل صحيح ام رح تكون ملخبطة ؟؟ وليش الاخ صاحب الموقع ما شفر الروابط ؟؟ مش بستفيد اكثر اذا شفرها وبضمن قرائتها من قبل جميع الانظمة ؟؟ اما انو كون ترميز الصفحات عندو utf-8 بضمن انو الروابط سوف تقرأ عالميا بدون مشاكل ؟؟


شكرا على ردك مرة اخرى .

انتبه !

ال utf-8 يظهر في اي جهاز بنفس الشكل ونفس المحارف حتى لو كان الجهاز لايوجد به اللغه العربيه

انا شفت الكود اللي انت استعملته في الموقع وبصراحه لم اقتنع به حيث لايوجد داعي ان تكتب كل ذلك للتحويل مع ان escape تكفي في النهايه

ال encode لحرف معين في اللغه العربيه يختلف عن نفس الحرف في ال utf-8

تعال نعمل مثال بسيط على حرف الفاء مثلا


مع ان نفس الحرف لكن انظر الى الاختلاف وذلك يرجع ان الكمبيوتر قرأ الحرف الاول ascii اما الحرف الثاني فهو 8 bit

فهي متساويه في الشكل ولكن مختلفه من حيث ترميزها في الاصل

لذلك ال utf-8 راح يظهر في جهاز واحد صيني لكن ال ascii لا

اما urlencode راح تكون النتائج مختلفه قليلا جربها بنفسك

<?php
$string ="ف";
echo urlencode($string)."<br />";
echo urlencode(iconv('windows-1256','UTF-8',$string))."<br />";
?>

لاحظ ان النتيجه تكون مختلفه ايضا مع ان الحرفين هم نفسهم لكن الاوثق هو الثاني حيث سيقرأه اي شخص حتى وان لم توجد اللغه العربيه في جهازه

وبالنسبه لمشاكل العلامات والتشكيل والمد يمكننا تمرير النص على داله ومسح هذه التشكيلات او العلامات باستخدام regular expression

[EbNCaNa]

مشكور اخوي MohDesign ... ومنكم نستفيد .. بارك الله فيك على التصحيح .

بكل الاحوال بالنهاية ما اختلفنا انو طريقة تحويل الرابط بالشكل الي شرحته تساهم وبقوة برفع اسهم الموقع في محركات البحث وهذا هو الاهم .


الى الامام حبييبي .

[محمود المسعودي]

موضوع رائع و مفيد جداً، من زمان عن هكذا مواضيع ...
تم التثبيت يا بطل
بالمناسبة ... رايت موضوع الBOM و هو رائع، احزنني انه لم يلقى تفاعل
لولا انه اصبح قديم نسبياً لكنت ثبته ايضاً.
استمر بارك الله بك

تحياتي لك