اتاحة المجال للرد من دون حساب (عضوية)
سيتم الاعلان عن الفائزين في سوالف كاست في الأول من 2009

 

العودة   سوالف سوفت > قسم تطوير وبرمجة المواقع للمتقدمين > تطوير الويب
المدوّنات البحث مشاركات اليوم اجعل كافة المشاركات مقروءة

رد  
 
LinkBack أدوات الموضوع
مراقب و خبير سيرفرات لينكس
تاريخ التسجيل: Mar 2001-
#1 (permalink)  
في جعبتي حكاية 10 (فهرسة الساموراي و بحث تسونامي ) : نقاش


السلام عليكم أصدقائي بسوالف .

مر زمن طويل على سلسلة في ( جعبتي حكاية ) والتي لم أطورها بكشل كبير حيث أن الوقت ضيق و الإلهام معدوم حاليا

موضوعنا اليوم هو للفائدة لكم ولي بشكل كامل .
كثيرا ما تطرقنا لمواضيع البحث و كانت اللغة العربية هي محور النقاش حيث أن لها خواص جميلة وأيضا لجمالها حكاية مع القلق وشد الشعر . وعض الأظافر حتى اصبحت يداي بدون اظافر صدقوني هذة حقيقة .

المهم بعد الكثير من النقاشات وجدت ان حتى عمالقة البحث يعتمدون مبدء بسيط هو الكلمات المفتاحية .

لن اطيل عليكم بل دعونا ندخل لأسلوب الساموراي حيث أن الأخير يجعل كل اعدائه يتفرقون ويبقى امامة واحد يقاتلة بمعنى فرق تسد .
وهنا سوف نقوم بشرح الية الفهرسة وعرض المشكلات التي تواجه الساموراي.

الحالة :

لدينا 10000 سجل مكتوب باللغة العربية .
بعضها مكتوب بالتشكيل والأخر بدون .

المشكلة :
نريد البحث بسرعة فائقة وبدون قصور على الموارد . مع او بدون تشكيل .

الحل :

قمنا بسؤال سيد ساموراي وقمنا مع باللقاء التالي :
سيد ساموراي كيف لنا ان نحل المشكلة ؟

سامورياي يتكلم : أوكي شانا توكوشا _ داتا هوكي لاماسا أنوشي ستوماكشاتا .
( الأخ يتكلم صيني )

بعد الترجمة :
والله يا خونا تعال جيب لك منسف ونعزم علية اخوك أبو مشعل ترى بلا داتا بلا وجع راس وترى لا تنسى تحب على انف مشعل

هههههههههههههههههه

وبعد الطلب الجدي من الاخ ساموراي قال : وبعد الترجمة الحصيرية لقناة سوالف .
الفهرسة تعتمد مبدء عدم تكرار الكلمة ولكن يجب علينا ان نعلم اين تتواجد الكلمة ومن هنا لا نضطر للبحث عنها بكل السجلات .

الخوارزمية :
لدينا جدول بالعادة هو INDEX
فية 3 اعمدة – الاول WORD و الثاني – T_WORD والثالث : POS
ناخذ السجل الاول .
نحولة الى مصفوفة كل كلمة على حدى .
نزيل التشكيل من الكلمة ونجعل حرف ال أ و الحورف ذات الهمزات والنقاط كال ي والمدات تستوي بشكل واحد.

ندخل الان ضمن عمود WORD الكلمة الناتجة وفي عمود ال T_ WORD ندخل الكلمة الأصلية بدون معالجة

وضمن عمود ال POS ندخل رقم السجل الذي قمنا بمعالجتة وهو مثلا 1 فندخلها @1@

الان
نكرر العملية على كل سجل
وقت ادخال كلمة جديدة يجب التأكد هل موجودة في القاعدة في حال كانت موجودة نقوم فقط بتحديث حقل ال POS مثلا كان رقم السجل 10.

@1@10@

الان عندما ياتي شخص ويريد ان يبحث عن كلمة "جلال" مثلا وكانت موجدوه مشكلة اصلا بالقاعدة.

سوف نبحث بعمود ال WORD ونجدها بدون تشكيل ومن ثم ناخذ امكنة التواجد ونحضر السجلات المتعلقة بهم للمستخدم .

بهذة الطريقة بحثت بسرعة رهيبة تشابة سرعة إعصار تسونامي .


المشاكل من واقع التجربة :
عملية الفهرسة مرهقة لأبعد الحدود على القاعدة .
حيث انه لما تحول السجل الى مجموعه كلمات وتريد ان تتحقق عن الكلمة قبل ادخالها فعندك عملة استعلام لكل كلمة .وهذا بحد ذاتة ارهاق للقاعدة ويجب عليك ان تقوم بعملية ابديت (تحديث) وقت وجود الكلمة وهذا لا مفر منه ولا ننسى انه العملية تتم عن طريق المتصفح أي التايم اوت هو العدو الاول –

قمت ببرمجة برنامج على الدلفي يقوم بهذة المهمة ولكن حتى مع الدلفي وجاهت مشاكل حيث اني بفرض عندي 4000 الف سجل يقوم البرنامج بتحديد ال 4000 سجل بعملية استعلام واحدة وهذة ليست مشكلة .

ولكنه سوف يقوم بعملية دوران عليهم سجل سجل ومعالجة كل كلمة ومن ثم التحقق هل الكمة موجودة ضمن قاعدة البينات ام لا وفي حال كانت موجودة يحدث مكان التواجد وفي حال ما كانت موجودة يوقم بادخالها بالقاعدة + مكان التواجد الخاص بها ..


ما اطمع به (الساموراي يتحدث ) ان اجد حل لهذة المعضلة عند اخوانك بسوالف وهل وصلتم انتم العرب الى اساليب فهرسة على طريقة خالد بن الوليد !!

نتمنى منكم يا شباب ان تساعدو الساموراي في موضوعه


=====================================
مواضيع شيقة جدا :

في جعبتي حكاية(*7) .. (تطوير المواقع و أثرها على الكائن البشري) موضوع فريد من نوعة. إضغط هنا

في جعبتي حكاية - 9 -(أخيرا سكريبت الجزيرة دوت نت) في موقعك ( 1 2 ) إضغط هنا

في جعبتي حكاية -8 (المسنجر في سورية وفي الشركات الخاصة وبالجامعة !!!) إضغط هنا

في جعبتي حكاية (7) الشارة الحمارء..... إضغط هنا

6* في جعبتي حكاية (الانتحار بطريقة الكامي كازي.) إضغط هنا

في جعبتي حكاية (5* البحث في المنتديات). إضغط هنا


===================================






beshoo غير متواجد حالياً   قديم 20-08-2006, 02:43 PM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Mar 2005-
#2 (permalink)  

سورى مش فاهم حاجة

ولا يمكن علشان لسة صاحى من النوم






__________________

D0 Th3 B3$T 2B Th3 B3$T !
L1nux - L1f3 Fr33 0R D13

دمــاغ تــايـــهــــة

Eng.M7MoD@hotmail.com

MR_MAMI غير متواجد حالياً   قديم 20-08-2006, 03:42 PM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Apr 2000-
#4 (permalink)  

للفهرسة يفضل إستخدام أسلوب الـ Inverted Files وهو افضل اسلوب للفهرسة الخاصة بمحركات البحث خصوصا ، هذه الخوارزمية هي المستخدمة حاليا في قووقل لعملية الفهرسة ( لاحظ الفهرسة Indexing و ليس التقييم Ranking )

تحياتي






البرواز غير متواجد حالياً   قديم 20-08-2006, 06:56 PM
رد مع اقتباس
عضو فعال جدا
تاريخ التسجيل: Feb 2004-
#5 (permalink)  

خارج الموضوع وعذراً لبيشو:
البرواز:
ياليت تضيفني على :
mobde3 at gmail.com
أو تراسلني عليه لأعرف بريدك ونتحدث في موضوع






__________________
تركت عالم تطوير المواقع

مدونة المبدع العربي
المبدع العربي غير متواجد حالياً   قديم 20-08-2006, 07:35 PM
رد مع اقتباس
عضو فعال جدا
تاريخ التسجيل: Feb 2002-
#6 (permalink)  

لي تعقيب باذن الله ولكن هل لك ان تشرح


"ما اطمع به (الساموراي يتحدث ) ان اجد حل لهذة المعضلة عند اخوانك بسوالف وهل وصلتم انتم العرب الى اساليب فهرسة على طريقة خالد بن الوليد !! "

اولا !! فما هي طريقه خالد بن الوليد رضي الله عنه ؟






__________________
مؤسسة المهمات البرمجية
00966507585887
0507585887


www.mr-php.com.sa
www.mr-php.com
المهمة9 غير متواجد حالياً   قديم 20-08-2006, 09:25 PM
رد مع اقتباس
مراقب و خبير سيرفرات لينكس
تاريخ التسجيل: Mar 2001-
#7 (permalink)  

المهمة9


خالد بن وليد أبدع في فهرسة الجيش فيضع الفارس المناسب ولا يكرره مرة اخرى في نفس المكان
وهو سف الله المسلول ولا يوجد غيرة اي انه قيمة فريدة في القاعدة الإسلامية .

وتلك تشابية استقيت منها الكلام وخالد بن وليد بصراحة شخصية اسلامية اعشقها .

اخي البرواز ممكن تشرح اكتر عن Inverted Files

وبدوري سوف ابحث الان بغوغل عن الموضوع.






beshoo غير متواجد حالياً   قديم 20-08-2006, 11:12 PM
رد مع اقتباس
عضو سوبر نشيط
تاريخ التسجيل: Sep 2005-
#8 (permalink)  

أنا أوافقك على هذه الطريقة في حال واحدة وهي أن تكون قاعدة البيانات قاموس فتوجد في الحقل الواحد كلمة واحدة للسجل الواحد.

أما أن يحتوي الحقل الذي نريد أن نبحث فيه عن مقالة فلا أوافقك.

والسؤال .... هل يُمكن الاستغناء عن التشكيل؟

إذا كان نعم ... نقوم بإزالة التشكيل من البرنامج ... وهذا سهل على فكرة ...

ثم نقوم باستعمال fulltext search في الحقل الذي توجد فيه المقالة

ملاحظة مهمة: لا يمكنك أن تبدل الحرف آ مثلاً بـ ا لأن الكلمة مرآب غير مراب

وهذا يعني أن بعض النتائج لن تظهر إلا بوجود misspelling






Milad غير متواجد حالياً   قديم 21-08-2006, 06:46 AM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Apr 2000-
#9 (permalink)  

الغالي المبدع العربي ، تمت المراسلة ...

أخي بيشو ، قد يصعب علي تلخيص الـ Inverted Files في موضوع أو سلسلة مواضيع خاصة لمن ليس لهم خلفية في علم إستجلاب المعلومات Information Retrieval ، إبحث عن هذا الموضوع في قووقل و اذا احتجت أي مساعدة انا جاهز بإذن الله ...






البرواز غير متواجد حالياً   قديم 21-08-2006, 09:38 AM
رد مع اقتباس
مراقب و خبير سيرفرات لينكس
تاريخ التسجيل: Mar 2001-
#10 (permalink)  

قد بحثت وبصراحة وجدت ملف PDF ولكنة يشرح الموضوع بالمعادلات الرياضية ما لم ادرسها في الجامعة بصفتي خريج تجارة ممكن شرح ولو عن الفكرة ؟






beshoo غير متواجد حالياً   قديم 21-08-2006, 09:52 AM
رد مع اقتباس
عضو نشيط
تاريخ التسجيل: Oct 2005-
#11 (permalink)  

انا من فترة كنت أفكر في طريقة أرشفة للموقع بشكل كامل

يعني لو فرضا حبيت اعمل بحث في موقعي
وموقعي يحتوي على منتديات و أخبار و البوم صور و مقالات و .. و العديد كم الاقسام
أو بوصف أدق عندي أكثر من قاعدة بيانات

وحبيت أعمل بحث في كل صفحات الموقع

فشو رايكم الطريقة الممكنة لعمل هذه الفكرة؟






__________________
+------------------------
|أبو فادي
+------------------------
| http://www.palstine.info
+------------------------
| http://xremas.com
+------------------------
xremas غير متواجد حالياً   قديم 21-08-2006, 12:54 PM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Mar 2005-
#12 (permalink)  

كده فهمت


موضوع مفيد جدا جدا جدا






__________________

D0 Th3 B3$T 2B Th3 B3$T !
L1nux - L1f3 Fr33 0R D13

دمــاغ تــايـــهــــة

Eng.M7MoD@hotmail.com

MR_MAMI غير متواجد حالياً   قديم 21-08-2006, 12:54 PM
رد مع اقتباس
مراقب و خبير سيرفرات لينكس
تاريخ التسجيل: Mar 2001-
#14 (permalink)  

طيب مو عيب او حرام واحد يفهم بالرياضيات لو يقرى الكتاب وعلى الاقل بس يشرح المعادلات ولا يعني المنتددى بس صار منتدى سكريبتات ؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟

يعني احتجاناكم مرة ........... ولا خلاص ترى والله باندم لاني وضعت الموضوع واذا لم نصل الى حل بهذا الموضوع لكي يستفيد منه اخوانا ترى والله بترك سوالف . ويلي ما يهمة الموضوع لا يهمة ويلي بيهمة يسعى لكي نفهم هذا الموضوع . ترى صجونا الاجانب هم فاهمين ونحن خلفهم ونجيب حبير امريكي .






beshoo غير متواجد حالياً   قديم 21-08-2006, 08:09 PM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Apr 2000-
#15 (permalink)  

أبشر أخوي beshoo راح أشرح لك فكرة الـ Inverted files بغض النظر عن هذا الكتاب .. بس أمهلني بعض الوقت لكثرة مشاغلي هذه الأيام و لأن الموضوع يحتاج الكثير من التفصيل و الإسهاب .






البرواز غير متواجد حالياً   قديم 21-08-2006, 09:49 PM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Sep 2005-
#18 (permalink)  

السلام عليكم ،،،
موضوع جميل ... والكل ينتظر شرح الأستاذ البرواز ...
فكرة أخرى :
لماذا لا يتم اعطاء كل حرف رقم ... من 1 الى 28 ...
ا =1
ب=2
ت=3
ث=4
ج=5
ح=6
خ=7
د=8
ذ=9
ر=10
ز=11
س12=
ش13=
ص14=
ض15=
ط=16
ظ=17
ع=18
غ=19
ف=20
ق=21
ك=22
ل=23
م=24
ن=25
ه=26
و=27
ي=28

... وهكذا ...
وللحروف الأخرى مثل أ,إ،آ،ى،ء،ئ، أرقام من 29 الى نهاية هذه الحروف ...
في حال البحث عن الإنسان ... فإن البرنامج يحول الكلمة الى ارقام مثلاً الإنسان ستصبح "1،23،(1،29،<30>،31،32،33)،25،12،1،25"
طبعاً ما بين القوسين في ارقام تشير الى احتمالات حرف الألف ... والحرف الذي يقع بين القوسين <> هو الحرف الأولى في ان يظهر في مقدمة النتائج ... لأن الرقم 30 يشير الى حرف الألف مكسور الهمزة ...
السؤال : هل لهذه الطريقة أي فائدة أم أنها نفس البحث في الحروف ؟
وشكراً






مرشوش بفليت غير متواجد حالياً   قديم 23-08-2006, 04:00 PM
رد مع اقتباس
عضو نشيط
تاريخ التسجيل: Jun 2005-
#19 (permalink)  

مشكور اخي بيشوو على الموضوع المميز جدا

وطريقة جميلة اخي مرشوش بفليت
لاكن الا تعتقد انه بتتعب السيرفر على هذا النحول
والله اعلم خبرتي بسيطه بالنسبه للبحث






al-mobd3.net غير متواجد حالياً   قديم 23-08-2006, 06:39 PM
رد مع اقتباس
عضو فعال
تاريخ التسجيل: Apr 2000-
#20 (permalink)  

موضوع رائع في ويكيبيديا يختصر كل الكلام الذي يمكن أن أقوله عن هذا الموضوع :

http://en.wikipedia.org/wiki/Inverted_index

ملف PDF مبسط للفكرة :

http://www.csee.umbc.edu/~ian/irF02/...ted%20files%22

هناك مواضيع متقدمة في إستخدامات الـ Inverted Files و نسخ معدلة منه ، ولكن الفكرة الأساسية هي ما ذكر في ويكيبيديا ، و التعديلات دائما تأتي حسب حاجة المستخدم و حسب التجارب التي يقوم بها .

عذرا ، لضيق الوقت فضلت أن أضع مراجع مباشرة للعوده اليها بدلا من الشرح بنفسي ، فقد لا أتمكن من إيصال المعلومة بشكل صحيح ، و قد أتأخر عليكم ايضا أكثر من ذلك ..

تحياتي للجميع ..






البرواز غير متواجد حالياً   قديم 23-08-2006, 06:41 PM
رد مع اقتباس
مشرف قسم النطاقات
تاريخ التسجيل: Nov 2003-
#21 (permalink)  

اقتباس:
المشاركة الأصلية كتبت بواسطة مرشوش بفليت
السلام عليكم ،،،
موضوع جميل ... والكل ينتظر شرح الأستاذ البرواز ...
فكرة أخرى :
لماذا لا يتم اعطاء كل حرف رقم ... من 1 الى 28 ...
ا =1
ب=2
ت=3
ث=4
ج=5
ح=6
خ=7
د=8
ذ=9
ر=10
ز=11
س12=
ش13=
ص14=
ض15=
ط=16
ظ=17
ع=18
غ=19
ف=20
ق=21
ك=22
ل=23
م=24
ن=25
ه=26
و=27
ي=28

... وهكذا ...
وللحروف الأخرى مثل أ,إ،آ،ى،ء،ئ، أرقام من 29 الى نهاية هذه الحروف ...
في حال البحث عن الإنسان ... فإن البرنامج يحول الكلمة الى ارقام مثلاً الإنسان ستصبح "1،23،(1،29،<30>،31،32،33)،25،12،1،25"
طبعاً ما بين القوسين في ارقام تشير الى احتمالات حرف الألف ... والحرف الذي يقع بين القوسين <> هو الحرف الأولى في ان يظهر في مقدمة النتائج ... لأن الرقم 30 يشير الى حرف الألف مكسور الهمزة ...
السؤال : هل لهذه الطريقة أي فائدة أم أنها نفس البحث في الحروف ؟
وشكراً
اذا ما خانتني الذاكرة في اكثر من تجربة بنفس الفكرة في سوالف مارّه علي بنفس الفكرة ولكن في كم صعوبة ما اذكرها شنو بالظبط






__________________
بشار عبدالله العبدالهادي
شركة كويت نت, مسجّل معتمد من الآيكان
أقسم بالله العظيم لأساعد كل مسلم بخدمات النطاقات إن شاء الله لا تتردد بمراسلتي
KuwaitNET غير متواجد حالياً   قديم 25-08-2006, 04:19 AM
رد مع اقتباس
مراقب و خبير سيرفرات لينكس
تاريخ التسجيل: Mar 2001-
#22 (permalink)  

شباب - السلام عليكم . موضوع نعم قديم ولكن للن لم اجد حل له - حل مناسب

ما وصلت الية هو نفس الحل السابق ولكن لتسريع عملية بناء القاعدة الفهرس لا اقوم بتحديث سجل الكلمة ولكن اضيف سجل جديد يحوي الكلمة + مكان التواجد

بذلك اختصر عملية ال Update واللتي تقوم بقفل السجل وتحديثة ومن ثم فتحة بان اقوم بادخال سجل جديد مباشرة .

اعتذر عن رفع الموضوع القديم - ولكن بما اني صاحب الموضوع سامحونا .

هل من جديد في عالم قواعد البينات ؟






beshoo غير متواجد حالياً   قديم 11-04-2008, 01:59 AM
رد مع اقتباس
رد


 

أدوات الموضوع

تعليمات المشاركة
لا تستطيع كتابة مواضيع
تستطيع كتابة ردود
لا تستطيع إرفاق ملفات
لا تستطيع تعديل مشاركاتك

كود [IMG] متاحة
كود HTML معطلة
Trackbacks are متاحة
Pingbacks are متاحة
Refbacks are متاحة



الساعة الآن: 06:50 AM بتوقيت المملكة العربية السعودية