مجموعة اسألة www.twitter.com

[atlasarab]

بسم الله
السلام عليكم ورحمه الله

يا اخي اشوف هذا الموقع الي هو تويتر ادوخ وادوخ
اريد اعرف شلون يشتغل
يعني انا وانت ممكن نسوي موقع مثل تويتر لكن لو وصل المشتركين فيه قرابة المليون سوف تبدأ المشاكل
يعني يصير بطئ وغيرها من هاي المشاكل
اريد اعرف شلون يشتغل و بعد هذا كله سريع اخر حد السرعة يمكن اسرع من سوالف هههههههه



فيس بووك يقولون انه مجزئ الداتابيس تبعة الى اقسام يعني اغلب مشتركي السعودية مثلا تابعين لسيرفر السعودية
وفيه داتا بيس بالسعودية تشملهم
وكذلك الي بمصر و الخ.....
بس تويتر من غير الممكن ان يطبق نفس الفكرة
لان المتبعين هم خليط من كل الدول بشكل عشوائي
واكثر من كلمه عشوائي
يتبع ...........ز

[atlasarab]

السلام عليكم

انا كنت افكر هذه القاعدة شلون تتكون وقدرت اوصل لفكرة مثلا في جدول المستخدم

id  uname  upic upass unote ufollow 

وبالنسبة لجدول التويت يعني قصدي المحتوى

id twit uid send_to_id 

يعني هذا يشمل الجوهر
طبعا حسب فكرتي انا
لأن اريد انطلق بافكاري الى ابعد من هذا
يعني اريد اصعد بتفكيري الى مرحة اعلى

ملخص الكلام
كيف يعمل تويتر
انا اشوفة سريع و مستخدمينه كثيرين وفعال يعني المستخدمين ما قاعدين وساكتين
يعني فيه داتا بيس واحدة
حتى لو ما فيها ارشفة وغيرها
يعني ممكن تمسح المحتوى القديم
لكن ايضا المحتوى الجديد اكثر واكثر

[atlasarab]

الان انا اضن ان تويتر يستخدم داتا بيس اسرع من mysql
وبالنسبة للامان ما يحتاج امان
يحتاج سرعة وبس
وبالنسبة للجداول لازم يكون داتا بيس وحدة لكل جدول
للسرعة يعني فرضأ السيرفر رقم 1 ياخذ جدول واحد بس و نفرض انه المستخدمين وهاي الشغلات تبعهم
والسيرفر رقم 2 هو مسؤل عن توويت وبس و مافي شي غيرها مثلا الكمية والنوعية وتقسيمهم والخ
وبعد تطوير تويييتر وخاصة بدخول الجافا سكربت على الموقع
طبعا لازم يكون اسرع لان الاستعلامات راح تقل بكثير كثير
يعني انا بالموقع الفلاني واريد ارجع شوي ماكو داعي اسوي استعلام من الداتابيس لان مخزون بالجافاسكربت
هذا الموضوع هو للكلام عن تويتر
اكتب اي شي تعرفة حتى تكتمل الافكار يمكن في واحد عربي ممكن يصمم موقع يكافئ تويتر
يتبع

[Cenrak]

و عليكم السلام و رحمة الله و بركاته،
بأرد عليك على شكل نقاط،

1. هيكلة المواقع الكبيرة، و منها تويتر، تعتمد على لغات برمجة كثيرة (كل وحدة لها هدف) و بوتوكولات كثيرة. و على فكرة، أغلب البروتوكولات تصممها المواقع الكبيرة لحل مشكلة واجهتها في البروتوكولات المتوفرة لـ"عامة" الشعب و بعدها تطرح الحل للـ"عامة". فـ إذا جات شركة و تبغى تبنى موقع، تقدر تستفيد من اللي طرحته الشركات اللي قبلها
مثلا خلينا نتكلم عن قاعدة البيانات اللي في تويتر. الموقع، على حسب معرفتي و قراءتي، بدأ بـ MySQL لكن الموقع وصل لحاله من الصعب على MySQL يلحقها و بسرعة. فـ اضطرت تويتر تلجأ لتجربة حلول أخرى، و من ضمنها و المستخدمة حاليا، Cassandra. و Cassandra مبنى على إنه NoSQL اللي بدأته Facebook
هل هذا معناته لو استخدمت Cassandra بتوصل للسرعتهم؟
أكيد لا. شوف الصفحة هذه، http://twitter.com/about/opensource
هذه فيها كل شئ شاركت فيه تويتر للمجتمع الحر. و تقريبا كل شئ موجود مستخدم في الموقع. عدد مهول من المساهمات في المشاريع الكبيرة التابعة لأباتشي و غيرها من اللي مبنية من الصفر عشان تسهل المهمة ...
و هذه لو حبيت نفس الصفحة لمساهمات facebook : https://developers.facebook.com/opensource/

2. العرب، حاليا، لا يستطيعوا مجاراة الغرب في هذا المجال (للأسف). عشان نلحقهم، يبغالنا نبدأ باستخدام البروتوكولات الموجودة و توسيع نطاق تفكيرنا برة دائرة (كل المواقع php, mysql, ajax و بس). هذا غير يبغالنا نكون فريق مختص بالبرمجة و على اطلاع على الشبكات (لو اضطر الأمر لـ برمجة socket-layer programs) و معرفة بأنظمة التشغيل و قواعد البيانات ...

3. نجي لمشاكل تصميمك للجداول.

id  uname  upic upass unote ufollow

ufollow مالها أي داعي تكون هنا. لأن كل مرة واحد جديد يتابع تويتاتي، تبغى تجي للقيمة هذه و تحدثها و هذه شوية مهلكة لأنك : 1. بتقرا الجدول و تاخذ القيمة ufollow 2. تضيف الـ id للمتابع الجديد للقيمة المسترجعة 3. تحديث القاعدة.
و برضه لو تحذف متابع، هنا من جد بتهلك السيرفر اللي بتشتغل عليه من كثر الـ for.
المفروض تخلي المتابعين و الكتاب في جدول لحاله. يعني،

uID    uFollowerID

--------معلومة: نوع طريقة عمل قواعد البيانات المستخدمة في المواقع اللي تعمل على مبدأ الـ"متابع" Graph Database http://en.wikipedia.org/wiki/Graph_database
الجدول الثاني تقدر تخليه

id  uname  upic upass unote

جدول التويتات، تقدر تخليه

id twit uid

و بالنسبة لـ send_to_id، تقدر تعالج النص، و لو كان النص فيه @ ، تخلي اللي بعدها اسم الشحص. و هنا لو تخلي المعالجة تصير على مستوى الـ C تصير بطل
و الأحسن من التصميم هذا للجدول الأخير، تقدر تخلي الـ id عباة عن التاريخ. و تخلي التاريخ مع التويتة keys للمدخل، كذا بتمنع المشاركات المتطابقة اللي اتحطت في نفس الوقت و بنفس الوقت تقدر ترتبها حسب التاريخ

4. أنصحك تشوف http://www.youtube.com/watch?v=5cKTP...el_video_title لأنه يشرح كيف Mysql تستخدم في تويتر

سامحني لو فيه خطأ ،بس على وشك أنام و قاعد أكتب بعين مقفلة :app:

و تصبح على خير و نشوف بكرة ايش عندك

[atlasarab]

خلاص
انا عرفت الحل
انا لو كنت اي واحد وعندي 1000$
وقررت افتح شركة تدعم موقع من المواقع قصدي نكون موقع
والشركة معناها شراكة يعني بالخسارة والربح
وخلي نقسم ارباح المشروع الى 3 اقسام
القسم الاول للموقع نفسة والقسم الثاني ارباح بالجيب
والقسم الثالث ايضا للموقع بس هذا بيروح للاعلانات والتطوير
وماشاء الله فيه مواقع كثيرة تساعدنا بالتطوير خاصة من نشوف ترتيب موقعنا عالميا وندرسة بشكل علمي
والاعلانات
انا عندي فكرة لموقع لطيف
هو عبارة عن شركة اعلانات و..... ببلاش
يعني مبدأ بسيط
تضيف الرابط وتسجل وبين فترة وفترة تسوي تحديث وخلاص
ولكن فكرته مشابهه لفكرة تويتر
يعني متابعة وغيرها
بس شي جديد بالفكرة
اريد اسوي مثل فيس بووك اصدقاء ولكن ليس بطلب صداقة وانما الصداقة اجبارية
يعني الطرف الاول يضيف الطرف الثاني وخلاص يصيرون اصدقاء
ممكن ترشدني الى احسن طريقة لقاعدة البيانات
تكون فعالة وسريعة
ارجو انك فهمت قصدي
انا نزلت سكربت فيس بووك حتى اتعلم منة وحقيقة كانت برمجتة صعبة وانا لا اعرف اتعامل مع مكتبات وهذه الشغلات حقيقة ما احب اتوجه الها وارفضها
احسها تفيد الشركات اكثر وليس المبرمجين
الضاهر احتاج انزل توييتر حتى افتهم الفكرة اسهل احاول ابحث عنة واتعلم منه

[atlasarab]

بعد فيه اسءلة عن تويتر بس يجي وقتها بعدين
مو وقتها

[Cenrak]

فيه شوية تناقض ...

انا نزلت سكربت فيس بووك حتى اتعلم منة وحقيقة كانت برمجتة صعبة وانا لا اعرف اتعامل مع مكتبات وهذه الشغلات حقيقة ما احب اتوجه الها وارفضها

بالأصح هذه الكلمات

وهذه الشغلات حقيقة ما احب اتوجه الها وارفضها

اللي قاعد تقوله "أبغى أتعلم" بس "أرفض أتعلم" في نفس الوقت ...
يلا نستناك تبرمج موقعك بـ php و MySQL و تنزل موضوع "موقع سوف يحل مشكلة الفقر في العالم، لا فقراء بعد اليوم مع اعلانات موقعي" و بعدها بيومين تقفل الموقع بسبب إنه الداتابيس مش قادرة تتحمل ضغط الـ 200 مسجّل!

و نصيحة أخوية يا أطلس،
1. رتّب أفكارك صح.
2. لا تفكّر في المكسب و هوه بيجيك.
3. لا عمرك تفكّر تجبر المسجلين على شئ. مسألة الصداقة الاجبارية بتكون أحد الأسباب الرئيسية لفشل فكرتك

ممكن ترشدني الى احسن طريقة لقاعدة البيانات

إذا تحس إنه القاعدة اللي بتبنيها مستحيل تتعدى 1.5 تيرا و السرعة مو مرة مهمة وقتها، خليك على الـ MySQL. إذا تبغى السرعة و الأداء و الأريحية و الأفضل على الأمد البعيد و تقتدر تتحمل أي ضغط، روح لـ Cassandra...
او او حاب ترمي ادارة سيرفر الداتابيس لشركة، خذلك Amazon Relational Database Service
أصغر سيرفر بـ 11 سنت في الساعة ، 10 سنت لكل جيجابايت (مساحة)، و 10 سنت لكل مليون عملية كتابة أو قرائة، و 15 سنت لكل جيجا طالع من السيرفر (باندويدث)

و بالتوفيق

[محمد الثقفي]

تعتمد على عدة عوامل وهناك ادوات يمكنك استعمالها للمواقع الكبيره

استخدام SQL stream بالاضافه الى استخدام ال socket
او استخدام MySQL Cluster Carrier Grade Edition
استخدام load blancer للسيرفرات وتستطيع من خلالها جعل السيرفرات تعمل كسيرفر واحد
خفة البرمجيه واتقان البرمجه واستخدام دوال اسرع كمثال استخدام switch افضل من if, else
خفة التصميم ومحاولة عدم طلب الصور بشكل كبير من السيرفر
ايضاً يمكننا اضافة Media server اذا تطلب الامر


ماذكرته ينطبق فقط على موقع عدد زواره اليومي 3 مليون واكثر
واذا زاد كمثال 10 مليون في كل مره عليك وضع سيرفر جديد به كل ماذكر في الاعلى وربطه بواسطة load blancer مع السيرفرات الاخرى


موفقين ان شاءالله

[atlasarab]

السلام عليكم
اخي Cenrak شكرا على هذه المعلومات
لو تصورت ان الي عندهم مواقع على النت عددهم 4 مليون وانا اتصور اكثر
ما علينا
وبعد سنة كاملة الي سجل عندك100الف طبعا بالبداية الي يسجلون هم المواقع البسيطة
طبعا الي يبحثون على شهرة جديدة ويامكثرهم
يعني يعني موقعك جاب نتيجة كبيرة اكبر من مواقع الي سجلوا اصلا ومنتدياتهم ههههههههه
و انا لاحضت ان اغلب اصحاب المواقع ما عدهم شغل وعمل بس يحاولون يشهرون موقعهم
و ب هم نسبة ليست قليلة على النت


هذه نقطة مجرد تسوي حافز حتى اكمل الي اريد اقولة


وبعدين بما ان البرنامج هو للاعلانات والمشتركين هم من اصحاب الاعلانات
ف لامشكلة ان ضاف اي مسجل اي مسجل ثاني عندة يتبادلون اعلانات مواقعهم
وهذه هي الفكرة
يعني لو البرنامج يسمح بالتتبع مثل تويتر او مثل فيس بووك دعوات صداقة اتوقع يفشل بالكامل
القصد
ان المستخدم ما يتبع اي شخص ويقعد ينتظر يزداد العدد هذا اذا زاد احد بتتبعه هو وموقعة
قول ليش لأن جميع المستخدمين افكارهم متقاربة وهي نشر اعلاناتهم ولا يبالون باعلان الغير
فالصداقة القسرية هي الحل و هي شوف وانا اشوف (وحدة بوحدة)


اما المكسب يا اخي انا لست بفقير وما افكر بالمكسب
الحقيقة انا افكر بالشهر واضيف ان كل مشروع ناجح يبدي بفكرة
وانا رجل احب الشراكة لان الاستقلالية تبعدني عن البشر
والشراكة فيها افكار اكثر للتطوير وخاصة واحنا بزمن السرعة


وشكرا لصدرك الرحب
نرجع لمشكلة قاعدة البيانات
كيف اسويها باقل مشاكل و فعالة

وبالنسبة للصداقات الاجبارية كيف اسويها وانت رفضت فكرتي بالبداية

والله يساعدك علي
وهذا المنتدى اسمى سوالف يعني مشكلة لأن السوالف ماتخلص

[atlasarab]

شكرا محمد الثقفي

[tech]

بصراحة ياخوان انا اعتبر هذا الموضوع رائع وأن أختلفت وجهات النظر

[atlasarab]

يعني ممكن تشاركني tech
فانا احب المشاركة
تعرف انا ايش ينقصني؟
انا بمكان مافي انترنت يعني استخدم انترنت الموبايل GSM
و download rate عندي = 2 kp/s
بأختصار ما اقدر ارفع ملف على اي استضافة
السبب المكان الي نتواجد فيه بس
يعني اذا اريد ارفع ملف 1kb لاي سيرفر ما اقدر
واصلا انا من العراق يعني مافي ماستر كارد وغيرها من الشغلات الي تساعدني اأجر سيرفر
رحت كثير للسيرفات المجانية ليس لسبب ان مافي فلوس ولكن لسبب انه ماعندي ماستركارد وبس
وانا جيد بالبرمجة يخليني ابدئ بموقع او 2 او حتى ممكن ادير شركة صغيرة
وافكاري كثيرة


ما اريد اخرج عن الموضوع
انا بعدني افكر بالداتا بيس
وفعلا بديت اقراء عن كاساندرا و وصلت لمرحلة كبيرة
طبعا اخذت بنصيحة الاخ الكبير Cenrak
واتوقع اذا لقيدت الايد الي تساعدني ممكن يبدي المشروع على استضافة مجانية بدومين مدفوع
والكود عندي شبه جاهز للعمل يحتاج شوي ديكورات
والله المسهل
والنقطة الاهم الشراكة انا صح بديت وحيد وبنفسي و هي فكرتي لكن ابقى ابحث عن شركاء