בניית מנוע חיפוש...הכיצד? - עמוד 2 - הוסטס

Shay Ben Moshe · 11-09-09, 14:14

אני חושב שמכניסים לו פשוט אתר, והוא מתחיל ללחוץ על קישורים.. וככה המאגר גדל
עריכה: עקפתם אותי :/
לגבי 1, לא לכל אתר יש לינק מאתר אחר, לכן לא כל האינטרנט מאונדקס אלא רק חלק מסויים.
לגבי 2 זה לוקח המון המון זמן לאנדקס, במיוחד אם אין לך חוות שרתים שמבצעות את זה.

~~bilopay~~ · 12-09-09, 14:14

נגיד ויש לך את המערכות.
אתה צריך הרבה שרתים כדי להכיל את המידע

Shay Ben Moshe · 12-09-09, 21:15

דניאל, הסבר כל כך מדויק וכל כך נכון.
אני מאמין שמה שאמרת מסכם את כל הנושא.

מצד שני אתה יכול לעשות נניח מנוע שמאנדקס רק דפים ראשיים, ואז זה יהיה פחות בעייתי, אבל הרבה פחות יעיל.

Inet · 12-09-09, 22:35

ציטוט:

נכתב במקור על ידי The Chosen Generl

דניאל, הסבר כל כך מדויק וכל כך נכון.
אני מאמין שמה שאמרת מסכם את כל הנושא.

מצד שני אתה יכול לעשות נניח מנוע שמאנדקס רק דפים ראשיים, ואז זה יהיה פחות בעייתי, אבל הרבה פחות יעיל.

לא יעיל, לא כל מה שהאתר מציע לא נמצא בדף הבית.

לגבי זה שהגיב לפני: אתה מניח שאני שומר את כל הדפים שאני סורק בשרת (כמו גוגל), אבל הספיידר לא שומר את הדפים בשרת, כי אכן במקרה כזה תצטרך מאות - אלפי - עשרות אלפי שרתים מטורפים שיחזיקו את כל המידע, אני בניתי בצורה שזה מנתח את העמוד לפי מספר אלמנטים שעשיתי (במידה וזה מעניין אותך צור קשר אשלח לך את ה"שרטוט" של איך עובד הספיידר, מה הוא לוקח מכל עמוד וכו') ושומר רק את תוצאות העיבוד.

ושוב, כמובן שזה משפיע על החיפוש אבל לא השוואתי את זה לגוגל ושתיהיה מודע שרוב מנועי החיפוש הקטנים לא שומרים את כל דפי האינטרנט שהם מבקרים אלא רק את ה"עיבוד" שלהם - פשוט מאוד כי הם חסרי אמצעים או מנסים לחסוך.

עכשיו לשמור את הנתונים האלה - מגיע להרבה פחות.... אני בניתי בצורה שזה שומר את הנתונים בתוך קובץ TXT שמכיל את כל הפרטים וכמו שאני מאמין שאתה יודע, קובצי TXT מאוד קלי משקל.

ומה ששלחת ה"אתרים שמנסים להכשיל" - נכון זה לא מושלם אבל תאמין לי שעם הזמן אפשר לאט לאט לעבור כל מכשול ואם אתה לא מנסה להתחרות בגוגל, אתה תיהיה בסדר.

intercooler3819 · 13-09-09, 13:37

תקרא קצת על HADOOPS וכמובן תבדוק מה עם AMAZON S3 ושאר השירותים עננים (לא שאני תומך בהם אבל זה יכול לחסוך) גם GOOGLE ENGINE כמובן
גם הייתי מציע לקרוא על ZEND SEARCH LUCENE ועל APACHE LUCENE
טוב אם כבר אז עד הסוף... תחפש קצת על NUTCH, SOLR, COMPASS, בעיקר נאצ'

אין לי כרגע זמן לכתוב אבל אני מבטיח לך שאם יש לך אנגלית בסיסית תצליח ללמוד הרבה עם כל הביטויים שציינתי כאן

אם יש בעיות אתה מוזמן לשאול

AlmogBaku · 13-09-09, 14:51

http://i-zm.info/data/article.phtml?c_id=10&id=364

11-09-09, 14:14	# 1
Shay Ben Moshe משתמש - היכל התהילה מיני פרופיל תאריך הצטרפות: Oct 2007 הודעות: 1,397	אני חושב שמכניסים לו פשוט אתר, והוא מתחיל ללחוץ על קישורים.. וככה המאגר גדל עריכה: עקפתם אותי :/ לגבי 1, לא לכל אתר יש לינק מאתר אחר, לכן לא כל האינטרנט מאונדקס אלא רק חלק מסויים. לגבי 2 זה לוקח המון המון זמן לאנדקס, במיוחד אם אין לך חוות שרתים שמבצעות את זה. __________________ שי בן משה - בונה אתרים חותך אתרים, ומתכנת צד לקוח וצד שרת.

12-09-09, 21:15	# 3
Shay Ben Moshe משתמש - היכל התהילה מיני פרופיל תאריך הצטרפות: Oct 2007 הודעות: 1,397	דניאל, הסבר כל כך מדויק וכל כך נכון. אני מאמין שמה שאמרת מסכם את כל הנושא. מצד שני אתה יכול לעשות נניח מנוע שמאנדקס רק דפים ראשיים, ואז זה יהיה פחות בעייתי, אבל הרבה פחות יעיל. __________________ שי בן משה - בונה אתרים חותך אתרים, ומתכנת צד לקוח וצד שרת.

13-09-09, 13:37	# 5
intercooler3819 חבר וותיק מיני פרופיל תאריך הצטרפות: Jul 2008 הודעות: 1,056	תקרא קצת על HADOOPS וכמובן תבדוק מה עם AMAZON S3 ושאר השירותים עננים (לא שאני תומך בהם אבל זה יכול לחסוך) גם GOOGLE ENGINE כמובן גם הייתי מציע לקרוא על ZEND SEARCH LUCENE ועל APACHE LUCENE טוב אם כבר אז עד הסוף... תחפש קצת על NUTCH, SOLR, COMPASS, בעיקר נאצ' אין לי כרגע זמן לכתוב אבל אני מבטיח לך שאם יש לך אנגלית בסיסית תצליח ללמוד הרבה עם כל הביטויים שציינתי כאן אם יש בעיות אתה מוזמן לשאול __________________


	ההרשמה לפורום נפתחה - אפשרות רישום לכל אימייל (דומיינים פרטיים, gmail, הוטמייל..)!

12-09-09, 14:14	# 2
~~bilopay~~ חסום מיני פרופיל תאריך הצטרפות: Aug 2008 הודעות: 452	נגיד ויש לך את המערכות. אתה צריך הרבה שרתים כדי להכיל את המידע

13-09-09, 14:51	# 6
AlmogBaku חבר וותיק מיני פרופיל תאריך הצטרפות: Nov 2007 מיקום: מודיעין הודעות: 1,022	http://i-zm.info/data/article.phtml?c_id=10&id=364

חברים פעילים הצופים באשכול זה: 1 (0 חברים ו- 1 אורחים)