ציטוט:
נכתב במקור על ידי The Chosen Generl
דניאל, הסבר כל כך מדויק וכל כך נכון.
אני מאמין שמה שאמרת מסכם את כל הנושא.
מצד שני אתה יכול לעשות נניח מנוע שמאנדקס רק דפים ראשיים, ואז זה יהיה פחות בעייתי, אבל הרבה פחות יעיל.
|
לא יעיל, לא כל מה שהאתר מציע לא נמצא בדף הבית.
לגבי זה שהגיב לפני: אתה מניח שאני שומר את כל הדפים שאני סורק בשרת (כמו גוגל), אבל הספיידר לא שומר את הדפים בשרת, כי אכן במקרה כזה תצטרך מאות - אלפי - עשרות אלפי שרתים מטורפים שיחזיקו את כל המידע, אני בניתי בצורה שזה מנתח את העמוד לפי מספר אלמנטים שעשיתי (במידה וזה מעניין אותך צור קשר אשלח לך את ה"שרטוט" של איך עובד הספיידר, מה הוא לוקח מכל עמוד וכו') ושומר רק את תוצאות העיבוד.
ושוב, כמובן שזה משפיע על החיפוש אבל לא השוואתי את זה לגוגל ושתיהיה מודע שרוב מנועי החיפוש הקטנים לא שומרים את כל דפי האינטרנט שהם מבקרים אלא רק את ה"עיבוד" שלהם - פשוט מאוד כי הם חסרי אמצעים או מנסים לחסוך.
עכשיו לשמור את הנתונים האלה - מגיע להרבה פחות.... אני בניתי בצורה שזה שומר את הנתונים בתוך קובץ TXT שמכיל את כל הפרטים וכמו שאני מאמין שאתה יודע, קובצי TXT מאוד קלי משקל.
ומה ששלחת ה"אתרים שמנסים להכשיל" - נכון זה לא מושלם אבל תאמין לי שעם הזמן אפשר לאט לאט לעבור כל מכשול ואם אתה לא מנסה להתחרות בגוגל, אתה תיהיה בסדר.