[MasterNir]

אמרת את זה בעצמך... נתן לו שעה אפילו, נראה לך שהסקריפט יעבור על אחוז כל שהוא מהאינטרנט?

[eLad]

איך עושים? די בקלות האמת היא..

אני בונה סקריפט קטן (סה"כ סביבות ה 100-200 שורות בלבד) שבנוי ב ASP (עם Jscript בצד שרת, אבל אפשרי גם עם Vbscript מן הסתם אבל זה יהיה קצת איטי יותר)

אני מזין למערכת כתובת של אתר גדול, נניח בתור התחלה www.walla.co.il
בעזרת xmlHTTP אני נכנס לעמוד ומחפש אחרי הביטוי הזה:

<a _____ href=" XXXXX " ____> ___ </a>

איפה שמופיע קו תחתון אני מתעלם ממנו (כי אני לא צריך את זה) ובסופו של דבר אני מכניס לתוך משתנה את ה XXXXXים שקיימים בכל עמוד. כלומר, את הלינקים הקיימים בו.

ואז אני פשוט קורא לפונקציה ברקורסיה שתתחיל להיכנס גם לתת - קישורים (נניח www.walla.co.il/bla/bla.asp) ותיכנס גם לתת - תת קישורים וכך הלאה עד אינסוף

אני מתבסס על העובדה שסביר להניח שלפחות קישור אחד מוואלה מפנה לאתר אחר (נניח לצורך הדוגמא ynet) ואז המערכת תיכנס ל ynet ותתחיל לעבור על כל הקישורים ב ynet (ושוב אני מתבסס על העובדה שסביר להניח שלפחות קישור אחד מ Ynet מכוון לאתר אחר) וכך הלאה והלאה ובעצם אין לזה סוף

איך אני מאנדקס את המידע?
משתמש באופציה נחמדה שקיימת בשרת windows שנקראית index server ומאפשרת לי לאנדקס דפים ולחפש בהם בשניות

כדי להריץ סקריפט כזה עם אינסוף רמות צריך כמה מחשבים די חזקים ..