10-07-07, 19:33
|
# 1 |
|
חבר וותיק
|
[סריקת אתרים] עם PHP
כיצד כל הנושא הזה פועל? כיצד ניתן לסרוק אתרים ולטעון את כל הנתונים שלהם למסד נתונים, אני מעונין ליצור משהו שיסרוק לי את כל הדפים באתר, ישמור את הלינקים שלהם, את הכותרות ( TITLE ) ואת כל הנתונים מה META TAGS,
הינה דוגמא של מערכת שעושה זאת http://www.xml-sitemaps.com/ נורא הסתקרנתי לדעתי כיצד זה פועל ואיך ניתן ליישם את מה שהם עשו גם ב PHP.
__________________
You don't shine if you don't glow
|
|
|
10-07-07, 19:45
|
# 2 |
|
משתמש - היכל התהילה
|
אני דיי בטוח שהם ישבו ופיתחו את זה במשך כמה חודשים לפחות. אז אתה לא מצפה [אני מקווה] שתקבל תשובה איך הם עשו את זה.
אני מניח שהעיקרון דיי פשוט, אתה נכנס לכל אתר, מקבל את הקוד שלו, ומחפש קישורים לדפים אחרים וכך הלאה. הרבה עבודה... |
|
|
|
10-07-07, 20:13
|
# 3 | |
|
חבר וותיק
|
ציטוט:
__________________
You don't shine if you don't glow
|
|
|
|
|
10-07-07, 20:18
|
# 4 |
|
חבר וותיק
|
אין מצב שזה עובר כל דף ודף באתר כי אז מה זה יעבור נגיד בגוגל במיליוני תארים דף דף?אין מצב אני לא מאמין שזה באמת ככה יכול להיות אולי שהם עשים באמת הכל בצורה רקורסיבית וכ"ו אבל אין מצב שהם עוברים דף דף אני אישית לא יודע איך עושים את זה...
__________________
בברכה, חיים.  |
|
|
|
10-07-07, 20:19
|
# 5 |
|
Whatever
|
הם נכנסים לאתר X, מחפשים קישורים ונכנסים לאתר Y ומחפשים גם בו קישורים בצורה רקורסיבית.
__________________
תומר |
|
|
|
11-07-07, 07:49
|
# 6 |
|
אחראי פורום
|
בוטים.
נכנסים לוואלה-ומאנדקסים אותו. מתחילים לעבור על כל קישור, וכו' וכו'. יש כמה בוטים חינמיים באינטרנט, גגל. |
|
|
|
11-07-07, 08:24
|
# 7 | |
|
הוסטסניון
|
ציטוט:
__________________
מפתח ומתחזק אתרים. |
|
|
|
|
11-07-07, 10:24
|
# 8 |
|
חבר וותיק
|
עזוב ערן, הוא מתחיל למחוק הודעות סתם כשהוא רואה שהוא טועה..גם בעוד אשכול הוא מחק.
בקשר ל"לא הגיוני"..לגוגל יש מספיק שרתים בשביל לעשות את זה.. |
|
|
 |
| חברים פעילים הצופים באשכול זה: 1 (0 חברים ו- 1 אורחים) | |
|
|
עבור למצב קווי
