View Single Post
ישן 10-03-14, 16:13   # 2
בניה
משתמש - היכל התהילה
 
מיני פרופיל
תאריך הצטרפות: Oct 2005
מיקום: נחושה
הודעות: 3,434

בניה לא מחובר  

בוא נפשט את השאלה ונכתוב אותה במונחים המקצועיים:

יש לך URL שאתה רוצה לשלוח מהשרת שלך אליו בקשת HTTP כל X שניות ולנתח את הטקסט שהתקבל בחזרה.

מכיוון שאתה שולח את בקשת הHTTP אתה יכול לשלוט בכל המרכיבים שלה, אפילו שתראה כמו בקשה שכל דפדפן היה שולח. אפשר לעשות את זה אפילו אם אתה משתמש ב file_get_conmtens אם אתה נעזר בHTTP CONTEXT, אני אישית מעדיף לעבוד עם CURL

http://www.php.net/manual/en/context.http.php

הבעיה העיקרית שלך תהיה שכל הבקשות ישלחו מאותו IP/קבוצה מצומצמת של IPS ויוכלו לחסום אותך בקלות יחסית אם ירצו.

ויש עוד מנגנונים כדי למנוע/להפריע לסרקאפינג אוטומטי, גם עליהם אפשר להתגבר בהרבה מקרים אבל זה דורש יותר תחכום.
  Reply With Quote