שאיבת מידע מאתר.
 

שלום.
אני רוצה לשאוב מידע (הכל חוקי) מדף כלשהו.
בדף יש מספר שמשתנה באופן חי (AJAX) או משהו..כלומר לא צריך לרענן את בדף.
בכל אופן אני צריך דרך ךשאוב את המידע.
יש לי 2 שאלות:
1. אם אעשה זאת באמצעות file_get_content האם האתר שממנו אני שואב יוכלו לזהות שזוהי פונקציה שנכנסה לקוד מקור ולא באופן אנושי?
2. האם יש דרך לשאוב מידע מבלי שהאתר שממנו נשאב המידע ידעו?
ב file_get_content יראו שהתבצעה כניסה..האם יש דרך להסתיר זאת?
שוב, המידע משתנה באופן תמישי, בלי צורך לרענן.

תודה רבה.

בוא נפשט את השאלה ונכתוב אותה במונחים המקצועיים:

יש לך URL שאתה רוצה לשלוח מהשרת שלך אליו בקשת HTTP כל X שניות ולנתח את הטקסט שהתקבל בחזרה.

מכיוון שאתה שולח את בקשת הHTTP אתה יכול לשלוט בכל המרכיבים שלה, אפילו שתראה כמו בקשה שכל דפדפן היה שולח. אפשר לעשות את זה אפילו אם אתה משתמש ב file_get_conmtens אם אתה נעזר בHTTP CONTEXT, אני אישית מעדיף לעבוד עם CURL

http://www.php.net/manual/en/context.http.php

הבעיה העיקרית שלך תהיה שכל הבקשות ישלחו מאותו IP/קבוצה מצומצמת של IPS ויוכלו לחסום אותך בקלות יחסית אם ירצו.

ויש עוד מנגנונים כדי למנוע/להפריע לסרקאפינג אוטומטי, גם עליהם אפשר להתגבר בהרבה מקרים אבל זה דורש יותר תחכום.

אין לי בעיה שיראו שזה מאותו ip. אני הולך לבקר אץ הדף כל 10 דקות בערך..לא כל כמה שניות.
שק עזרה איך לעשות עם curl ושיראה כמו דפדפן?
אשמח לעזרה, תודה!

מה שצריך לעניין אותך יותר מהכל זה האם הנתון קיים שם בעליה הראשונית של הדף (האם הוא מגיע עם ה- HTML מהשרת) או נשלף באמצעות JavaScript תמיד.
אם הוא לא קיים ב- HTML מהשרת, אתה תצטרך לבצע פרוצדורה הרבה יותר מורכבת כדי להגיע אליו.

למה? הוא עדיין חלק המקוד מקור, מדוע איכפת לי איך הוא הגיע?

אם הוא מגיע באמצעות JavaScript תמיד, והוא לא מגיע כחלק מה- HTML בהתחלה - הוא לא קיים כשאתה קורא את ה- HTML ב- PHP שלך.
מה שאולי כן תוכל לעשות במקרה כזה, זה לקרוא ישירות מהכתובת שאליה ה- AJAX נשלח. שוב, רק במידה וזה באמת המצב - תבדוק את זה.

בוא נאמר שהכל נמצא בקוד המקור (נעזוב את זה כרגע כי כך זה ברוב המקרים), אם אני משתמש ב curl ושולח useragent כאילו זה דפדפן, האם יכולים בכל זאת לראות שזה סקריפט curl ולא דפדפן אמיתי?
שוב, הסקריפט יבקר באתר רק כל 20 דקות בערך.

גם אם תשלח את כל ההאדרים והכל, עדיין אפשר לעשות כל מיני טריקים ולנסות לזהות את זה, אבל זה לא לגמרי אמין ויכולים להיות לא מעט false positives.
אם אתה טוען שהכל חוקי, זאת לא צריכה להיות בעיה הרי.