10-03-14, 15:57 | # 1 |
חבר וותיק
|
שאיבת מידע מאתר.
שלום.
אני רוצה לשאוב מידע (הכל חוקי) מדף כלשהו. בדף יש מספר שמשתנה באופן חי (AJAX) או משהו..כלומר לא צריך לרענן את בדף. בכל אופן אני צריך דרך ךשאוב את המידע. יש לי 2 שאלות: 1. אם אעשה זאת באמצעות file_get_content האם האתר שממנו אני שואב יוכלו לזהות שזוהי פונקציה שנכנסה לקוד מקור ולא באופן אנושי? 2. האם יש דרך לשאוב מידע מבלי שהאתר שממנו נשאב המידע ידעו? ב file_get_content יראו שהתבצעה כניסה..האם יש דרך להסתיר זאת? שוב, המידע משתנה באופן תמישי, בלי צורך לרענן. תודה רבה.
__________________
מתכנת php אמין ומקצועי. מחירים נוחים! יצירת קשר: 0544378743 |
10-03-14, 16:13 | # 2 |
משתמש - היכל התהילה
|
בוא נפשט את השאלה ונכתוב אותה במונחים המקצועיים:
יש לך URL שאתה רוצה לשלוח מהשרת שלך אליו בקשת HTTP כל X שניות ולנתח את הטקסט שהתקבל בחזרה. מכיוון שאתה שולח את בקשת הHTTP אתה יכול לשלוט בכל המרכיבים שלה, אפילו שתראה כמו בקשה שכל דפדפן היה שולח. אפשר לעשות את זה אפילו אם אתה משתמש ב file_get_conmtens אם אתה נעזר בHTTP CONTEXT, אני אישית מעדיף לעבוד עם CURL http://www.php.net/manual/en/context.http.php הבעיה העיקרית שלך תהיה שכל הבקשות ישלחו מאותו IP/קבוצה מצומצמת של IPS ויוכלו לחסום אותך בקלות יחסית אם ירצו. ויש עוד מנגנונים כדי למנוע/להפריע לסרקאפינג אוטומטי, גם עליהם אפשר להתגבר בהרבה מקרים אבל זה דורש יותר תחכום.
__________________
קו ישר, כי אפשר גם אחרת |
10-03-14, 19:49 | # 3 |
חבר וותיק
|
אין לי בעיה שיראו שזה מאותו ip. אני הולך לבקר אץ הדף כל 10 דקות בערך..לא כל כמה שניות.
שק עזרה איך לעשות עם curl ושיראה כמו דפדפן? אשמח לעזרה, תודה!
__________________
מתכנת php אמין ומקצועי. מחירים נוחים! יצירת קשר: 0544378743 |
10-03-14, 23:32 | # 5 |
חבר וותיק
|
למה? הוא עדיין חלק המקוד מקור, מדוע איכפת לי איך הוא הגיע?
__________________
מתכנת php אמין ומקצועי. מחירים נוחים! יצירת קשר: 0544378743 |
10-03-14, 23:55 | # 7 |
חבר וותיק
|
בוא נאמר שהכל נמצא בקוד המקור (נעזוב את זה כרגע כי כך זה ברוב המקרים), אם אני משתמש ב curl ושולח useragent כאילו זה דפדפן, האם יכולים בכל זאת לראות שזה סקריפט curl ולא דפדפן אמיתי?
שוב, הסקריפט יבקר באתר רק כל 20 דקות בערך.
__________________
מתכנת php אמין ומקצועי. מחירים נוחים! יצירת קשר: 0544378743 |
חברים פעילים הצופים באשכול זה: 1 (0 חברים ו- 1 אורחים) | |
|
|