[עזרה] מחפש דרך ליבא לאתר שלי את מספר תוצאות החיפוש לביטוי מסויים בגוגל
 

שלום , אני מחפש דרך XML או כל דרך אחרת
איך לייבא את מספר תוצאות החיפוש בגוגל לתוך האתר שלי
כלומר , אם אני יתן לו את הביטוי "הוסטס" הוא יחזיר לי :505,000
תודה ויום טוב

preg_match
אחרי שאתה מחפש את הביטוי יש שם שורה שהוא מציג כמה תוצאות יש, פשוט תיקח משם.

אשמח להסבר יותר מעמיק
עדיף בASP

בגדול הם יחסמו אותך אחרי כמה REQUESTS..

תקרא כאן
http://code.google.com/apis/soapsearch/index.html

הם נתנו SOAP API KEY שאיפשר להריץ שאילתות עם SOAP ולקבל חזרה, כאשר ההגבלה היא ל10 תוצאות פר שאילתה ואפשרות לשלוח עד 1000 שאילתות ביום
הם הפסיקו לתת את הAPI KEYS, אני מצטט
As of December 5, 2006, we are no longer issuing new API keys for the SOAP Search API. Developers with existing SOAP Search API keys will not be affected.

ככה שאם אין לך אז הייתי אומר שנתקעת (: אבל שוב - זה תלוי בכמות השאילתות שאתה שואף לעשות
אולי אפילו אפשר לבצע את השאילתות מהצד לקוח (ברמה של AJAX) ככה אתה לא צריך להריץ את הדברים על השרת ואין סיכוי ממשי לחסימה..

איך אני מריץ שאילתה מצד לקוח

אם אני אכנס לגוגל 100 פעמים בדקה, הם יחסמו אותי?

כן כמו כל אתר אחר שיש לו מנגנון נגד הצפות.

תריץ שאילתא בAJAX
ואחרכך תחפור בנתונים עם REGEX וJS בשביל להוציא את מה שאתה רוצה

נקודה חשובה: תשתמש בגוגל ספציפי (אל תכנס לגוגל קום כי ממה שאני יודע זה מבצע הפניה לפי לוקיישן) כי בכל גוגל התוצאות ממוקמות במקום אחר ואולי תצטרך רגקס אחר

בהצלחה

AJAX זה בעצם אותו דבר רק ללא רענון העמוד. אם תעשה את זה רגיל ב PHP ישירות או דרך AJAX אל PHP זה יהיה אותו דבר.

תתפלא

בPHP השרת שלך שולח את הREQUEST
בAJAX הבחור שצופה באתר שולח את הREQUEST לגוגל, אתה מקבל את התוצאות ובוחש בהם קצת
יש הבדל מאוד עקרוני בין שתי השיטות
בשיטה הראשונה כל הבקשות HTTP יוצאות מהשרת שלך
בשיטה השניה כל הבקשות יוצאות מהצופה כך האתר שלך לא יחסם

הבקשה היא זו שנשלחת בצד הלקוח העבודה עצמה נעשית בשרת. לכן אם אתה מתכוון שזה יזהה לפי IP או לא אז זה יהיה אותו הדבר. שני הבקשות גם דרך PHP רגיל גם AJAX יגיעו מאותו IP בסופו של דבר. ה IP של הלקוח לא יהיה זה ששולח אלה ה IP של השרת.

אתה בטוח?
אני לא רואה שום סיבה שבקשות AJAX ישלחו מהשרת.. אבל טוב לדעת
חוץ מזה אני בטוח שיש איזושהי קומבינה להריץ בקשות מהלקוח..

להריץ מהלקוח קוד שאמור לרוץ בצד שרת..עוד לא ראיתי ושמעתי. אבל AJAX בהחלט בהחלט רץ בצד השרת. בעצם אפשר לנסח את AJAX בתור "בקשת צד שרת ללא רענון העמוד הנוכחי" זה הכל.

ניצן, בסוגיה הנוכחית vadim88 צודק, אף על פי שיש דרך למשוך html דרך js היא שהקובץ שאתה מושך ממנו נמצא בשרת שלך או יותר נכון בדומיין שלך,
בכל מצב אחר שאתה צריך למשוך מגוגל כמו במצב הנוכחי הרי שהדף חיפוש לא נמצא בשרת אתה תצטרך לבצע בקשה מגוגל.

אתה יכול להתחכם ולשלוח את החיפוש לגוגל בjs עם iframe קטנציק לעשות עליו regex בjs ולהוציא ממנו את מספר התוצאות ואז או להציג אותו ללקוח או לשלוח אותו חזרה לשרת עם iframe אחר שמכיר פרמטר get של מספר התוצאות.

דבר כזה לא רק שלא בטוח לעשות אותו והוא לא ודאי. אלה גם יקח זמן לטעינה ממושכת והתוצאה לא בהכרח תחזיר את מה שבקשת. מה זה לעשות חיפוש ב גוגל עם JS ב IFRAME?!
אם תשים לב שהתוצאות בגוגל מוצגות בקוד JS ויהיה קשה לכתוב REGEX כדי שיוציא חלק מסויים משם. לכן הם הוציאו את ה API הזה ואני בטוח שהיו להם כל כך הרבה בקשות ביום שהם לא עמדו בעומס והפסיקו את השירות. בו לא ננסה להתחכם עם גוגל .. .כי זה בטוח יחזור בנו. :)

חח אתה צודק חבל על הזמן בנוגע לאג'קס - את האמת עד עכשיו הייתי בטוח שזה רץ בצד שרת רק שלפני שפרסמתי כאן את ההודעה ראיתי כמה אתרים שמריצים בקשות מהצד לקוח

בכל מקרה בפורומים בחו'ל מוכרים API KEYS כאלה, תקנה אחד (:

לי אישית יש אחד P: נרשמתי ב2005 D:

זאת טעות, התכוונתי לעשות את החיפוש מiframe
לדוגמא לעשות איפריים של http://www.google.co.il/search?q=TEST

ולהוציא את תוצאות מתוך האייפרים.

זה יהיה אותו הדבר בידיוק. אם תציב עמוד של גוגל בתוך IFRAME אצלך באתר עדיין תצטרך לפעול באותם הדרכים שרשומות בנושא הזה כדי לקבל את המחרוזת עם ביטויים רגולריים. זה ששמת את זה בתוך IFRAME לא יועיל הרבה.

אחריי שגוגל חיסלו את הSOAP API, הם ייצרו את ה AJAX API.
דוגמא למה שאתה רוצה לעשות כאן.

קח בחשבון את מה שנאמר כאן.

AJAX זה שם מפוצץ לרעיון פשוט שממומש ע"י מחלקה בJS.
JS שפת צד לקוח, מכאן שAJAX רץ בצד לקוח, מכאן שהIP של הבקשה הוא של הגולש, ולא של השרת.

סופ"ש שקט.

לא מסכים עם זה. AJAX רץ בצד השרת. בישביל שקוד ירוץ בצד הלקוח הוא צריך להיות בצד הלקוח זאת אומרת ב HTML של העמוד בקוד מקור. אתה רק קורא ל AJAX מצד הלקוח אבל הוא מבצע את כל הפעולות בצד השרת. לכן סביר להניח שה IP יהיה של השרת ולא של הגולש. זה הרבה יותר הגיוני.

לא מסכים, אפשר להתייחס לJS (AJAX) כClient ששולח בקשה לשרת שיבצע משהו ויחזיר תשובה(DATA), מכיוון שהשרת מבצע את הפעולה ולא הClient הIP של השרת הוא זה שבשימוש.

אכן. ברגע שיהיה אפשר להריץ פעולות שנעשות בצד השרת בצד הלקוח.....האינטרנט באמת יהיה הרבה יותר מהיר.

אם AJAX הוא JS איך הוא רץ בצד שרת?

זה נכון שהמידע בא מהשרת. אבל סקריפט יכול לשבת בשרת שלי ולבקש מידע משרתים אחרים,
כמו גוגל, פליקר, אמזון וכו'. ואז הIP שהם רואים הוא כמובן של הלקוח, וזה מה שכתבתי מקודם.

http://searchwindevelopment.techtarg...07521,00.html#

כמו שרשום מעלה, ללא שפת צד שרת ועם JS בלבד לא תוכל לעשות כלום. זה רק נעזר ב JS כדי לבצע את השאילתה לשרת שבעצם מבצע את כל הפעולה הנדרשת ואז מחזיר את זה בחזרה ללקוח. אי אפשר לבצע פעולת AJAX רק עם JS . ומכאן נובע שה IP יהיה של השרת ולא של הלקוח.

שוב, הבקשה של המידע מתבצאת בצד של הלקוח. שזה גם מה שאתה אומר.
כלומר, השרת יקבל את הIP של הלקוח, ועל זה היה כל הדיון.

הבקשה שמתבצעת בצד הלקוח היא הבקשה לצד השרת. בצד השרת כבר מתבצעת הבקשה אל כל גורם חיצוני שהוא, ולכן ה IP יהיה של השרת.

אתה לא עוקב.
ב"טופולגיה שלי" אין את השרת שלי, יש רק את השרת החיצוני.
תראה כאן:
http://www.freebsd.co.il/test/google_ajax_api.html

כאן, אתה מוריד את הHTML מהשרת שלי, והבקשה מתבצעת לשרתים של גוגל.
אין לי פה קוד צד שרת שלי בכלל, אלה רק קוד צד שרת בשרתים של גוגל, אבל זה כבר לא מעניין אותי.

אוקיי אתה מדבר איתי על דבר אחר לגמרי. אתה מדבר איתי על בקשת AJAX ל API של גורם חיצוני. זאת אומרת שאני מבקש ישירות לכתובת API של גורם חיצוני. שכבר מעבד את הנתונים בלי לעבור אצלי בשרת. במקרה הזה כן סביר להניח שה IP יהיה של הגולש ( למרות שאני עדיין לא בטוח לגבי זה ) שמגיע ישירות לאתר החיצוני.

חח וודאים על זה היה כל הדיון..
לשלוח REQUEST ישירות לגוגל ולפרסר את המידע שחוזר..

זה מה שדיברתי עליו כל השרשור, זאת גם הדוגמא שהבאתי בהודעה הראשונה שלי.
אם אתה לא בטוח, למה אתה כותב? קודם תבדוק.
אין ברירה אלה להשתמש בAPIים חיצוניים, אם עושים iframe לדומיין אחר, אנחנו לא יכולים
לקבל את התוכן שלו.

שבוע טוב.

מצטער כנראה לא קראתי נכון. לא משהו שאני זורק סתם.

זה המשפט שהטעה אותי כנראה. ומכאן הדיון הלך לכיוון אחר לגמרי. בקשת AJAX ל API של גורם חיצוני ישירות לפי ההגיון כן ה IP צריך להיות של הגולש כי זה לא עובר דרך השרת. למרות שאני לא בטוח לגמרי ולא מצאתי על זה כלום עדיין.

תרשו לי להכנס ולקבוע לכם עובדה,
כמו שנאמר פה כבר, AJAX זה אוסף ספריות JS
כשאתה עושה xmlHttpRequest בAJAX או בכלליות בJS, הלקוח פונה לאן שלא תפנה אותו

הדבר הזה ד"א מוביל להמון סוגים של התקפות, אני יכול באמצעות קוד שאני שם אצלי באתר לגרום לכל מי שמבקר בו לפנות לאתר אחר מבלי כל התערבות שלו או שהוא רואה את זה (ולא באמצעות IFRAME), וע"י זה או לעשות משהו לטובת התוקף, או לנצל את הלקוח כקרקע להתקפה אחרת (ז"א שהלקוח יבצע התקפה על אתר אחר מבלי שהוא מודע לכך)

לסיכום, כשאתם עושים בקוד שלכם JS, הוא רץ בסביבת הדפדפן, וכלום לא קורה בשרת (אלא אם הפעולה היא לפנות לשרת עצמו, כמו דפדוף בתוכן).
בכל מקרה, כל בקשה שהJS ייזום, תצא עם הIP של הלקוח!

שבוע טוב לכולם

זה ברור. השאלה נשאלת והדיון הולך כשהלקוח שמבצע את הפעולה שולח את הבקשה לשרת ומשם למקור חיצוני האם הכתובת של הלקוח תתקבל בשרת החיצוני או של השרת שקבל את הבקשה מהלקוח ושולח אותה לשרת החיצוני. שאני די בטוח שה IP של השרת הוא זה שישלח לשרת החיצוני ולא של הלקוח.

זה מביא אותי לשאלה שנשאלת, איך בידיוק אתם מבצעים פקודת AJAX לשרת חיצוני? בדרך כלל אי אפשר לבצע XHR לשרתים חיצוניים שהדומיין שלהם שונה מזה של הדומיין הנוכחי בו העמוד נמצא. אם הבקשה נשלחת לדומיין שהוא לא זהה לדומיין של העמוד שמריץ את הבקשה, סאב דומיין או פורט שונה אז הבקשה לא תשלח ותתקבל שגיאה בהתאם.

לא עבדתי עם GOOGLE API אבל AJAX ישירות לשרת חיצוני עוד לא עשיתי וזה גם כנראה למה אני לא בטוח בתשובה. אשמח לדעת את הפתרון בעצמי אבל אני אצטרך לדעת איך מבצעים את הפקודות אל GOOGLE הרי שליחת בקשה של AJAX מהדומיין test.com אל something.com לא ניתן לבצע.

תודה.

GOOGLE API זה WebService שאתה פונה אליו איך שבא לך, אם זה ע"י PHP PYTHON RUBY או פשוט SOAP
לא מומלץ בכלל לעשות את זה דרך הלקוח, כי אתה משתמש במזהה API יחודי לך, ואם GOOGLE רואים שהם מקבלים פניות ממלא כתובות שונות מאותו KEY הם יחסמו את המפתח הזה כאילו שהוא הודלף לאינטרנט
אם אתה משתמש בAPI KEY עדיף שתעשה את זה מהשרת שלך, זה היעוד שלו

מה שאי אפשר לעשות עם JS זה לדבר עם אובייקטים מאתר אחר (כמו COOKIES וכאלה), אבל בהחלט ניתן לבצע בקשות לתוכן מאתרים אחרים
אפשר בקלות לעשות JS שפונה באופן לגיטימי לGOOGLE.COM ולפרסר את התוכן, אבל זה איטי ולא נוח, בשביל זה יש API שמחזיר את התוצאות במהירות בXML ונוח לעבוד איתו

טוב, אני לא בטוח לגבי הנושא הזה ולא רוצה להגיד סתם. אני אבדוק את זה בעצמי ובכך לפחות יסדר את זה לעצמי בראש. יש לי ניסיון ב SOAP ו WEB SERVICES למיניהם. עד היום לא נתקלתי ב WEB SERVICE שנשלח ישירות מצד הלקוח לשרת החיצוני . כל בקשה עברה דרך השרת המקומי -> לחיצוני. לכן זה קצת לא מסתדר לי. בכל מקרה מה שבטוח במידה והלקוח ביצע פעולת AJAX שעוברת דרך השרת המקומי ואז לשרת החיצוני הIP שהתקבל בשרת החיצוני הוא של השרת המקומי שבצע את השליחה. (אני 99.9% בטוח בזה). בנוגע לזה שהלקוח ישלח בקשה ישירות לשרת החיצוני ללא מעבר בשרת המקומי זה כבר נושא אחר שאין לי כרגע ניסיון איתו וידע כדי לנסות ולהגיד בוודאות את הIP שנשלח. בכל מקרה בשני המקרים פרקטיקה טובה תיהיה לעבור כמובן בצד השרת ולא ישירות לשרת המרוחק בעזרת AJAX זאת גם הסיבה כנראה שלא מצאתי מידע לגבי זה כי זה פשוט לא נפוץ ולא מומלץ.

לאחר כמה בדיקות, שאלות וקריאה הגעתי לעובדות הבאות:

1. ביצוע קריאה בעזרת AJAX על ידי לקוח אל קובץ שנמצא בשרת המקומי, שלאחר מכן מתחבר לשרת חיצוני ה IP שהשרת החיצוני יקבל הוא של השרת המקומי!
2. ביצוע קריאה בעזרת AJAX על ידי הלקוח אל קובץ שנמצא בשרת חיצוני ישירות כאמור יתקבל ה IP של הלקוח בשרת החיצוני. ברוב המקרים זה בלתי אפשרי כמו שציינתי למעלה כי אי אפשר לבצע קריאות XHR לדומניים מחוץ לדומיין הנוכחי (גם לא סאב דומיין) לכן זה לא כל כך אפשרי (למרות שיש דרכים לעקוף את זה כמו לדוגמא: לחץ כאן).

מקווה שהמסקנות שהגעתי אליהם בדרך הארוכה יעזרו כאן למשהו.

זה בידיוק מה שאמרתי :)

אחלה :). לא משהו אישי אבל אני תמיד מנסה לבדוק דברים בעצמי שאני לא בטוח בהם. ככה שאחר כך אני אדע שאני אומר דברים שאני יודע ובדקתי.