קבלת מידע מHTML ושמירתו בTXT/HTML כפלט

[Tyler]

אני מעוניין להוציא את המידע מהעמוד הבא
https://ru.wikipedia.org/wiki/%D0%9A...B8%D1%82%D1%83

Показано 200 страниц из 30 624, находящихся в данной категории.

תרגום: "מוצגים 200 שמות מתוך 30,624"

(предыдущие 200) (следующие 200)

תרגום: (200 קודמים) (200 הבאים).

בכל עמוד יש 200 שמות של מעיינות.
יש בסה"כ 30,624 מעיינות.
זה יוצא משהו בסביבות ה153 דפים בסה"כ.

אני מעונין לכתוב קוד שיעבור על כל ה153 ויוציא מכל דף את ה200 שמות שמופיעים בו לתוך קובץ TXT או HTML.

לבסוף אני רוצה שייצא קובץ פלט עם כל ה30,624 שמות בו.

חשבתי להשתמש ב:
file_get_html אבל הסתבכתי קצת בעיקר בגלל שמדובר פה במספר דפים ולא בעמוד אחד שאני רוצה למשוך ממנו מידע. כלומר אני לא צריך רק למשוך את המידע מהעמוד, אלא למשוך ולעבור עמוד ולמשוך מהעמוד הבא וכך הלאה.

גם ניסיתי לחפש משהו בAPI של ויקיפדיה או בקבצי המסד שלהם (שמפורסמים לציבור ומעודכנים מידי יום), ניסיתי למצוא איזשהי דרך העברה לXML או משהו בסגנון ישירות מהאתר שלהם. לא הצלחתי למצוא שום דבר.

אשמח לעזרה, תודה.

[meshuga]

תעשה דף PHP שמשתמש בfile_get_html
במקביל, דף HTML שעם AJAX מוסר לו לאיזה דף לגשת, ברגע שהוא מקבל תשובה שהוא סיים עם הדף הנוכחי, בAJAX תשלח אותה בקשה, עם העמוד הבא (או אם צריך גם תחזיר לו לאיזה עמוד לגשת...)...
(בהנחה שבדף PHP לכל עמוד אתה מפרק ומכניס לDB משלך)

[Tyler]

נכתב במקור על ידי meshuga

תעשה דף PHP שמשתמש בfile_get_html
במקביל, דף HTML שעם AJAX מוסר לו לאיזה דף לגשת, ברגע שהוא מקבל תשובה שהוא סיים עם הדף הנוכחי, בAJAX תשלח אותה בקשה, עם העמוד הבא (או אם צריך גם תחזיר לו לאיזה עמוד לגשת...)...
(בהנחה שבדף PHP לכל עמוד אתה מפרק ומכניס לDB משלך)

תודה אני אנסה את זה למרות שזה נראלי מסובך מידי ואולי גם לא יעבוד.
יש מישהו שהמליץ לי לי להשתמש בפונקציה של xpath במקביל עם הgoogle docs ולהעביר הכל לדף של אקסל איכשהו.

[meshuga]

נכתב במקור על ידי Tyler

תודה אני אנסה את זה למרות שזה נראלי מסובך מידי ואולי גם לא יעבוד.
יש מישהו שהמליץ לי לי להשתמש בפונקציה של xpath במקביל עם הgoogle docs ולהעביר הכל לדף של אקסל איכשהו.

זה לא מסובך ואני לא רואה למה שלא יעבוד...אם אתה יודע JQUERY זה ממש כמה שורות בJS..
ובPHP זה גם קצת (תלוי איך אתה מפרק את המידע שם...קצת ביטויים רגולרים...לא ממש סיפור)