הוסטס - פורום אחסון האתרים הגדול בישראל

הוסטס - פורום אחסון האתרים הגדול בישראל (https://hosts.co.il/forums/index.php)
-   פורום תיכנות (https://hosts.co.il/forums/forumdisplay.php?f=14)
-   -   הורדת מסד נתונים (https://hosts.co.il/forums/showthread.php?t=74038)

dnvntr1 29-04-09 12:44

הורדת מסד נתונים
 
אני כותבת תוכנית שמשתמשת בנתונים מאתר מסוים ואני צריכה להתקשר למסד נתונים שעליו מתבסס האתר למישהו יש מושג איך עושים את זה????-זקוקה לתשובה בדחיפות!
תודה מראש:-)

בניה 29-04-09 12:53

את רוצה לתקשר ישירות עם מסד נתונים של אתר מסויים?
בדרך כלל אתרים לא נותנים גישה למסד נתונים שלהם...
את יכולה להשיג נתונים מהדפים של האתר.

dnvntr1 29-04-09 13:15

תודה על התגובה המהירה
אני צריכה לעדכן את הנתונים כל הזמן-בזמן אמת וחוץ מזה כל התוכנית מתבססת על המון נתונים משם(שמחולקים לכמה דפים )ולהגיע דרך הדפים של האתר זה מסורבל ומסובך -אין דרך לעקוף את הגישה -יש לאתר הזה אפשרות של הורדת נתונים כקובץ אקסל יש אפשרות להשתמש בזה? (דרך הקוד כמובן)

בניה 29-04-09 13:33

אפשר קישור לאתר הזה?
צריך לראות איזה קובץ exel הוא מיצא.

dnvntr1 29-04-09 14:26

לא הבנתי

Slash 29-04-09 16:44

תגידי לי אם אני מבין אותך נכון .

את רוצה למשוך מאתרים קיימים שנותנים לך אפשרות למשוך מהם קובץ אקסל שמכיל מידע נוסח מסד נתונים , ואת רוצה למשוך את הקובץ ולעדכן אותו על השרת שלהם ?

intercooler3819 29-04-09 17:58

באיזה שפה את מפתחת

בנוסף תני לינק לאתר המיועד ולקובץ אקסל בנוסף

ואיזה מידע תרצי לשלוף

dnvntr1 29-04-09 19:07

-אני לא רוצה לעדכן את הקובץ בשרת שלהם, אני רוצה להעביר את הנתונים אלי, אבל אני צריכה להגיע לנתונים דרך הקוד לא דרך הכפתור שהם נותנים.
-אני כותבת בשפת c#
-האתר:‪http://‬www.tase.co.il
-[http://www.tase.co.il/TASE/Management/GeneralPages/PopUpGrid.htm?tbl=0&Columns=142AddColColumnsGrafh& Titles=142AddColTitlesGrafh&ds=142dsGrafh&gridName =נתוני+הגרף+-+ת"א+-+25=URL]
המסד נתונים
[URL/]
תודה לכולם!

FuZuL 29-04-09 19:21

ציטוט:

נכתב במקור על ידי dnvntr1 (פרסם 711903)
-אני לא רוצה לעדכן את הקובץ בשרת שלהם, אני רוצה להעביר את הנתונים אלי, אבל אני צריכה להגיע לנתונים דרך הקוד לא דרך הכפתור שהם נותנים.
-אני כותבת בשפת c#
-האתר:‪http://‬www.tase.co.il
-[http://www.tase.co.il/TASE/Management/GeneralPages/PopUpGrid.htm?tbl=0&Columns=142AddColColumnsGrafh& Titles=142AddColTitlesGrafh&ds=142dsGrafh&gridName =נתוני+הגרף+-+ת"א+-+25=URL]
המסד נתונים
[URL/]
תודה לכולם!

ממבט ראשון המסד שלהם מאוחסן על שרת חיצוני או אותו שרת אבל סאב דומיין אחר, מה שאת צריכה לעשות זה לסרוק פורטים על השרת עם המסדי נתונים, ולהתחבר אליו.
כמו שמתחברים למסד רגיל, במקום localhost -
mysql.tase.co.il:8080
סתם דוגמא.
בקיצור את שמות הטבלאות,המסדים וכו' את יכולה למצוא דרך sql injection באתר.
אם את לא רוצה את הדרך הזאת תצרי קשר עם בעלי האתר ותבקשי גישה למסד.

dnvntr1 29-04-09 19:32

-אני לא רוצה לשנות את הנתונים באתר שלהם אני רוצה להשתמש בנתונים שלהם אבל לא דרך הדף שלהם אלא דרך הקוד.
-אני כותבת בשפת #C
-האתר:‪http://‬www.tase.co.il
-הנתונים: http://www.tase.co.il/TASE/Managemen...גרף+-+ת"א+-+25
-השערה שלי בקשר למקור הנתונים שלהם(לפי הקוד), (לא עובד) :‬http://www.tase.co.il//TASE/Pages/ExcelExport.aspx

dnvntr1 29-04-09 19:37

-אני לא רוצה לשנות את הנתונים באתר שלהם אני רוצה להשתמש בנתונים שלהם אבל לא דרך הדף שלהם אלא דרך הקוד.
-אני כותבת בשפת #C
-האתר:‪http://‬www.tase.co.il
-הנתונים: http://www.tase.co.il/TASE/Managemen...גרף+-+ת"א+-+25
-השערה שלי בקשר למקור הנתונים שלהם(לפי הקוד), (לא עובד) :‬http://www.tase.co.il//TASE/Pages/ExcelExport.aspx

FuZuL 29-04-09 19:38

לא הזכרתי deface בשום מקום, פשוט יש 2 דרכים
- לגלות לבד
- לבקש רשות
האפשרות השנייה פשוט איטית

dnvntr1 29-04-09 19:41

סליחה על הבורות אבל מה זה "לסרוק פורטים על השרת עם המסדי נתונים"?

FuZuL 29-04-09 20:06

ציטוט:

נכתב במקור על ידי dnvntr1 (פרסם 711910)
סליחה על הבורות אבל מה זה "לסרוק פורטים על השרת עם המסדי נתונים"?

שוב, במבט ראשון אפשר לראות שהמסדיי נתונים נשמרים על מסד חיצוני, לצורך גיבוי או לא יודע מה היה הבעיה שגרמה לצורך הזה, אבל זה גם יעיל יותר, בקיצור כמו מחשב כדי לפנות אליו צריך דרך כניסה - כמו דלת לבית - פורט פתוח לip של מחשב, את לא יכולה לפנות לip בלבד, אם פעם התנסת בצד שרת ומסדי נתונים מסוג mysql את צריכה לדעת שיש דרך להתחבר ובדר''כ כאשר הקובץ על השרת ההוסט הוא localhost, במקרה שלהם ההוסט הוא הip של השרת שמאחסן את המסד + הפורט שפתחו.
לכן אם מוצאים את הip אפשר להריץ תוכנה שסורקת פורטים, משם השמיים הם ממש לא הגבול...

יש צחוק מעבודה ומתכונת באזרחות ללמוד אליה =]
לפניות נוספות יש את הפרטי

Jerba 29-04-09 21:25

בפעם האחרונה שניסיתי להתחבר לשרת SQL לא דרך LOCALHOST ,כלומר דרך מחשב מרוחק . קיבלתי תגובה שהאפשרות הזאת סגורה מפאתי אבטחה...

Shillo 29-04-09 21:30

הפיתרון שאני חושב שהוא הגיוני לבעיה שלך - XML.

yard2010 29-04-09 21:48

למה שלא תכתבי סקריפט שמשתמש ב-CURL או כל פתרון דומה אחר, שלוקח משם את הקוד HTML, ואז עושה על הטקסט מניפולציה עם REGEX? אחרי זה יש דרכים מגוונות להפעיל אותו, אם זה cron jobs, כל פעם שמישהו רואה דף באתר, וכו'. זה הפתרון האופטימלי לבעיה שלך בעיניי.

ציטוט:

נכתב במקור על ידי FuZuL (פרסם 711913)
שוב, במבט ראשון אפשר לראות שהמסדיי נתונים נשמרים על מסד חיצוני, לצורך גיבוי או לא יודע מה היה הבעיה שגרמה לצורך הזה, אבל זה גם יעיל יותר, בקיצור כמו מחשב כדי לפנות אליו צריך דרך כניסה - כמו דלת לבית - פורט פתוח לip של מחשב, את לא יכולה לפנות לip בלבד, אם פעם התנסת בצד שרת ומסדי נתונים מסוג mysql את צריכה לדעת שיש דרך להתחבר ובדר''כ כאשר הקובץ על השרת ההוסט הוא localhost, במקרה שלהם ההוסט הוא הip של השרת שמאחסן את המסד + הפורט שפתחו.
לכן אם מוצאים את הip אפשר להריץ תוכנה שסורקת פורטים, משם השמיים הם ממש לא הגבול...

יש צחוק מעבודה ומתכונת באזרחות ללמוד אליה =]
לפניות נוספות יש את הפרטי

סריקת פורטים זה לא עבירה על החוק? אף פעם לא קיבלתי תשובה לשאלה הזאת באף מקום... אבל שחושבים על זה, זה כמו לטייל ליד בית בשביל לחפש פירצות (זאת עבירה)
ולמה שמישהו ייתן את פרטי המסד שלו למישהו? זה עובד ככה בכלל? כאילו, מבקשים ונותנים? עדיין לא התנסתי בזה, תמיד הלכתי על CURL ו-REGEX :)

FuZuL 29-04-09 21:53

ציטוט:

נכתב במקור על ידי yard2010 (פרסם 711927)
למה שלא תכתבי סקריפט שמשתמש ב-CURL או כל פתרון דומה אחר, שלוקח משם את הקוד HTML, ואז עושה על הטקסט מניפולציה עם REGEX? אחרי זה יש דרכים מגוונות להפעיל אותו, אם זה cron jobs, כל פעם שמישהו רואה דף באתר, וכו'. זה הפתרון האופטימלי לבעיה שלך בעיניי.



סריקת פורטים זה לא עבירה על החוק? אף פעם לא קיבלתי תשובה לשאלה הזאת באף מקום... אבל שחושבים על זה, זה כמו לטייל ליד בית בשביל לחפש פירצות (זאת עבירה)
ולמה שמישהו ייתן את פרטי המסד שלו למישהו? זה עובד ככה בכלל? כאילו, מבקשים ונותנים? עדיין לא התנסתי בזה, תמיד הלכתי על CURL ו-REGEX :)

כל מה שכתבת הוא לא חוקי, גם להשתמש בregex וcurl שאפשר גם עם file_get_contents דרך php זה לא חוקי, גניבת מידע בדרך אחת או אחרת ללא רשות זה לא חוקי, פשוט הדרך שאני הצעתי יותר יעילה אם תציץ בקוד מקור באתר.
לגבי ה'מבקשים ונותנים' לא ממש.. אולי.. חותמים על חוזה אני מניח, גם אם כן אין שיתוף בלוגים אז זה לא משנה לאנשים שמבינים עניין.

Jerba - אז הפורט סגור, או שלא רשמת פורט, בכללי אם יש לך גישה לאחסון אתה פותח פורט דרך פאנל ניהול cpanel/da ומאפשר גישה מרחוק.

yard2010 29-04-09 22:05

file_get_contents בכלל עובד על קבצים שלא על השרת שלך? והפורט שבדר"כ משתמשים בו ל-MYSQL הוא 3307 או 3306 אם אני לא טועה, אבל סביר להניח שמוגדר על השרת אחד אחר לכן כדאי לעשות סריקת פורטים.

ושחושבים על זה, נכון... זה נקרא לגנוב מידע, איך שלא מסתכלים על זה :)

FuZuL 29-04-09 22:16

ציטוט:

נכתב במקור על ידי yard2010 (פרסם 711931)
file_get_contents בכלל עובד על קבצים שלא על השרת שלך? והפורט שבדר"כ משתמשים בו ל-MYSQL הוא 3307 או 3306 אם אני לא טועה, אבל סביר להניח שמוגדר על השרת אחד אחר לכן כדאי לעשות סריקת פורטים.

ושחושבים על זה, נכון... זה נקרא לגנוב מידע, איך שלא מסתכלים על זה :)

כן לגבי השאלה הראשונה ואתה צודק לגבי הפורטים 'ברירת מחדל'.

Slash 29-04-09 22:43

ציטוט:

נכתב במקור על ידי FuZuL (פרסם 711906)
ממבט ראשון המסד שלהם מאוחסן על שרת חיצוני או אותו שרת אבל סאב דומיין אחר, מה שאת צריכה לעשות זה לסרוק פורטים על השרת עם המסדי נתונים, ולהתחבר אליו.
כמו שמתחברים למסד רגיל, במקום localhost -
mysql.tase.co.il:8080
סתם דוגמא.
בקיצור את שמות הטבלאות,המסדים וכו' את יכולה למצוא דרך sql injection באתר.
אם את לא רוצה את הדרך הזאת תצרי קשר עם בעלי האתר ותבקשי גישה למסד.

אתה מציע לה לפרוץ לאתר של הבורסה לניירות ערך , רעיון לא טוב .

dnvntr1 29-04-09 22:45

ציטוט:

נכתב במקור על ידי FuZuL (פרסם 711913)
אם פעם התנסת בצד שרת ומסדי נתונים מסוג mysql

לא התנסיתי, זה בעקרון הפרויקט הראשון שאני עושה שקשור לנתונים מאתר אז אם יש לך סבלנות להסביר לי איך אני ידע את הip שלהם ואחרי שאני ידע איפה אני מריצה את הסריקת פורטים ואם תהיה ממש נחמד מה זה פורט?
ציטוט:

נכתב במקור על ידי yard2010 (פרסם 711927)
סריקת פורטים זה לא עבירה על החוק? אף פעם לא קיבלתי תשובה לשאלה הזאת באף מקום... אבל שחושבים על זה, זה כמו לטייל ליד בית בשביל לחפש פירצות (זאת עבירה)
ולמה שמישהו ייתן את פרטי המסד שלו למישהו? זה עובד ככה בכלל? כאילו, מבקשים ונותנים? עדיין לא התנסתי בזה, תמיד הלכתי על CURL ו-

אני לא יודעת מה החוק אבל ברור שלא יהיה להם אכפת שאני יקח את המסד אחרת הם לא היו נותנים אפשרות של שמירה

אין אפשרות להפעיל את הקוד שלהם של ההורדה של הנתונים מבחוץ?

Slash 29-04-09 22:48

זה הקובץ אקסל
קוד:

http://www.tase.co.il//TASE/Pages/ExcelExport.aspx?sn=Excelds&TblId=0&Titles=142AddColTitlesGrafh&Columns=142AddColColumnsGrafh&AddCol=1&ExcelHeader=%d7%a0%d7%aa%d7%95%d7%a0%d7%99+%d7%94%d7%92%d7%a8%d7%a3+-+%d7%aa%22%d7%90+-+25&ExportType=1
טעינה וקריאה של קובץ EXCEL בC# :
קוד:

http://www.codeproject.com/KB/cs/Excel_Application_in_C_.aspx
דבר שני , לעשות סריקה ולנסות לדלות נתונים מהאתר של הבורסה לניירות ערך זה עבירה על החוק וזה ממש לא נחוץ לפרוייקט שלך .
פשוט תשתמשי בקובץ אקסל .

אם היה להם עדכוני RSS בכלל היינו גומרים את זה ב2 דקות , נשמע הזוי שלאתר שכל כך דורש RSS , אין .

FuZuL 29-04-09 23:09

הip הוא גם tase.co.il
http://62.0.15.76

וSlash לפי הpdf האקסל improted כמו המקור?
כי אם לא זה ממש לא יעיל.

ההמלצה הבאה שלי זה להוריד HTTrack Website Copier ולסרוק את הtase..

Slash 29-04-09 23:54

לפותחת האשכול , את בעצם רוצה לקבל את המדד נניח מדד ת"א 25 בכל רגע נתון ?

כי הטבלה שהבאת היא סך הכל טבלה שמכילה רשימה של תאריכים - שעות - ערך המדד .

אפשר פשוט לדלות את זה בעזרת RSS מאתרים כלכליים , לא צריך לעשות את זה דווקא דרך האתר של הרשות לניירות ערך .

וFuzul ההצעות שלך לא פרקטיות , זה לא חוכמה לנסות לפרוץ ולהשיג מידע בדרך לא חוקית , החוכמה לעשות את הדברים בצורה הכי יעילה , וזה לא יעיל להתחיל לסרוק פורטים או לסרוק את הקוד מקור כל פעם .

בשביל זה המציאו RSS , כדי שתקבל קובץ XML עם כל המידע מסודר .

dnvntr1 30-04-09 00:00

שימוש בקובץ אקסל או בתוכנת העתקה לא יעיל בשבילי בגלל שאני לא צריכה את הנתונים באופן חד פעמי אלא אני להתעדכן כל הזמן
בכל אופן תודה ענקית לכולם! אני ינסה לעבוד לפי ההמלצות שלכם.
-אם אני יתחבר דרך הIP והפורט יהיה מי שיתבע אותי על זה?

Slash 30-04-09 00:27

ציטוט:

נכתב במקור על ידי dnvntr1 (פרסם 711949)
שימוש בקובץ אקסל או בתוכנת העתקה לא יעיל בשבילי בגלל שאני לא צריכה את הנתונים באופן חד פעמי אלא אני להתעדכן כל הזמן
בכל אופן תודה ענקית לכולם! אני ינסה לעבוד לפי ההמלצות שלכם.
-אם אני יתחבר דרך הIP והפורט יהיה מי שיתבע אותי על זה?

תנסי משטרת ישראל והרשות לניירות ערך .
וחוץ מזה אני בספק אם תצליחי להתחבר , האתרים האלו מאוד מאובטחים .

ושוב פעם , עדכון בזמן אמת, RSS .

yard2010 01-05-09 09:32

למה את מנסה לעשות את הדבר שברור כשמש שלא יעזור לך, שכבר 2~3 אנשים אמרו לך בדיוק מה לעשות... יש דבר שנקרא RSS, ויש אתרים שמספקים RSS של המדדים שאת דורשת, תוכלי להתממשק מולם בצורה נורא יעילה ונוחה, יש 1001 מחלקות שם בחוץ שיעזרו לך עם זה, למה בכל זאת לעשות סריקת פורטים חסרת משמעות (לפרוייקט הספציפי הזה) או לנסות לדלות נתונים מקובץ XL שיש מליון אתרים שמוציאים RSS של זה?

dnvntr1 03-05-09 16:05

תוכל לקשר אותי למקום שמסביר איך לעבוד עם RSS ניסיתי בימים האחרונים לחפש בגוגל וחוץ מהויקיפדיה שרק מסביר באופן כללי מה זה לא מצאתי מקום שמסביר איך לעבוד עם זה
תודה!

Slash 03-05-09 17:55

http://www.google.co.il/search?q=c%23+rss

השילוב של c# וrss העלה טונות של מדריכים .
כמו כן , כל שפה + RSS יעלה לך בדיוק את אותם תוצאות .

dnvntr1 03-05-09 20:34

אלפי תודות!!!!!!!!!
יש מישהו שיודע באיזה אתרים כלכליים יש RSS ?

Slash 03-05-09 21:39

http://www.calcalist.co.il/home/0,7340,L-3695,00.html
http://www.themarker.com/tmc/rss/index.jhtml
http://www.globes.co.il/news/article...51969&fid=3038
http://www.google.com/finance

dnvntr1 03-05-09 22:42

בדקתי באתרים שנתת לי ומצאתי שם רק RSSים לחדשות בעניני הבורסה אבל לא לגרפים ונתונים משתנים (כמו שיש בtase) אתה יודע איפה יש את זה באתרים האלה או באחרים
תודה וסליחה על השיגוע
אני פשוט אובדת עצות.


כל הזמנים הם GMT +2. הזמן כעת הוא 04:42.

מופעל באמצעות VBulletin גרסה 3.8.6
כל הזכויות שמורות ©
כל הזכויות שמורות לסולל יבוא ורשתות (1997) בע"מ