1 / 22

Screen Scraping

Screen Scraping. Für Frühaufsteher. Agenda. Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde. Ziele. Verständnis für Screen Scraping entwickeln Niemand wird hier und heute zum Profi! Nachdenken über eigene Webseitenverbesserungen und Abwehrmethoden ;). Methoden.

janna
Download Presentation

Screen Scraping

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Screen Scraping Für Frühaufsteher

  2. Agenda • Was ist Screen Scraping • Methoden • Beispiele • Frage / Diskussionsrunde Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  3. Ziele • Verständnis für Screen Scraping entwickeln • Niemand wird hier und heute zum Profi! • Nachdenken über eigene Webseitenverbesserungen und Abwehrmethoden ;) Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  4. Methoden Scripte (wie bsp. PHP) und / oder Software

  5. Script Methode • Download einer Website • Cookie(s) verwalten • Mit Redirects umgehen • SSL Anfrage • Proxies / verschiedene IP Adressen benutzen • Informationen mittels REGEX, Xpath … auslesen • Evtl. Formulareingaben emulieren Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  6. „scrapen“nicht mal eben so?

  7. Stadtbranchenbuch

  8. GoYellow

  9. Factory-Outlets.org

  10. Schwierigkeiten • Änderungen am Webseiten Design • Ladeseiten zwischen „Formular abschicken“ und Ausgabe • JavaScript • Dynamisch modifizierte Formulare durch JS • Ajax • Plugin: Flash, Java Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  11. Sicherheitsmechanismen • Sperrung unser Server IP Adresse • Captchas • Zufällig erzeugte Formularfelder • <input type="submit" name="hash" value="098f6bcd4621d373cade4e832627b4f6"> • <input type="submit" name="098f6bcd4621d373cade4e832627b4f6"> Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  12. Die Lösung Einen Browser nutzen

  13. Scrapen mit Browsern • Die Seiten werden im Browser gerendert Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  14. iMacro Kostenloses Firefox Addon Kostenpflichtige Scripting Version (mit ein paar Extras)

  15. iMacro • Browserplugin (Firefox & IE) oder als Standalone Software • Löst alle schwierigen Fälle • Ajax • Javascript • Flash! • In Verbindung mit so gut wie jeder Scriptsprache nutzbar Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  16. iMacro Beispiele • StudiVZScraper • Bookmark Submitter • Captchas lösen Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  17. StudiVZScraper Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  18. Bookmark Submitter in PHP Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  19. Bookmark Submitter Nur für SEO Campixx 2010 Teilnehmer Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  20. Möglichkeiten:Captcha lösen mit iMacro • Händische Eingabe während das Macro läuft • Human > kostet Arbeitszeit • OCR Erkennung • Computer > Evtl. Fehlerhaft • API Services • Human / Computer Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  21. Captcha lösen mit iMacro Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

  22. Fragen?

More Related