update ch. 9.3 and minor fixes

Author: lipogg

chapters/09/subchapters/03_fortsetzung_selenium.ipynb

@@ -199,8 +199,10 @@
     "    driver.get(\"https://www.airbnb.com/\")\n",
     "\n",
     "    wait = WebDriverWait(driver, timeout=10)\n",
-    "    unterkunft= wait.until(lambda x: x.find_element(By.CLASS_NAME, \"t1ms2xzu\")).is_visible()\n",
-    "    unterkunft.text\n"
+    "    unterkunft = wait.until(lambda x: x.find_element(By.CLASS_NAME, \"t1ms2xzu\"))\n",
+    "\n",
+    "    if unterkunft.is_displayed():\n",
+    "        print(unterkunft.text)\n"
    ],
    "metadata": {
     "collapsed": false
@@ -236,7 +238,7 @@
   {
    "cell_type": "markdown",
    "source": [
-    "Bei beiden Versionen wird so lange gewartet, bis das gesuchte Element bzw. die gesuchten Elemente mit der angegeben Klasse sichtbar sind (also gerendert wurden, mehr dazu [hier](https://www.selenium.dev/selenium/docs/api/py/webdriver_support/selenium.webdriver.support.expected_conditions.html#selenium.webdriver.support.expected_conditions.presence_of_all_elements_located)). Die erste Version lässt sich allerdings nicht so leicht für die Suche nach mehreren Elementen umschreiben. Für unser Airbnb-Beispiel verwenden wir deswegen die zweite Strategie.\n",
+    "Bei beiden Versionen wird so lange gewartet, bis das gesuchte Element bzw. die gesuchten Elemente mit der angegeben Klasse sichtbar sind (also einfach gesagt, bis sie gerendert wurden, mehr Details dazu [hier](https://www.selenium.dev/selenium/docs/api/py/selenium_webdriver_support/selenium.webdriver.support.expected_conditions.html)). Die erste Version lässt sich allerdings nicht so leicht für die Suche nach mehreren Elementen umschreiben. Für unser Airbnb-Beispiel verwenden wir deswegen die zweite Strategie.\n",
     "\n",
     "Mit dieser Strategie des expliziten Wartens kann auch auf eine Reihe anderer Ereignisse gewartet werden. Eine ausführliche Erläuterung dazu findet ihr [hier](https://selenium-python.readthedocs.io/waits.html), und eine Liste aller Ereignisse, auf die gewartet werden kann sowie der entsprechenden Methoden findet ihr [hier](https://www.selenium.dev/selenium/docs/api/py/webdriver_support/selenium.webdriver.support.expected_conditions.html)."
    ],
@@ -355,8 +357,6 @@
     "\n",
     "    driver.get(\"https://www.airbnb.com/\")\n",
     "    time.sleep(5) # nur damit wir sehen, können, was passiert\n",
-    "    # Variablen für das Scrollen festlegen\n",
-    "    scroll_step = 300  # Schrittgröße für jeden Scroll-Vorgang (in Pixeln)\n",
     "\n",
     "    # Seite bis zum Ende scrollen\n",
     "    while True:\n",
@@ -401,35 +401,7 @@
     "\n",
     "Veranschaulichung der JavaScript-Objekteigenschaften zur Formulierung der Abbruchbedingung.\n",
     ":::\n",
-    "\n",
-    "Das JavaScript-Code-Snippet, das wir zur Formulierung der Abbruchbedingung verwendet haben, können wir auch in Python-Variablen übersetzen. Das ist etwas sauberer, weil wir die Formulierung der Abbruchbedingung direkt in Python formulieren und nicht in einen String auslagern. Außerdem kann so z.B. die Höhe des Viewports (Eigenschaft .clientHeight) bereits außerhalb der while-Schleife einmalig abgefragt werden, da diese Höhe sich nicht ändert:\n"
-   ],
-   "metadata": {
-    "collapsed": false
-   }
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "outputs": [],
-   "source": [
-    "# Scrollstrategie 1 mit Variablen\n",
-    "with webdriver.Chrome() as driver:\n",
-    "\n",
-    "    driver.get(\"https://www.airbnb.com/\")\n",
-    "    time.sleep(5) # nur damit wir sehen was passiert\n",
-    "    # Variablen für das Scrollen festlegen\n",
-    "    scroll_step = 300  # Schrittgröße für jeden Scroll-Vorgang (in Pixeln)\n",
-    "    viewport_height = driver.execute_script(\"return document.documentElement.clientHeight;\")\n",
-    "    # Seite bis zum Ende scrollen\n",
-    "    while True:\n",
-    "        driver.execute_script(f\"window.scrollBy(0, {scroll_step});\")\n",
-    "        time.sleep(2) # nur damit wir sehen was passiert\n",
-    "        scroll_height = driver.execute_script(\"return document.documentElement.scrollHeight;\")\n",
-    "        scroll_position = driver.execute_script(\"return document.documentElement.scrollTop;\")\n",
-    "\n",
-    "        if scroll_height - viewport_height - scroll_position <= 1:\n",
-    "            break"
+    "\n"
    ],
    "metadata": {
     "collapsed": false
@@ -465,7 +437,7 @@
     "\n",
     "Anschließend muss wieder bis zum Seitenende gescrollt werden, damit alle Unterkünfte laden. \"Laden\" bedeutet hier zur Erinnerung, dass die neuen Inhalte in das HTML-Gerüst eingefügt werden und dadurch addressierbar werden. Der manuelle Scrollvorgang hat gezeigt, dass die Inhalte dynamisch geladen werden, sobald sie durch Scrollen in den sichtbaren Bereich gelangen. Aber anders als bei einem Infinite Scrolling endet die Seite nach einigen Scrollvorgängen. Wir könnten also beim Scrollen genauso vorgehen, wie beim Scrollen zum \"Show more\"-Button. Allerdings war dieser Scrollvorgang recht langsam, weil in jedem Schleifendurchlauf nur um 300 Pixel gescrollt wurde. Wir könnten also, um den Vorgang etwas zu beschleunigen, zum Beispiel die Pixelanzahl vergrößern. Hierbei sollte allerdings Folgendes bedacht werden: Je nachdem, wie groß das Browserfenster auf unterschiedlichen Geräten ist, haben auch die Kacheln mit den Unterkünften eine unterschiedliche Größe und es gibt unterschiedlich viele Kacheln in einer Zeile. Es werden also je nach Größe des Browserfensters verschieden viele Kacheln geladen, wenn um 300, 500 oder 800 Pixel gescrollt wird. Wenn zu schnell gescrollt wird, dann können Inhalte nicht rechtzeitig geladen werden, und wenn das passiert, werden sie folglich von unserem Webscraper nicht gefunden.\n",
     "\n",
-    "Zum Scrollen verwenden wir deswegen diesmal einen etwas zeiteffizienteren alternativen **Ansatz, bei dem in jedem Schleifendurchlauf nicht um eine feste Pixelanzahl gescrollt wird, sondern um die innere Höhe des Browserfensters.**"
+    "Zum Scrollen verwenden wir deswegen diesmal einen etwas zeiteffizienteren alternativen **Ansatz, bei dem in jedem Schleifendurchlauf nicht um eine feste Pixelanzahl gescrollt wird, sondern um die innere Höhe des Browserfensters (\"Viewport\" bzw. Eigenschaft .clientHeight).** Das JavaScript-Code-Snippet, das wir bei der ersten Strategie zur Formulierung der Abbruchbedingung verwendet haben, übersetzen wir außerdem bei dieser Scrollstrategie in Python-Variablen. Das ist etwas sauberer, weil wir die Formulierung der Abbruchbedingung direkt in Python formulieren und nicht in einen String auslagern."
    ],
    "metadata": {
     "collapsed": false
@@ -527,7 +499,7 @@
     "    driver.get(\"https://www.airbnb.com/\")\n",
     "    wait = WebDriverWait(driver, 10)\n",
     "    footer = wait.until(\n",
-    "        EC.visibility_of_element_located((By.TAG_NAME, \"footer\"))\n",
+    "        EC.presence_of_element_located((By.TAG_NAME, \"footer\"))\n",
     "    )\n",
     "    ActionChains(driver)\\\n",
     "        .scroll_to_element(footer)\\\n",