Crawl Budget Best Practices - SMX München 2016

SMX München 2016
veröffentlicht am: 30.03.2016

Die SMX München ist wahrscheinlich die wichtigste Online Marketing Konferenz in Deutschland. Auch 2016 gab es wieder an zwei Tagen Vorträge von Top Referenten auf elf verschiedene Sessions verteilt. Hier wurden die neusten Trends und die wichtigsten Änderungen vorgestellt und diskutiert.  

SMX 2016 - Was haben wir gelernt?

Gleich vorne weg: Was ist von den ganzen Vorträgen auf der SMX hängen geblieben? Im letzten Jahr waren noch die mobile Optimierung von Webseiten und die Sprachsuche die Kernthemen. 2016 wurden nun Machine Learning und Artificial Intelligence behandelt. In der Keynote von Rand Fishkin wurde besonders auf das Machine Learning eingegangen und wie Google Machine Learning in die Suche integriert. Die Maschinen lernen jetzt von selbst. Sie können mit dem als drittwichtigsten Rankingfaktor (vgl. Bloomberg) betitelten "Rankbrain" wechselseitige Beziehungen herstellen und somit die Suchergebnisse automatisch anpassen. Die Folien zur Präsentation von Rand Fishkin gibt es hier. Ein weiteres wichtiges Learning ist, dass das technische Verständnis im Arbeiten mit Webseiten immer wichtiger wird. Deshalb möchte ich genauer auf die Vorträge von Philip Klöckner und Bastian Grimm zum Thema Crawling Budget eingehen.  

Crawling Budget  - Warum sollte man darauf acht geben?

Das Crawling Budget des Google Bots ist limitiert, da jeder Seite nur eine bestimmte Zeit des Bots zu Verfügung gestellt wird. Deshalb ist es empfehlenswert, den Crawler nur auf die wichtigsten Seiten zu schicken und seine Website möglichst schnell zu machen. Je schneller die Seite ist, desto mehr Seiten wird der Bot crawlen. Hierfür ist es wichtig dem GoogleBot die Crawlbarkeit der Seite durch eine saubere Seitenarchitektur, Validität des Codes und eine saubere Auslieferung der Status-Codes zu ermöglichen. Zusätzlich sollten natürlich alle wichtigen URLs auffindbar sein und keine "Orphan-Pages" (Seiten, die von keiner anderen Seite verlinkt werden) erstellt werden.


Wie schnell die eigene Webseite ist und welche Verbesserungsmöglichkeiten es gibt, kann man in den PagesSpeed Insights von Google feststellen.


Longtail Keywords sollte man nicht durch möglichst viele Seiten behandeln, sondern durch holistische Seiten. Das bedeutet, dass man die Seitenanzahl einer Website gering halten soll und auf den Seiten, wie schon so oft angesprochen, hochwertigen Content für den Nutzer platzieren soll. Noch einige Punkte, welche man für eine bessere Crawlbarkeit beachten sollte:

  • Links auf Social oder Internationale Varianten entfernen: Oft werden auf jeder Produktseite im Header oder Footer die internationalen Varianten verlinkt und die Social Media Kanäle angeteasert. Diese Links sollte man auf Unterseiten entfernen, da diese eh nicht genutzt werden.
  • Pagination: Auf einer Produktkategorie-Seite sollen lieber mehr Produkte auf einer Seite angezeigt werden, als weniger Produkte auf mehr Seiten.
  • Als GoogleBot auf Amazon surfen und dort die Struktur vergleichen
  • Breadcrumbs und Bestsellerlisten nutzen

  http://de.slideshare.net/kloeckner/seo-crawl-budget-optimierung

 

Crawl Budget Best Practices

Die optimale Crawlbarkeit einer Webseite hängt von vielen verschiedenen Faktoren zusammen. Bastian Grimm zeigte in seinem Vortrag (siehe unterhalb) die 10 Crawling Regeln für die maximal effizienten Webseiten auf:

  • Crawler-Steuerung: Welche Seiten sollen gecrawlt werden
  • robots.txt sollte man auf ein Minimum reduzieren und nur im Notfall benutzen.
  • noindex-Seiten gehen auch auf das Crawl Budget
  • Weiterleitungen: Bitte richtige Weiterleitungen und keine Weiterleitungsketten
  • interne Verlinkungen regelmäßig überprüfen und keine internen 301-Links, sondern die neuen URLs verlinken
  • Canonical Tags: Google kann Canonical Tags ignorieren! Dies kann man überprüfen indem man bei Google nach „Info:domain.de/unterseite.html“ sucht. Werden dort die Canonicals angezeigt, dann werden diese auch beachtet
  • Sitemaps: Nur URLs integrieren, die auch in die Sitemap gehören. Keine Redirects, noindex-Seiten, oder über die robots.txt ausgeschlossenen URLs.

Weitere wichtige Punkte findet man noch in der Präsentation. http://de.slideshare.net/bastiangrimm/crawl-budget-optimization-smx-mnchen-2016

Fazit

Philip Klöckner und Bastian Grimm haben wichtige To-Dos für Webmaster und SEOs aufgezeigt, um Google ein richtiges und vor allem effizientes Crawling zu ermöglichen. Hier steckt besonders für größere Onlineshops noch ein hohes Potential an Steigerung der Sichtbarkeit. Natürlich waren auch weitere Vorträge auf der SMX 2016 sehr informativ. Interessante Tweets und Zitate findet man hier.    

Ähnliche Artikel
Kontakt
Die monatliche Dosis Online Marketing Insights: Der SEM Boutique Newsletter.



Projektanfrage
Wir freuen uns auf Ihre Anfrage und beraten Sie gerne individuell zu Ihren Themen.