Möchten Sie erfahren, wie Sie den Apache-Server so konfigurieren, dass der Zugriff auf fehlerhafte Bots und Crawler verweigert wird? In diesem Tutorial konfigurieren wir den Apache-Server, um den Zugriff von schlechten Bots und Crawlern zu blockieren.
• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41
In unserem Beispiel hostet der Apache-Server die Website WWW.GAMEKING.TIPS.
Copyright © 2018-2021 von Techexpert.tips.
Alle Rechte vorbehalten. Kein Teil dieser Veröffentlichung darf ohne vorherige schriftliche Genehmigung des Herausgebers in irgendeiner Form oder mit irgendwelchen Mitteln reproduziert, verteilt oder übertragen werden.
Geräteliste
Im folgenden Abschnitt wird die Liste der Geräte aufgeführt, die zum Erstellen dieses Tutorials verwendet wurden.
Als Amazon Associate verdiene ich mit qualifizierenden Käufen.
Apache – Verwandtes Tutorial:
Auf dieser Seite bieten wir schnellen Zugriff auf eine Liste von Tutorials im Zusammenhang mit Apache.
Tutorial Apache – Blockieren von schlechten Bots und Crawlern
Durchsuchen Sie die Apache-Protokolldatei nach einer Liste von User-Agents.
Eine Liste der verdächtigen Benutzeragenten, die auf Ihre Website zugegriffen haben, wird angezeigt.
Erstellen Sie eine Liste der zu blockierenden Benutzer-Agenten.
Optional bietet dieses GitHub-Projekt eine Liste von schlechten Bots und Crawlern.
Aktivieren Sie die erforderlichen Apache-Module.
Bearbeiten Sie die Apache-Konfigurationsdatei für die Standardwebsite.
Fügen Sie dieser Konfigurationsdatei die folgenden Zeilen hinzu.
Ändern Sie die USER-AGENT-Werte, um Ihre Bedürfnisse widerzuspiegeln.
Hier ist die Datei, vor unserer Konfiguration.
Hier ist die Datei, nach unserer Konfiguration.
Starten Sie den Apache-Dienst neu.
In unserem Beispiel verbietet der Apache-Server den Zugriff auf eine Liste von Bots und Crawlern, die vom Administrator ausgewählt wurden.
Testen Sie ihre Konfiguration von einem Remote-Linux-Computer aus.
Hier ist die Befehlsausgabe.
Der Apache-Server verbietet den Zugriff von bestimmten USER-AGENT-Werten.
Versuchen Sie von einem Remote-Linux-Computer aus, den Zugriff mit einem anderen USER-AGENT-Wert durchzuführen.
Hier ist die Befehlsausgabe.
Der Apache-Server erlaubt jedem anderen USER-AGENT-Wert den Zugriff auf Ihre Website.
Glückwunsch! Sie haben gelernt, wie Sie den Apache-Server so konfigurieren, dass der Zugriff auf fehlerhafte Bots und Crawler verweigert wird.
