Möchten Sie erfahren, wie Sie den Apache-Server so konfigurieren, dass der Zugriff auf fehlerhafte Bots und Crawler verweigert wird? In diesem Tutorial konfigurieren wir den Apache-Server, um den Zugriff von schlechten Bots und Crawlern zu blockieren.

• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41

In unserem Beispiel hostet der Apache-Server die Website WWW.GAMEKING.TIPS.

Geräteliste

Im folgenden Abschnitt wird die Liste der Geräte aufgeführt, die zum Erstellen dieses Tutorials verwendet wurden.

Als Amazon Associate verdiene ich mit qualifizierenden Käufen.

Tutorial Apache - Blockieren von schlechten Bots und Crawlern

Durchsuchen Sie die Apache-Protokolldatei nach einer Liste von User-Agents.

Copy to Clipboard

Eine Liste der verdächtigen Benutzeragenten, die auf Ihre Website zugegriffen haben, wird angezeigt.

Copy to Clipboard

Erstellen Sie eine Liste der zu blockierenden Benutzer-Agenten.

Copy to Clipboard

Optional bietet dieses GitHub-Projekt eine Liste von schlechten Bots und Crawlern.

Aktivieren Sie die erforderlichen Apache-Module.

Copy to Clipboard

Bearbeiten Sie die Apache-Konfigurationsdatei für die Standardwebsite.

Copy to Clipboard

Fügen Sie dieser Konfigurationsdatei die folgenden Zeilen hinzu.

Copy to Clipboard

Ändern Sie die USER-AGENT-Werte, um Ihre Bedürfnisse widerzuspiegeln.

Copy to Clipboard

Hier ist die Datei, vor unserer Konfiguration.

Copy to Clipboard

Hier ist die Datei, nach unserer Konfiguration.

Copy to Clipboard

Starten Sie den Apache-Dienst neu.

Copy to Clipboard

In unserem Beispiel verbietet der Apache-Server den Zugriff auf eine Liste von Bots und Crawlern, die vom Administrator ausgewählt wurden.

Testen Sie ihre Konfiguration von einem Remote-Linux-Computer aus.

Copy to Clipboard

Hier ist die Befehlsausgabe.

Copy to Clipboard

Der Apache-Server verbietet den Zugriff von bestimmten USER-AGENT-Werten.

Versuchen Sie von einem Remote-Linux-Computer aus, den Zugriff mit einem anderen USER-AGENT-Wert durchzuführen.

Copy to Clipboard

Hier ist die Befehlsausgabe.

Copy to Clipboard

Der Apache-Server erlaubt jedem anderen USER-AGENT-Wert den Zugriff auf Ihre Website.

Glückwunsch! Sie haben gelernt, wie Sie den Apache-Server so konfigurieren, dass der Zugriff auf fehlerhafte Bots und Crawler verweigert wird.