Wilt u weten hoe u de Apache-server configureert om toegang tot slechte bots en crawlers te weigeren? In deze zelfstudie gaan we de Apache-server configureren om de toegang van slechte bots en crawlers te blokkeren.

• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41

In ons voorbeeld host de Apache server de website WWW.GAMEKING.TIPS.

Copyright © 2018-2021 by Techexpert.tips.
All rights reserved. No part of this publication may be reproduced, distributed, or transmitted in any form or by any means without the prior written permission of the publisher.

Uitrustingslijst

In de volgende sectie wordt de lijst weergegeven met apparatuur die wordt gebruikt om deze zelfstudie te maken.

Als Amazon Associate verdien ik aan kwalificerende aankopen.

Tutorial Apache - Slechte bots en crawlers blokkeren

Zoek in het Apache-logboekbestand naar een lijst met gebruikersagenten.

Copy to Clipboard

Er wordt een lijst weergegeven met verdachte gebruikersagenten die uw website hebben geopend.

Copy to Clipboard

Maak een lijst met gebruikersagenten die u wilt blokkeren.

Copy to Clipboard

Optioneel biedt dit GitHub-project een lijst met slechte bots en crawlers.

Schakel de vereiste Apache-modules in.

Copy to Clipboard

Bewerk het Apache-configuratiebestand voor de standaardwebsite.

Copy to Clipboard

Voeg de volgende regels toe aan dit configuratiebestand.

Copy to Clipboard

Wijzig de USER-AGENT-waarden om aan uw behoeften te voldoen.

Copy to Clipboard

Hier is het bestand, voor onze configuratie.

Copy to Clipboard

Hier is het bestand, na onze configuratie.

Copy to Clipboard

Start de Apache-service opnieuw.

Copy to Clipboard

In ons voorbeeld verbiedt de Apache-server toegang tot een lijst met bots en crawlers die door de beheerder zijn geselecteerd.

Test vanaf een externe Linux-computer uw configuratie.

Copy to Clipboard

Hier is de opdrachtuitvoer.

Copy to Clipboard

De Apache-server verbiedt toegang tot specifieke USER-AGENT-waarden.

Probeer vanaf een externe Linux-computer toegang uit te voeren met behulp van een andere USER-AGENT-waarde.

Copy to Clipboard

Hier is de opdrachtuitvoer.

Copy to Clipboard

De Apache-server geeft elke andere USER-AGENT-waarde toegang tot uw website.

Heilwens! Je hebt geleerd hoe je de Apache-server configureert om toegang tot slechte bots en crawlers te weigeren.