Tutorial Apache - Blokering af dårlige bots og crawlere [ Trin for trin ]

Vil du vide, hvordan du konfigurerer Apache-serveren til at nægte adgang til dårlige bots og crawlere? I dette selvstudium skal vi konfigurere Apache-serveren til at blokere adgangen fra dårlige bots og crawlere.

• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41

I vores eksempel er Apache-serveren vært for hjemmesiden WWW.GAMEKING.TIPS.

Copyright © 2018-2021 af Techexpert.tips.
Alle rettigheder forbeholdes. Ingen del af denne publikation må gengives, distribueres eller transmitteres i nogen form eller på nogen måde uden forudgående skriftlig tilladelse fra udgiveren.

Apache – Relateret Tutorial:

På denne side tilbyder vi hurtig adgang til en liste over tutorials relateret til Apache.

Tutorial Apache – Blokering af dårlige bots og crawlere

Søg i Apache-logfilen efter en liste over brugeragenter.

Copy to Clipboard

Der vises en liste over mistænkelige brugeragenter, der har fået adgang til dit websted.

Copy to Clipboard

6 GumGum-Bot/1.0 (http://gumgum.com; support@gumgum.com)
     6 PostmanRuntime/7.19.0
     6 ag_dm_spider v1.0
     7 Microsoft Office Word 2014
     32 Slackbot 1.0 (+https://api.slack.com/robots)
     33 Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
     38 WebexTeams
     41 www.ru
     46 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
     57 admantx-sap/2.4 (+http://www.admantx.com/service-fetcher.html)
     72 Scrapy/2.4.1 (+https://scrapy.org)
     72 ias-sg/3.1 (+https://www.admantx.com/service-fetcher.html)
     76 WhatsApp/2.21.7.14 A
     81 Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
     83 Clickagy Intelligence Bot v2
     85 ias-jp/3.1 (+https://www.admantx.com/service-fetcher.html)
     92 W3 Total Cache
    105 AccompanyBot
    118 rest-client/2.1.0 (linux-gnu x86_64) ruby/2.7.1p83
    141 -
    159 chimebot
    183 Mediapartners-Google
    374 ias-or/3.1 (+https://www.admantx.com/service-fetcher.html)
    686 ias-ir/3.1 (+https://www.admantx.com/service-fetcher.html)
   1930 CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
   2022 ias-va/3.1 (+https://www.admantx.com/service-fetcher.html)

Opret en liste over brugeragenter, der skal blokeres.

Copy to Clipboard

Dette GitHub-projekt tilbyder eventuelt en liste over dårlige bots og crawlere.

Aktiver de nødvendige Apache-moduler.

Copy to Clipboard

Rediger Apache-konfigurationsfilen for standardwebstedet.

Copy to Clipboard

Føj følgende linjer til denne konfigurationsfil.

Copy to Clipboard

Rediger USER-AGENT-værdierne, så de afspejler dine behov.

Copy to Clipboard

Her er filen, før vores konfiguration.

Copy to Clipboard

Her er filen, efter vores konfiguration.

Copy to Clipboard

Genstart Apache-tjenesten.

Copy to Clipboard

I vores eksempel vil Apache-serveren forbyde adgang til en liste over bots og crawlere, der er valgt af administratoren.

Test din konfiguration fra en ekstern Linux-computer.

Copy to Clipboard

Her er kommandoen output.

Copy to Clipboard

Apache-serveren forbyder adgang fra bestemte USER-AGENT-værdier.

Fra en ekstern Linux-computer skal du prøve at udføre adgang ved hjælp af en anden USER-AGENT-værdi.

Copy to Clipboard

Her er kommandoen output.

Copy to Clipboard

Apache-serveren giver alle andre USER-AGENT-værdier adgang til dit websted.

Lykønskning! Du lærte at konfigurere Apache-serveren til at nægte adgang til dårlige bots og crawlere.

Apache – Blokering af dårlige bots og crawlere

Apache – Blokering af dårlige bots og crawlere

Liste over udstyr

Apache – Relateret Tutorial:

Tutorial Apache – Blokering af dårlige bots og crawlere

Related Posts