Opetusohjelma Apache - Huonojen bottien ja indeksointirobottien estäminen [ Askel askeleelta ]

Haluatko oppia määrittämään Apache-palvelimen kieltämään virheellisen Bots and Crawlersin käytön? Tässä opetusohjelmassa aiomme määrittää Apache-palvelimen estämään pääsyn huonoista botista ja indeksointiroboteista.

• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41

Esimerkissämme Apache-palvelin isännöi verkkosivustoa WWW.GAMEKING.TIPS.

Copyright © 2018-2021-kirjoittanut Techexpert.tips.
Kaikki oikeudet pidätetään. Mitään tämän julkaisun osaa ei saa jäljentää, levittää tai lähettää missään muodossa tai millään tavalla ilman julkaisijan etukäteen antamaa kirjallista lupaa.

Apache – Aiheeseen liittyvä opetusohjelma:

Tällä sivulla tarjoamme nopean pääsyn luetteloon opetusohjelmia, jotka liittyvät Apache.

Opetusohjelma Apache – Huonojen bottien ja indeksointirobottien estäminen

Etsi Apache-lokitiedostosta luettelo käyttäjäagenteista.

Copy to Clipboard

Näyttöön tulee luettelo epäillyistä käyttäjäagenteista, jotka ovat käytönneet sivustoasi.

Copy to Clipboard

6 GumGum-Bot/1.0 (http://gumgum.com; support@gumgum.com)
     6 PostmanRuntime/7.19.0
     6 ag_dm_spider v1.0
     7 Microsoft Office Word 2014
     32 Slackbot 1.0 (+https://api.slack.com/robots)
     33 Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
     38 WebexTeams
     41 www.ru
     46 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
     57 admantx-sap/2.4 (+http://www.admantx.com/service-fetcher.html)
     72 Scrapy/2.4.1 (+https://scrapy.org)
     72 ias-sg/3.1 (+https://www.admantx.com/service-fetcher.html)
     76 WhatsApp/2.21.7.14 A
     81 Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
     83 Clickagy Intelligence Bot v2
     85 ias-jp/3.1 (+https://www.admantx.com/service-fetcher.html)
     92 W3 Total Cache
    105 AccompanyBot
    118 rest-client/2.1.0 (linux-gnu x86_64) ruby/2.7.1p83
    141 -
    159 chimebot
    183 Mediapartners-Google
    374 ias-or/3.1 (+https://www.admantx.com/service-fetcher.html)
    686 ias-ir/3.1 (+https://www.admantx.com/service-fetcher.html)
   1930 CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
   2022 ias-va/3.1 (+https://www.admantx.com/service-fetcher.html)

Luo esteltävät käyttäjäagentit.

Copy to Clipboard

Valinnaisesti tämä GitHub-projekti tarjoaa luettelon huonoista boteista ja indeksointiroboteista.

Ota tarvittavat Apache-moduulit käyttöön.

Copy to Clipboard

Muokkaa oletussivuston Apache-määritystiedostoa.

Copy to Clipboard

Lisää tähän määritystiedostoon seuraavat rivit.

Copy to Clipboard

Muuta USER-AGENT-arvoja tarpeitasi vastaamaan tarpeitasi.

Copy to Clipboard

Tässä on kansio, ennen kokoonpanoamme.

Copy to Clipboard

Tässä on kansio kokoonpanomme jälkeen.

Copy to Clipboard

Käynnistä Apache-palvelu uudelleen.

Copy to Clipboard

Esimerkissämme Apache-palvelin kieltää pääsyn järjestelmänvalvojan valitsemaan bottien ja indeksointirobottien luetteloon.

Testaa kokoonpanosi Etä-Linux-tietokoneesta.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

Apache-palvelin kieltää pääsyn tiettyihin USER-AGENT-arvoihin.

Yritä suorittaa pääsy linux-etätietokoneesta käyttämällä mitä tahansa muuta USER-AGENT-arvoa.

Copy to Clipboard

Tässä on komentotulostin.

Copy to Clipboard

Apache-palvelin sallii minkä tahansa muun USER-AGENT-arvon käyttää verkkosivustoasi.

Onnittelut! Opit määrittämään Apache-palvelimen kieltämään virheellisen Botsin ja Crawlersin käytön.

Apache – Huonojen bottien ja indeksointirobottien estäminen

Apache – Huonojen bottien ja indeksointirobottien estäminen

Laiteluettelo

Apache – Aiheeseen liittyvä opetusohjelma:

Opetusohjelma Apache – Huonojen bottien ja indeksointirobottien estäminen

Related Posts