Gostaria de aprender a configurar o servidor Apache para negar acesso a bots e crawlers ruins? Neste tutorial, vamos configurar o servidor Apache para bloquear o acesso de Bots e Crawlers ruins.

• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41

Em nosso exemplo, o servidor Apache está hospedando o site WWW.GAMEKING.TIPS.

Lista de equipamentos

A seção a seguir apresenta a lista de equipamentos usados para criar este tutorial.

Como associado da Amazon, eu ganho comissão por compras qualificadas.

Tutorial Apache - Bloqueando bots ruins e crawlers

Pesquise no arquivo de log do Apache para obter uma lista de agentes de usuário.

Copy to Clipboard

Uma lista de User-agents suspeitos que acessaram seu site será exibida.

Copy to Clipboard

Crie uma lista de User-agents para bloquear.

Copy to Clipboard

Opcionalmente, este projeto GitHub oferece uma lista de Bots e Crawlers ruins.

Habilite os módulos Apache necessários.

Copy to Clipboard

Edite o arquivo de configuração Apache para o site padrão.

Copy to Clipboard

Adicione as seguintes linhas a este arquivo de configuração.

Copy to Clipboard

Altere os valores do User-agent para refletir suas necessidades.

Copy to Clipboard

Aqui está o arquivo, antes de nossa configuração.

Copy to Clipboard

Aqui está o arquivo, depois de nossa configuração.

Copy to Clipboard

Reinicie o serviço Apache.

Copy to Clipboard

Em nosso exemplo, o servidor Apache proibirá o acesso a uma lista de Bots e Crawlers selecionados pelo administrador.

A partir de um computador Linux remoto, teste sua configuração.

Copy to Clipboard

Aqui está a saída de comando.

Copy to Clipboard

O servidor Apache proibirá o acesso de valores específicos de User-Agent.

A partir de um computador Linux remoto, tente realizar o acesso usando qualquer outro valor de User-Agent.

Copy to Clipboard

Aqui está a saída de comando.

Copy to Clipboard

O servidor Apache permitirá que qualquer outro valor de User-Agent acesse seu site.

Parabéns! Você aprendeu a configurar o servidor Apache para negar acesso a bots e crawlers ruins.