Gostaria de aprender a configurar o servidor Apache para negar acesso a bots e crawlers ruins? Neste tutorial, vamos configurar o servidor Apache para bloquear o acesso de Bots e Crawlers ruins.
• Ubuntu 20
• Ubuntu 19
• Ubuntu 18
• Apache 2.4.41
Em nosso exemplo, o servidor Apache está hospedando o site WWW.GAMEKING.TIPS.
Copyright © 2018-2021 by Techexpert.tips.
Todos os direitos reservados. Nenhuma parte desta publicação pode ser reproduzida, distribuída ou transmitida de qualquer forma ou por qualquer meio sem a permissão prévia por escrito do editor.
Lista de equipamentos
A seção a seguir apresenta a lista de equipamentos usados para criar este tutorial.
Como associado da Amazon, eu ganho comissão por compras qualificadas.
Apache – Tutorial relacionado:
Nesta página, oferecemos acesso rápido a uma lista de tutoriais relacionados ao Apache.
Tutorial Apache – Bloqueando bots ruins e crawlers
Pesquise no arquivo de log do Apache para obter uma lista de agentes de usuário.
Uma lista de User-agents suspeitos que acessaram seu site será exibida.
Crie uma lista de User-agents para bloquear.
Opcionalmente, este projeto GitHub oferece uma lista de Bots e Crawlers ruins.
Habilite os módulos Apache necessários.
Edite o arquivo de configuração Apache para o site padrão.
Adicione as seguintes linhas a este arquivo de configuração.
Altere os valores do User-agent para refletir suas necessidades.
Aqui está o arquivo, antes de nossa configuração.
Aqui está o arquivo, depois de nossa configuração.
Reinicie o serviço Apache.
Em nosso exemplo, o servidor Apache proibirá o acesso a uma lista de Bots e Crawlers selecionados pelo administrador.
A partir de um computador Linux remoto, teste sua configuração.
Aqui está a saída de comando.
O servidor Apache proibirá o acesso de valores específicos de User-Agent.
A partir de um computador Linux remoto, tente realizar o acesso usando qualquer outro valor de User-Agent.
Aqui está a saída de comando.
O servidor Apache permitirá que qualquer outro valor de User-Agent acesse seu site.
Parabéns! Você aprendeu a configurar o servidor Apache para negar acesso a bots e crawlers ruins.
