|
Il existe un grand nombre de scénarios dans lesquels vous devez protéger vos sites Web par les moteurs de recherche. Si vous avez développé un site web et vous avez développé une pièce administrative à caractère personnel sur le site ainsi que beaucoup d'entre nous, vous mai ne pas vouloir que url administratif fait apparaître sur les moteurs de recherche Google ou Yahoo. Si vous acceptez les documents provenant de clients sous la forme d'un document Word ou un document PDF et vous êtes en les stockant dans un répertoire sur votre serveur web, si vous avez ou non la section du site web protégé de mot de passe ou non, les fichiers sur cet serveur web sont ouverts dans ce répertoire, simplement parce qu'ils résident sur le serveur Web par rapport au répertoire racine. google filetype: doc Expérimentez avec ce format dans une recherche Google, les résultats de mai vous surprendre. Cela m'a surpris une fois lorsque j'ai fait une recherche pour les documents PDF pour un site bancaire et trouvé des documents PDF qui ont été désignés pour les yeux seul client, mais je n'étais pas client et j'ai été en mesure d'afficher leurs documents. Le site lui même était protégée et la zone d'accéder aux documents a été protégé par nom d'utilisateur et mot de passe. Ce qui n'était pas protégée est le répertoire dans lequel l'institution a été le stockage des documents. Adding insult to injury a ne pas avoir fait une pratique courante dans Internet en utilisant un fichier robots.txt dans le répertoire racine de son site Web. Il existe un certain nombre de niveaux de sécurité qui doivent tout simplement être en place. Je ne suis certainement pas un expert en sécurité, mais je sais que vous devez protéger votre site Web à partir d'un niveau du réseau, et d'un niveau de l'application aussi bien. Votre équipe a besoin de l'exploitation du réseau à faire leur part pour verrouiller vos répertoires et l'installation de correctifs et la configuration des pare-feu et de suivi. Et les développeurs ont besoin pour faire leur part pour garantir leurs applications qui exigent la sécurité. Une manière très simple de le faire est d'inclure un fichier robots.txt dans le répertoire racine du serveur web. Je ne parle pas du répertoire racine de l'application, je parle du serveur web. Le fichier robots.txt doit se trouver à la racine du domaine et son nom doit être "robots.txt". Un fichier robots.txt situé dans un sous-répertoire n'est pas valide, car les robots recherchent ce fichier uniquement dans la racine du domaine. Par exemple, «http://www.example.com/robots.txt» est un emplacement valide. Mais, "http://www.example.com/mysite/robots.txt" n'est pas. Il existe de nombreuses variantes à votre fichier robots.txt et vous avez beaucoup de flexibilité dans les répertoires ou les fichiers indexés par les moteurs de recherche, et celles dont vous n'avez pas. Vous n'utilisez pas un fichier robot.txt à assurer que les pages sont indexées par les moteurs de recherche, vous pouvez les utiliser pour définir les fichiers et les répertoires que vous ne souhaitez pas voir indexées par les moteurs de recherche. Il s'agit d'un moyen simple mais très important pour empêcher quelqu'un de trouver les «For Your Eyes Only" les documents relatifs à votre site Web de l'entreprise. |