Disallow是什么意思？disallow用法

Disallow是什么意思？disallow[英][ˌdɪsəˈlaʊ][美][ˌdɪsəˈlaʊ]。vt.驳回; 不准; 不接受。第三人称单数：baidisallows过去分词：disallowed现在进行时：disallowing过去式：disallowed。disallow一般用在robots文件中，提示蜘蛛，网站哪些需些抓取，哪些禁止蜘蛛抓取。意思是禁止任何蜘蛛抓取该网站的任何目录。

 

robots.txt Disallow用法：

robots.txt放于网站根目录下面，用来提示搜索引擎网络机器人，不抓取网站上的哪些内容。 Disallow: /行列出的是您要拦截的网页。 您可以列出某一具体网址或网址模式。 条目应以正斜杠 (/) 开头。注意：第一个字母都是大写的。：是英文状态下的帽号，帽号的后面要有一个空格。

 

以下是攻硬营销SEO网站的robots文件http://www.kelaiseo.com/robots.txt网站上robots.txt的几个示例：

User-agent: * 【允许所有搜索引擎访问网站所有内容】

Disallow: /plus/ad_js.php【禁止访问 /plus/ad_js.php这个文件夹的所有内容】

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

 

拦截整个网站，请使用正斜扛。

Disallow: /

拦截目录及其中的所有内容，请在目录名后添加正斜杠。

Disallow: /plus/car.php

拦截某个网页，请列出该网页。

Disallow: /private_file.html

要从 Google 图片搜索中删除特定图片，请添加如下内容：

User-agent: Googlebot-Image

Disallow: /images/图片名.jpg

要从 Google 图片搜索中删除网站上的所有图片：

User-agent: Googlebot-Image

Disallow: /

要拦截某一特定文件类型的文件（例如 .gif），请使用以下内容：

User-agent: Googlebot

Disallow: /*.gif$

要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告，请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析页面，从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。 例如：

User-agent: *

Disallow: /folder1/

User-agent: Mediapartners-Google

Allow: /folder1/

请注意，指令区分大小写。 例如， Disallow: /plus/car.php 会拦截 http://www.kelaiseo.com/plus/car.php，但会允许 http://www.kelaiseo.com/plus/。 模式匹配 Googlebot（但不是所有搜索引擎）遵循某些模式匹配。

要匹配连续字符，请使用星号 (*)。例如，要拦截对所有以 private 开头的子目录的访问：

User-agent: Googlebot

Disallow: /private*/

要拦截对所有包含问号 (?) 的网址的访问（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串），可使用以下条目：

User-agent: Googlebot

Disallow: /*?

要指定与某个网址的结束字符相匹配，请使用 $。 例如，要拦截以 .xls 结束的所有网址，请使用：

User-agent: Googlebot

Disallow: /*.xls$

您可将此模式匹配与 Allow 指令配合使用。 例如，如果 ? 代表一个会话 ID，您可能希望排除包含 ? 的所有网址，以便确保 Googlebot 不会抓取重复网页。 但是以 ? 结束的网址 可能是您希望包含的网页的版本。 在此情况下，您可以对 robots.txt 文件进行如下设置：

User-agent: *

Allow: /*?$

Disallow: /*?

Disallow: / *? 指令将阻止包含 ? 的所有网址 （具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号，而后又是任意字符串的网址）。 Allow: /*?$ 指令将包含以 ? 结束的所有网址 （具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。http://www.kelaiseo.com/