在线客服
|
robots.txt 指定 Sitemap.xml的位置和robots Meta标签[转]
robots.txt 指定 Sitemap.xml的位置和robots Meta标签[转]
robots.txt 指定 Sitemap 和robots Meta标签 http://www.mp322.com/robots.txt User-agent: *Sitemap: http://www.mp322.com/sitemap.xml Disallow: /wp-admin/Disallow: /sysinfo/ 今天一天之内，准确的说相隔不到3个小时，就有两个朋友在QQ上让我帮他看看网站，为什么搜 索引擎不收录。从我个人角度来看，他们的站做的还不错，除了个别地方（如有几页标题相同之类）不够，没有导致不收录的因素。最后一查看 robots.txt，“Disallow: /”。 回想起来，找我咨询的朋友中，还真有不少的一部分都是这样的问题，所以写出来，供不熟悉的朋友参考。 1、robots.txt是什么？ robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。 2、如何正确放置robots.txt？ 首先，robots.txt文件必须放置在网站根目录；有域名指向到次目录，在次目录放置的robots.txt文件只对此域名有效。 其次，文件名必须小写，如Robots.txt、roBots.txt、robots.TXT都是错误的。 3、robots.txt内容应该如何写？ 文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。 (1)User-agent: 指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：
只允许Google的蜘蛛抓取；
允许所有蜘蛛抓取。 注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。 (2)Disallow: 指定禁止蜘蛛抓取的目录或文件，如：
禁止抓取根目录下help.php文件；
禁止抓取根目录下的admin子目录中任何内容；
值为空时，表示不限制，蜘蛛可以抓取站内任何内容。 如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。 这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。 4、robots.txt需要注意的几个问题：
5、将你的XML格式Sitemap地址放到robots.txt中 Robin新发现，并率先在国内提出的，大家可以到点石博客中下载Robin的“网站如何被高效索引”演讲稿阅读。 加入Sitemap地址的作用是，如果搜索引擎蜘蛛能够识别此行，就能快速获知网站的XML地图文件地址，并将地图文件作为一个URL参考进行高效索引（具体哪些搜索引擎蜘蛛能够识别目前我还不清楚）。 如樂思蜀SEO博客的robots.txt，紧接着User-agent的第二行：
此处之前的内容，将Sitemap放在第一行的说法错误，特此更正。 robots Meta标签 robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。 Meta robots标签必须放在<head>和</head>之间，格式： <meta name=”robots” content=”index,follow” /> content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
以上1和4还有另一种写法： index,follow可以写成all，如：
noindex,nofollow可以写成none，如：
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。 最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。 特别是在不清楚文件或目录的作用时，不要轻易禁止抓取。前阵一位做旅游的朋友，网站中有大量的旅游景点图片，几大搜索引擎中却都没有索引，后来对网站检查时发现图片目录upload在管理目录admin下，被robots.txt禁止抓取了。 虽然网上关于robots的文章已经很多了，发现都不尽全面，整理了一下供参考。 作者：樂思蜀 原载：樂思蜀SEO博客
参考文档：
在建立与服务器的连接出错，定位指定的服务器/实例时出错 标签：C# Winform+WebService+三层C/S结构快速开发平台 RegSvr32注册DLL,OCX提示“找不到指定的模块” 标签：C#.Net组件开发 - 设计时持久化对象数组 标签：C#.Net组件开发 - 属性窗体内显示自定义名称 标签：C#.Net组件开发 - 自定义设计器(ComponentDesigner) 标签：C#.Net组件开发 - 自定义设计器持久化对象的属性 标签：C#.Net组件开发 - 自定义属性编辑器持久化对象的属性 C#打开CHM文件并定位到指定的页面(原创) XtraTabbedMdiManager控件配置选项卡显示位置 我在框架加了新的业务模块，但运行导航位置没有菜单 指定单据号码自动打开业务单据窗体并显示数据 为什么主窗体下面的窗体列表标签没有关闭[X]按钮？ 运行程序，主窗体显示指定的模块 dalMenu.cs,手工启动事务需要在构造器内指定参数_UserManualControlTrans = true
其它资料：
什么是C/S结构？ | C/S框架核心组成部分 | C/S框架-WebService部署图 | C/S框架-权限管理 | C/S结构系统框架 - 5.1旗舰版介绍 | C/S结构系统框架 - 功能介绍 | C/S结构系统框架 - 产品列表 | C/S结构系统框架 - 应用展示(图) | 三层体系架构详解 | C/S架构轻量级快速开发框架 | C/S框架网客户案例 | WebApi快速开发框架 | C/S框架代码生成器 | 用户授权注册软件系统 | 版本自动升级软件 | 数据库底层应用框架 | CSFramework.CMS内容管理系统 | |
 旗舰版V5.1 (作者推荐)  轻量框架V2.1 (2021 release) 
|
在线客服
