如何设置robots.txt文件
robots.txt是搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。
搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件(robots.txt),如果不存在该文件,则搜索引擎机器人默认这个网站允许其全部抓取。 全文阅读 »
如何设置robots.txt文件,robots.txt是搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。 搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件(robots.txt),如果不存在该文件,则搜索引擎机器人默认这...
robots.txt是搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。
搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件(robots.txt),如果不存在该文件,则搜索引擎机器人默认这个网站允许其全部抓取。 全文阅读 »
概述:
Meta description作为对网站页面的描述性语句,可以让搜索引擎清楚了解页面的主要内容。虽然meta部分的描述在搜索引擎优化方面已经被减少了权重,但是保留meta description描述以及合理的使用其内容对于提高搜索引擎友好度还是很有效果。很多时候搜索某些关键词的时候,在搜索引擎结果页面(SERP)中出现的就是meta description中的描述。 全文阅读 »