热文zblog系统博客的robots.txt文件的写法教程
robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。这篇文章就讲解一下,zblog...
robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。这篇文章就讲解一下,zblog...
zblog 目录文件写robots.txt规则之前,要先了解zblog 所包含的文件,文件夹以及它们的作用是什么。以下图片所展示的内容,为zblog中所包含的文件夹以及文件。feed.php : RSS Feed 入...
之前发现了一个博客每天定时发布《每天60秒读懂世界》,发现类似的内容好像很好收录,就采集了一段时间,效果确实不错,经常能达到分钟级收录,但是那个博客断更了!!!下面的代码是昨天仔细研究wordpress文章相关表和字...