为了爬虫, 在网站根目录创建robots.txt文件(utf-8),文件内容涉及四类键值对:User-agent,Disallow,Allow,Sitemap,支持正则, Disallow后没内容就是允许所有,sitemap四种写法:

如果博客是使用Hexo管理的，sitemap可以使用插件来生成。但对于一个内容管理网站，后端可能是express、koa之类的框架，这时sitemap就需要自己来生成了，Sitemap可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页

让这个代码更加完善，可以同时生成首页、文章、单页面、分类和标签的 sitemap！Linux 定时任务+wget 定时生成 sitemap.xml,具体实现：将 sitemap.php 放到某个不为人知的目录，然后定时使用 wget 去请求这个文件