错误!终端不支持 JavaScript ,请打开 JavaScript 功能!
Robots.txt 是什么
目录
【原创】 🦀 【文章】

Robots.txt 是什么


Robots 是站点与 spider 沟通的重要渠道,站点通过 robots 文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

当然了,写不写 Robots.txt 与搜索引擎爬虫是否遵守规则是两回事,本站 Robots.txt 中的规则,包括百度、Google、360,基本都没有遵守。😂😂😂😂


打开手机扫描阅读

悬浮设置

系统布局

系统设置

语言设置

权限设置

运行时间

2915 天

系统版本

Alpha 3.4

当天日期

2020-05-30 00:00:00

昨天日期

2020-05-29 00:00:00

明天日期

2020-05-31 00:00:00


内容已复制! 页面将刷新! 已取消喜欢! 暂无喜欢网站! 状态已经更新!
Loading...