题目内容
（请给出正确答案）
[单选题]
网站根目录中哪个文件里面的内容会告诉爬虫哪些数据是可以爬取的，哪些数据是不可以爬取的（)。
A.robot.txt
B.robot.html
C.robots.txt
D.robots.html
查看答案
如果结果不匹配，请 联系老师 获取答案
题目内容
（请给出正确答案）
如果结果不匹配，请 联系老师 获取答案
题目内容
（请给出正确答案）
A.robot.txt
B.robot.html
C.robots.txt
D.robots.html
如果结果不匹配，请 联系老师 获取答案
更多“网站根目录中哪个文件里面的内容会告诉爬虫哪些数据是可以爬取的…”相关的问题
A．使用IE浏览器的“收藏夹”功能
B．使用IE浏览器中“文件”→“另存为”→“网页，全部”
C．将所有文字粘贴到记事本，将每张图片另存为文件，最后放到同一个文件夹内
D．使用截屏键将屏幕内容粘贴到“画图”软件中
A.由于对上传文件的类型、内容没有进行严格的过滤、检查，使得攻击者可以通过上传木马获取服务器的webshell权限
B.用户直接或者通过各种绕过方式将webshell上传到服务器中进而执行利用
C.会导致网站被控制，增删改查文件，链接数据库
D.上传漏洞与SQL注入或XSS相比,其风险更小
A.控制族图元显示性和详细程度的最常用的方法是族图元可见性设置。
B.对族文件管理时，一级根目录是按照族类型分类的。
C.族样板文件的扩展名为“.rfa”。
D.体量族属于系统族。
E.族编辑器中的大多数视图中，工作平面是自动设置的，执行某些绘图操作及在特殊视图中启用某些工具时必须使用工作平面。
A.有一个小爬虫ProxySpider去各大代理网站爬取免费代理并验证，将可以使用的代理IP保存到数据库中
B.在发现某个请求已经被设置过代理后，什么也不做，直接返回
C.在ProxyMiddlerware的process.request中，每次从数据库里面随机选择一条代理IP地址使用
D.周期性验证数据库中的无效代理，及时将其删除
