请输入或粘贴题目内容
搜题
拍照、语音搜题，请扫码下载APP
题目内容
（请给出正确答案）
关于网络爬虫协议文件robots.txt，说法正确的是：
Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件
Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录
Crobots文件不可以用xml格式命名
D一个网站可以放多个不同robots文件
答案
更多“关于网络爬虫协议文件robots.txt，说法正确的是：Arobots.txt是搜索引擎中访问网站的时候要查看”相关的问题
第1题
关于网络爬虫协议文件robots.txt，说法错误的是:
A一个网站可以放多个不同robots文件
Brobots文件不可以用xml格式命名
Cdisallow用来描述不希望被访问到的一个URL
Drobots文件可以放在任何位置
第2题
A.网络爬虫由控制节点、爬虫节点和资源库构成
B.网络爬虫中可以有多个控制节点，每个控制节点下可以有多个爬虫节点
C.控制节点之间可以互相通信，控制节点和其下的各爬虫节点之间也可以进行互相通信
D.属于同一个控制节点下的各爬虫节点间不可以互相通信
第6题
A、通用网络爬虫通常采用并行工作方式，但需要较长时间才能刷新一次页面。
B、通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。
C、聚焦爬虫根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
D、增量式爬虫在需要的时候爬行新产生或发生更新的页面，并重新下载所有页面
第8题
B.为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分
C.爬虫从一个或若干个初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件
D.网络爬虫的行为和人们访问网站的行为是完全不同的
