单项选择题 下列符号中，用于注释robots.txt文件的记录的是（）。

单项选择题 下列选项中，提供了遍历和搜索文档树的大部分方法的类是（）。

单项选择题 下列选项中，被称为全网爬虫的是（）。