日韩欧美亚洲 _ 欧美亚洲一区 _ 日本亚洲欧美 _ 亚洲精品欧美国产白袜脚足J棉袜在线观看_亚洲熟妇av一区二区三区_久久天天躁狠狠躁夜_精品众筹模特私拍在线

填空題

當網(wǎng)絡爬蟲訪問網(wǎng)站時，會優(yōu)先檢查該站點的根目錄下是否存在（）文件。

答案： robots.txt

你可能感興趣的試題

robots.txt文件是（）訪問網(wǎng)站時要查看的第一個文件，它會限制網(wǎng)絡爬蟲的訪問范圍。

答案：搜索引擎

如果數(shù)據(jù)市場上沒有需要的數(shù)據(jù)，那么可以利用（）技術抓取網(wǎng)站上的數(shù)據(jù)。

答案：爬蟲