日韩欧美亚洲 _ 欧美亚洲一区 _ 日本亚洲欧美 _ 亚洲精品欧美国产白袜脚足J棉袜在线观看_亚洲熟妇av一区二区三区_久久天天躁狠狠躁夜_精品众筹模特私拍在线

填空題

網(wǎng)站通過一個文件（）來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

答案： robots.txt

你可能感興趣的試題

現(xiàn)在網(wǎng)站會采取一些（）措施來阻止網(wǎng)絡(luò)爬蟲的不當(dāng)爬取行為。

答案：防爬蟲

待下載網(wǎng)頁集合就是（）URL 列隊(duì)中的網(wǎng)頁，這些網(wǎng)頁即將被爬蟲下載。

答案：待抓取