“放下你手里的代码”:爬虫技术的善与恶、罪与罚

robots.txt文件是业内惯用做法,不是强制性的约束。robots.txt的形式如下:在上面这个robots.txt例子中,所有的爬虫都被禁止访问网站的任意内容。但是Google的爬虫机器人,可以访问除了private位置的所有内容。如果一个网站上没有robots.txt,是被认为默许爬虫爬取所有信息。如果robots.txt做了访问的限制,但是爬虫却没有遵...