楼(lóu )上说的很多(duō ),我补充一下,正确的(de )应(yīng )该叫网(wǎng )络(luò )蜘蛛(zhū ),又称(chēng )爬虫(chóng ),本质(zhì )是搜索引擎派出的一(yī )个(gè )执行抓取(qǔ )任务(wù )的程序蜘蛛(zhū )池(chí )的本质是大(dà )量(liàng )的网(wǎng )站互相链接(jiē ),每个站单(dān )独产生(shēng )大量的内(nèi )容吸引蜘蛛来(lái )爬,几千个网站互链(liàn )时,可以(yǐ )想(xiǎng )象(xiàng )蜘蛛(zhū )的链接(jiē )
Copyright © 2008-2018