以下关于网络爬虫的描述中,错误的一项是

---

问题: 以下关于网络爬虫的描述中,错误的一项是

A: 根据某种抓取策略爬行新发现的URL,如此重复下去

B:在爬虫开始的时候,需要给爬虫输送一个URL列表,作为爬虫的起始位置

C:对于商业搜索引擎来说,分布式爬虫是必须采用的技术

D:爬虫程序会抓取所有网页,以保证搜索正确性