网络爬虫抓取的网页中通常存在很多与网页无关的信息, 称之为网页噪声。

       网页去噪。网络爬虫抓取的网页中通常存在很多与网页无关的信息, 称之为网页噪声。

       因此, 在对网页建立索引前, 去除噪声就变得尤为重要。本系统中主要采用基于视觉的网页分块算法来实现的。