网络蜘蛛

网路蜘蛛(Web spider)指的是「自动化浏览网站」的程序。这样的电脑程序是搜索引擎为了自动从网络撷取特定的资料，或为了组织网络上的资料，所设计的「『自动浏览网络』的程序」。

网络蜘蛛又被称为“网络爬虫”（Crawler或Robots），它是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。