搜索引擎蜘蛛爬行的过程是这样的，首先检测网站的robots.txt文件，确定哪些内容禁止抓取，哪些内容允许抓取等信息，确定robots.txt允许爬取之后，进入我们网站的首页，然后通过首页的链接爬取到我们网站中的内容页或者栏目页，之后再通过栏目页到达我们的文章页。
既然已经知道了搜索引擎抓取我们网站的流程，那么我们接下来广西SEO 就要为您分析影响搜索引擎抓取的因素了，首先
1、网站速度的影响
机房问题、dns问题、cdn加速问题、服务器带宽、服务器硬件、操作系统、服务器软件以及服务器所安装的程序，这些都有可能影响我们网站的打开的速度。
2、nofollow标签的合理使用
nofollow是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎不要追踪此网页上的链接或不要追踪此特定链接。那么我们所要做的就是，用nofollow来屏蔽掉网站页面重复出现的链接以及对seo没有很高价值的页面，以减少网站权重的分散，并且可以减少搜索引擎重复抓取网站内每个页面的重复链接，以提高搜索引擎抓取效率。
3、网站硬盘问题:如在服务器里面安装多个虚拟机，导致硬盘转速变慢，有时会导致搜索引擎打不开网站。
4、返回码问题：比如同一个链接返回不同的返回码，又或者404页面返回200等
5、安全软件问题：比如开启了防火墙规则、屏蔽了网站端口、开启防采集规则、开启防攻击规则等，导致了搜索引擎同一时间由于大量访问网站，而导致被安全软件拦截。
6、外链问题：
我们发外链的目的有两个，一个是吸引搜索引擎来抓取我们网站(引蜘蛛)另外一个就是提升网站的排名。外链首先要保证不能单纯的指向首页，要把外链做到指向栏目页、文章页的都有一些。
7、网站的权重
网站权重是搜索引擎对这个网站信任度的一个体现，如果网站的权重够高，那么搜索引擎抓取的也相应的会比较及时，反之则是网站权重低，搜索引擎对其信任度不高，也许蜘蛛会很久来访问网站一次，相应的抓取频率就很低了。
8、网站地图
网站地图是将网站的所有连接，最直观的反应给搜索引擎，可以提高搜素引擎的抓取效率，同时也为增加网站的收录提供了良好的帮助。
9、推广
网杂很难前期的推广也非常重要，前期推广包含QQ群推广、QQ空间推广、邮件推广、软文推广、论坛外链推广、平台信息推广。所有能引导来用户点击的推广都可以，当然一定要是良性的推广。因为有点击就会给予点击权重，而网页是具有一定权重以后才会被收录。
10、pr
pr值是谷歌使用的衡量网站质量的一套标准，但是pr对于百度seo来说作用是非常小的，只是能够给我们提供一个参考价值。
11、url静态化
URL静态化的目的是有利于网站的排名，虽然现在搜索引擎已经可以收录动态地址，但是在在排名上静态化的页面比动态页面更有优势， 并且URL静态化将更有利于增加搜索引擎的信任度。
12、url的唯一性
网站中的同一个页面，只对应一个url地址;如果网站上多种url都能访问到同样的内容的话，那么就会出现以下问题：
a、搜索引擎会选一种url为标准，可能会和正版不同
b、用户可能为同一网页的不同url做推荐，多种url形式分散了该网页的权重
建议：
a、如果你的网站上已经存在多种url形式，建议按以下方式来处理：在系统中只使用正常形式url，不让用户接触到非正常形式的url
b、不把session id、统计代码等不必要的内容放在url中
c、不同形式的url，301永久跳转到正常形式防止用户输错而启用的备用域名.301永久跳转到主域名
d、使用robots.txt禁止百度蜘蛛抓取你不想向用户展示的形式
13、ulr带关键词
尽量在url中带上网站的关键词(拼音)，这样会在排名上面稍微的会占据一点因素，要知道百度是中文搜索引擎,对拼音的分析能力是很强大的。
14、代码因素
网站的代码要符合w3c的标准，结构层、表现层、行为层标签都应该完整，建议使用开源程序。
15、head信息的正确性
网站的三大标签：标题标签(title)、关键词标签(keywords)、描述标签(description)
16、内容的原创性
前面有说到原创的内容一定会被收录，只不过是时间的问题而已，不论哪个搜素引擎，都是喜欢原创的内容，网站内容的原创性直接关系到搜索引擎对你网站的信任度，信任度又可以通过权重这个参考来反应出来，所以，网站内容的原创性是网站优化的重中之重。
17、内容的重复度
转载、或者是采集的文章，页面的文字、页面都和之前页面一样，具有非常高的重复度，那么百度就会计算你和其他网站内容的重复度，搜索引擎是一个喜新厌旧的家伙，如果每次你所发的内容重复度都很高的话，那么渐渐地蜘蛛就会失去对你网站的兴趣。
18、网站的结构
网站结构混乱，内链系统杂乱无章也会导致收录缓慢。比如不同栏目的内容互相做链接，而有的内容链接很多另一些内页链接很少。网站的层次也是一个原因，对于一般的企业站点三层已经足够放置所有的内容，而如果层次太深会影响内页的收录。
总结：
影响收录的因素大概有这么几个因素：站内站外、技术性因素、文章的因素，这些如果够做好的话，基本上来说，网站的收录就不是个事。
来源：广西SEO http://www.guangxiseo.net/
更多网络知识及相关网络服务请QQ咨询深圳网站建设公司QQ:2361277551