在网站优化工作中，网站优化职员天天都在与内容和链接交际，从现在来看，他们深知独立的原创内容，对于将来站点长期进步的重要程度，但这所有的开始，都有一个首要条件，那就是防止产生“蜘蛛陷阱”。
“蜘蛛陷阱”是什么?
简单理解：蜘蛛陷阱，是基于站内设计的一种技术方案，用于满足程序的特定需要，但它对搜索引擎并不友好，最大的特征是当蜘蛛抓取某个特定URL的时候，它便进入了无限循环，只有入口，没出口。
容易见到的“蜘蛛陷阱”有什么：
1、站内搜索
这是一个容易见到且容易导致“蜘蛛陷阱”的地方，当你试图在站内搜索某些特定关键字的时候，假如类似search.php?q=如此的URL地址被搜索引擎抓取与网站收录，那样非常可能产生很多无意义的搜索结果页面。
解决：你可以通过Robots.txt这个文件，屏蔽动态参数。
2、电子商务商品
假如你以往有过操作电子商务网站的历程，那样你会遇见商品SKU的多样性的问题，同一个主题内容，会依据SKU的不同，产生多个URL，导致很多的内容重复页面，这也致使紧急浪费蜘蛛抓取频率。
当然，还有一种特殊的“蜘蛛陷阱”与电子商务商品页面类似，就是动态的内容插入，这也总是致使蜘蛛陷入温顺的陷阱。
解决：确保URL的规范性，你可以试图借助rel=canonical这个标签来解决类似问题。
3、Flash网站
为了满足用户的视觉体验，网站建设公司一般会用Flash网站，给用户搭建企业官方网站，如此看着很美观，但因为现在搜索引擎并不可以非常不错的抓取与辨别flash内容，总是致使站点排名非常难提高。
解决：不要做整站flash，尽可能将flash嵌入网页内容的一部分。
4、限制性内容
对于一些站点，出去吸粉的目的，不少内容只有登录才能查询，尤其是一些强制cookie的操作，这诱导与欺骗了蜘蛛，它非常难辨别内容，并且持续的尝试抓取这个URL。
解决：针对网站制作，尽可能防止使用这种方案，去吸引用户。
怎么样辨别“蜘蛛陷阱”
对于辨别蜘蛛陷阱的办法，特别容易，你仅需通过如下内容：
① 网站日志：借助工具读取当日蜘蛛抓取URL的内容，假如发现特殊的URL地址，那样值得进一步关注。
② 抓取频率：查询百度搜索资源平台中抓取频率，假如某一天数值特别大，那样非常可能陷入蜘蛛陷阱。
常被讨论的蜘蛛陷阱还有网站框架、sessionid、各类跳转，本文只简单讲述了实质应用中常遇见的蜘蛛陷阱，仅供参考。