Shingle算法对网站SEO聚合页面的一点启发
Shingle算法是搜索引擎去掉相同或相似页面的其中一种基本算法，做SEO聚合页面的时候如何让页面之间不重复？如何处理重复度的问题？可以反推Shingle算法得到一些启发。
Shingle在英文中表示相互覆盖的瓦片。先通过一个例子来说明Shingle算法：
假设有A、B两个文档的标题，A文档的标题是：明起电话订火车票可全国通取取票时间延12小时；B文档的标题是：火车票电话订票实现全国通取网上预售期延长。
对于长度L的文档，每隔N个汉字切一个Shingle，这样一共切到L-N+1个shingle，A文档标题切成了L-N+1=21-2+1=20个Shingle，B文档标题切成了L-N+1=20-2+1=19个Shingle。
A、B两个文档标题共同的Shingle有图上7个加粗的：电话、话订、火车、车票、全国、国通、通取。
A、 B两个文档标题一共有20+19-7=32个Shingle。
然而，A、B两个文档标题共同的Shingle，除以，A、B两个文档标题一共有的Shingle，就是这两个文档标题的Jaccard系数，可以用来判断A、B两个文档标题的相似度。
A、 B两个文档标题的Jaccard系数=7/(20+19-7)=0.21875
从两个文档的标题，可以延伸到两个页面文档，再延伸到N个页面，通过Jaccard系数是否达到相似所需要的标准来判断页面与页面是否相似。
反推Shingle算法，如果Jaccard系数小于某个数，就不重复了，先给每个文档集合拆分成若干个Shingle，再两两计算Jaccard系数，如果小于某个数，生成页面即可。
我之前做的一个项目使用的一个方法，虽然比较笨，也还算实用，分享一下：
假设北京电影品类有100个团购单子，现在要为下图右边这些词设计聚合页面，每个页面展示10个单子，假设jaccard系数大于0.3判定为页面重复，怎么生成不重复页面？
意思是，每个页面展示10个单子，每两个页面不能有>=3.33个id是一样的，即两两页面id比较，所有的id都不同可以页面，只有1个id相同可以生成页面，只有2个id相同可以生成页面，只有3个id相同可以生成页面，如果有大于等于4个id相同就不生成页面。
顺便介绍一下我自己，我叫陈慧，性别女，第一份工作在3158致富网，工作了快两年，第二份工作在爱帮网，也工作了快两年，从2012年12月开始来到美团，算起来有4.5年的seo经验，说起来惭愧，在这一行比我小好几岁比我强的有太多，修行还得看个人，不看工作年限哈。
以后会把大部分业余时间花在算法、技术、seo交流上，期望有更多好的东西分享给大家。
Shingle在英文中表示相互覆盖的瓦片。先通过一个例子来说明Shingle算法：
假设有A、B两个文档的标题，A文档的标题是：明起电话订火车票可全国通取取票时间延12小时；B文档的标题是：火车票电话订票实现全国通取网上预售期延长。
搜索引擎如何知道这两篇文档标题是否是重复的？比如我们可以以2个汉字切为一个Shingle的方法：
陈慧：Shingle算法对SEO聚合页面的一点启发
对于长度L的文档，每隔N个汉字切一个Shingle，这样一共切到L-N+1个shingle，A文档标题切成了L-N+1=21-2+1=20个Shingle，B文档标题切成了L-N+1=20-2+1=19个Shingle。
A、B两个文档标题共同的Shingle有图上7个加粗的：电话、话订、火车、车票、全国、国通、通取。
A、 B两个文档标题一共有20+19-7=32个Shingle。
然而，A、B两个文档标题共同的Shingle，除以，A、B两个文档标题一共有的Shingle，就是这两个文档标题的Jaccard系数，可以用来判断A、B两个文档标题的相似度。
A、 B两个文档标题的Jaccard系数=7/(20+19-7)=0.21875
从两个文档的标题，可以延伸到两个页面文档，再延伸到N个页面，通过Jaccard系数是否达到相似所需要的标准来判断页面与页面是否相似。
这就是Shingle算法，两个集合的交集除以两个集合的并集，得到Jaccard系数，通过判断Jaccard系数是否大于某个数，来判断两个集合是否重复。
反推Shingle算法，如果Jaccard系数小于某个数，就不重复了，先给每个文档集合拆分成若干个Shingle，再两两计算Jaccard系数，如果小于某个数，生成页面即可。
我之前做的一个项目使用的一个方法，虽然比较笨，也还算实用，分享一下：
假设北京电影品类有100个团购单子，现在要为下图右边这些词设计聚合页面，每个页面展示10个单子，假设jaccard系数大于0.3判定为页面重复，怎么生成不重复页面？
如下图展示单子的标题和长标题（假设seo聚合页用的长标题，因为长标题文字不单一，文字量也大）：
每个id是唯一的，每个id对应的标题和长标题可以近似于唯一，那就可以简化成允许相同id的单子数来解决重复的问题。
意思是，每个页面展示10个单子，每两个页面不能有>=3.33个id是一样的，即两两页面id比较，所有的id都不同可以页面，只有1个id相同可以生成页面，只有2个id相同可以生成页面，只有3个id相同可以生成页面，如果有大于等于4个id相同就不生成页面。
顺便介绍一下我自己，我叫陈慧，性别女，第一份工作在3158致富网，工作了快两年，第二份工作在爱帮网，也工作了快两年，从2012年12月开始来到美团，算起来有4.5年的seo经验，说起来惭愧，在这一行比我小好几岁比我强的有太多，修行还得看个人，不看工作年限哈。
以后会把大部分业余时间花在算法、技术、seo交流上，期望有更多好的东西分享给大家。
Tag标签
相关推荐
- SEO优化之TF-IDF框架与其可以衍生到的SEO知识
- 百度用户点击影响的数据量化，分清SEO优化的不可抗力因素
- 大网站和小网站SEO的区别，网站优化提升量与提升比例
- SEO网站页面分析，页面代码元素合理优化
- 百度搜索引擎原理四，结果展示，百度搜索结果结构化展示
- 百度SEO网站建设优化，网站安全，网站日常安全防护及被黑操作
- SEO网站内容建设，内容积累，关键词选取方法及高质量页面原创
- SEO网站内容建设，用户维护，主动访问用户数据体验优化
- 百度SEO网站优化，整体优化，注意事项及百度索引量变化投诉
- 长尾关键词是什么，为什么做SEO网站优化，需要关注长尾词呢？
- 百度最新算法-瑞丽算法上线，2015年1月元旦大量cn网站被
- 影响百度搜索引擎网站优化自然排名的几大因素
