各人都知道搜刮引擎抓取網站，并接納快照排名有三個步調，這篇文章的焦點是“索引”這內里的“去重”關鍵，去重也便是去失重復的內容事情。網頁去重的緊張性有多大?各人可以去搜刮下有許多光顯的案例。我先敘述下我所相識到的信息。
　　去重所處的位置：SE抓網頁-闡發-去重-建索引
　　爬蟲遵照的協議集: socket編程, http協議闡發
　　網頁剖析: 詞法剖析,編譯原理,html協議
　　去重: url消重,文本關鍵詞提取,頻度闡發 (這個最難)
　　去重算法我5、6月份時間也曾搜刮了一段時間，無功而返。運營bbs的童靴應對“去重”加以器重!各人都曉得論壇的垃圾內容容易太多了，注水嚴峻導致大量的和網站主題不干系的內容出現，誤導SE以為你的站內容和你的meta里信息不切合，終極導致排名降落。