亚洲色欲色欱www在线丨国产精品毛片在线完整版sab丨婷婷四虎东京热无码群交双飞视频丨日本无卡无吗二区三区入口丨麻豆国产精成人品观看免费

切換城市 [ 北京 武漢 ]24小時聯系電話:
24小時聯系電話: 15201609116
切換城市 [ 北京 武漢 ]

有事點這里 有事點這里  有事點這里 有事點這里

新聞資訊NEWS

網頁查重技術日期:2009/11/27 9:24:31  

        對于搜索引擎來說,重復的網頁內容是非常有害的。重復網頁的存在意味著這些網頁就要被搜索引擎多處理一次。更有害的是搜索引擎的索引制作中可能會在索引庫里索引兩份相同的網頁。當有人查詢時,在搜索結果中就會出現重復的網頁鏈接。所以無論是從搜索體驗還是系統效率檢索質量來說這些重負網頁都是有害處的。
網頁查重技術起源于復制檢測技術,即判斷一個文件內容是否存在抄襲、復制另外一個或多個文件的技術。
1993年Arizona大學的Manber(Google現副總裁、工程師)推出了一個sif工具,尋找相似文件。1995年Stanford大學的Brin(Sergey Brin,Google創始人之一)和Garcia-Molina等人在“數字圖書觀”工程中首次提出文本復制檢測機制COPS(Copy Protection System)系統與相應算法[Sergey Brin et al 1995]。之后這種檢測重復技術被應用到搜索引擎中,基本的核心技術既比較相似。
網頁和簡單的文檔不同,網頁的特殊屬性具有內容和格式等標記,因此在內容和格式上的相同相似構成了4種網頁相似的類型。
1、兩個頁面內容格式完全相同。
2、兩個頁面內容相同,但格式不同。
3、兩個頁面部分內容相同并且格式相同。

4、兩個頁面部分重要相同但格式不同。
實現方法:
網頁查重,首先將網頁整理成為一個具有標題和正文的文檔,來方便查重。所以網頁查重又叫“文檔查重”。“文檔查重”一般被分為三個步驟,一、特征抽取。二、相似度計算和評價。三、消重。
1.特征抽取
我們在判斷相似物的時候,一般是才能用不變的特征進行對比,文件查重第一步也是進行特征抽取。也就是將文檔內容分解,由若干組成文檔的特征集合表示,這一步是為了方面后面的特征比較計算相似度。
特征抽取有很多方法,我們這里主要說兩種比較經典的算法,“I-Match算法”、“Shingle算法”。
“I-Match算法”是不依賴于完全的信息分析,而是使用數據集合的統計特征來抽取文檔的主要特征,將非主要特征拋棄。
“Shingle算法”通過抽取多個特征詞匯,比較兩個特征集合的相似程度實現文檔查重。
2.相似度計算和評價
特征抽取完畢后,就需要進行特征對比,因網頁查重第二步就是相似度計算和評價。
I-Match算法的特征只有一個,當輸入一篇文檔,根據詞匯的IDF值(逆文本頻率指數,Inverse document frequency縮寫為IDF)過濾出一些關鍵特征,即一篇文章中特別高和特別低頻的詞匯往往不能反應這篇文章的本質。因此通過文檔中去掉高頻和低頻詞匯,并且計算出這篇文檔的唯一的Hash值(Hash簡單的說就是把數據值映射為地址。把數據值作為輸入,經計算后即可得到地址值。),那些Hash值相同的文檔就是重復的。
Shingle算法是抽取多個特征進行比較,所以處理起來比較復雜一些,比較的方法是完全一致的Shingle個數。然后除以兩個文檔的Shingle總數減去一致的Shingle個數,這種方法計算出的數值為“Jaccard 系數”,它可以判斷集合的相似度。Jaccard 系數的計算方法集合的交集除以集合的并集。

3.消重
對于刪除重復內容,搜索引擎考慮到眾多收錄因素,所以使用了最簡單的最實用的方法。先被爬蟲抓取的頁面同時很大程度也保證了優先保留原創網頁。
網頁查重工作是系統中不可缺少的,刪除了重復的頁面,所以搜索引擎的其他環節也會減少很多不必要的麻煩,節省了索引存儲空間、減少了查詢成本、提高了PageRank計算效率。方便了搜索引擎用戶。

咨詢電話:15201609116

地 址:北京市海淀區建材城中路12號院17號樓1層119室
武漢分公司地址:湖北省武漢市洪山區南國雄楚廣場A4棟2011室
鄭州分公司地址:河南鄭州金水區東風路科技市場對面米蘭陽光6號樓917室
郵 箱:haidanet@163.com
24小時聯系電話: 15201609116 13651084380

主站蜘蛛池模板: 18禁黄网站禁片免费观看国产| 欧美人与动xxxxz0oz视频 | 九九综合va免费看| 国产在线无码一区二区三区视频| 久久免费无码高潮看片a片| 无码欧亚熟妇人妻av在线外遇| 一本久久精品一区二区| 国产精品亚洲五月天高清| 国内精品自线在拍| 欧美一卡2卡3卡4卡新区在线| 中文字幕日韩精品有码视频| 亚洲呦女专区| 无码少妇一区二区性色av| 本道av无码一区二| 午夜精品久久久久久久四虎| 久久人人妻人人做人人爽| 在线aⅴ亚洲中文字幕| 久久久久日韩精品免费观看| 国产亚洲va在线电影| 成年女人a毛片免费视频| 精品亚洲成a人片在线观看| 香港三级精品三级在线专区| 欧美黑人异族videos| 成人无码区免费视频网站| 女女女女女裸体处开bbb | 无码精品国产dvd在线观看9久| 欧美z0zo人禽交欧美人禽交| 亚洲精品喷潮一区二区三区| 国产成人av性色在线影院色戒| 男女嘿咻激烈爱爱动态图| 亚洲熟妇色自偷自拍另类| 国产亚洲人成a在线v网站| av天堂永久资源网| 国产精品自在欧美一区| 岛国4k人妻一区二区三区 | 日韩一区二区三免费高清| 亚洲精品无码成人a片在线软件| 亚洲综合性av私人影院| 女人被躁到高潮免费视频软件| 日韩av午夜在线观看| 激情偷乱人成视频在线观看|