反spam與spam間的較量
搜索引擎第一輪反擊是,在排序時更多地依賴網頁正文而不是meta tag。但spam們以進為退,在正文中大量使用與網頁背景相同顏色的關鍵字,在圖片注釋文字中塞進關鍵字,在網頁代碼加入“看不見的注釋”。搜索引擎又開始第二輪反擊,它們找
到了有效的方法來過濾這些看不見的文字。
搜索引擎的spider(蜘蛛)在訪問任何網站時都會自報身份,并且查閱網站的訪問規(guī)定,按照各網站的規(guī)矩來辦事。于是,SEO隨之制作兩個網站,一個專供網友訪問,一個專供搜索引擎訪問,“各取所需”,這種方法叫做cloaking(外套)。
在國外,其實早在上世紀SEO SPAM便已成大熱門。據1998年的一次調查,在主要的搜索引擎上搜索當時的熱門詞匯“Monica Lewinsky”(莫妮卡·萊溫斯基),各搜索引擎首頁居然有40%的搜索結果是垃圾網站。
搜索引擎只能去尋找新的相關性排序依據,或作弊者不能控制的排序依據,即到網站以外去尋找排序的依據。于是,出現(xiàn)了超鏈分析,出現(xiàn)了Pagerank。超鏈分析的原理即是看網頁間的同類鏈接點作為重要依據,此后,又根據各網站的權重等來綜合分析等。這樣,gov(政府網站)和edu(教育網站)通常被賦予較高的排名,來自gov和edu的超鏈也有更高的價值。
但spam們又據此做大量的網站,準備大量的鏈接,哪個客戶出錢,所有的網頁都給它一個鏈接。這種SEO方法被稱為link farm。而反spam的做法就是憑發(fā)現(xiàn)的link farm而認定此即為作弊網站。
據某論壇上某個站長透露,目前,在中國已經形成了一個巨大SEO SPAM市場,據反spam專家王某的估計,中國以此為生的人數(shù)大約在數(shù)十萬,其網站更是高達數(shù)百萬計。在互聯(lián)網上,有眾多SEO網站,它們打著各種旗號來“指導”人們作弊,并在上面談心得體會。
這些SEO SPAM們“賴以生存”的方式主要是以下兩種:1.利用搜索引擎引來網站流量帶動的廣告收入;2.販賣通過對搜索引擎作弊獲得的較高的關鍵詞排名。網站流量以獨立IP計算,根據站長的透露,自己每日5000個獨立IP的訪問量,僅加入了電影寬帶等3家的廣告聯(lián)盟,月入已達1300元左右。而一個被百度收錄2萬左右網頁的做流量的網站,每日IP很快就能漲到4萬元。
前赴后繼的spam
SEO SPAM的破壞性是相當巨大的,它不僅直接破壞了每日數(shù)億計的用戶搜索體驗———這是搜索引擎網站賴以生存的關鍵所在,同時也破壞了搜索引擎獲得收益的主要來源———競價排名以及相關廣告。
據有關統(tǒng)計資料,在所有網頁中,摒除無效網頁,作弊網頁占到整個網頁的10%;在某些熱門關鍵詞的搜索中,其前50篇網頁,垃圾網站的網頁所占比例甚至可以高達80%以上。
在中國,Google一直以謙謙君子的形象示人,但它也有發(fā)怒的時候。
2005年3月26日凌晨4點,忍無可忍的Google突然發(fā)力,將一大批spam站點清除。Google的頁面恢復了以前的干凈。
但事隔不到4個月,垃圾網站的網頁又如潮水般涌來。據來自Google的內部消息,Google也一直在致力于反spam,但建立一個完整的反垃圾網站系統(tǒng)是一個漫長的過程,在中國,反垃圾網站的人才更是奇貨可居。在采訪百度時,百度即不愿披露反垃圾網站專家的姓名,“因為這是百度最為寶貴的人才之一”。
據王某透露,其實在搜索引擎與垃圾網站的長期斗爭中,搜索引擎總是處于守勢。這不僅因為搜索引擎公司真正考慮搜索結果相關性和排序的只有幾個人,而互聯(lián)網上整天琢磨怎么對付搜索引擎的有幾十萬網站管理員,更重要的是,制造一個或幾十個甚至幾百個作弊網頁,只要將一個目標網頁稍作改動即可實現(xiàn),并可以不斷進行類似復制,而搜索引擎甄別、刪除卻需要相當?shù)臅r間,這種“以一當百”,以一個網站對付數(shù)以萬計作弊網站的工作,對搜索引擎而言,是一個巨大的人力資源投入與成本投入。
目前,垃圾網站的新攻擊方向是博客網站。在國內的各大博客,目前均已苦不堪言,spam如蝗蟲般涌來,流量太大會導致網站通道堵塞而無法訪問。
這一斗爭過程,已完全類同于互聯(lián)網的病毒與反病毒,所不同的是,制造病毒的成本有時會更高些———需要很高的技術門檻,而制造垃圾網站的門檻卻相當?shù),且制作方便?
因此,作為搜索引擎,對待垃圾網站的態(tài)度是高度地一致:永久刪除。
但在搜索中,永遠會有垃圾網站的存在,因為它每時每刻都在誕生。由于垃圾網站的成本與收入間的巨大差異,SEO SPAM們還會勇往直前,前赴后繼。而到目前為止,政府以及相關部門還沒有對這種互聯(lián)網上的“假冒偽劣”制定相應的法律制度來制約。但相信這一天一定會到來。(朱建國
暴春燕)
責任編輯 原霞