书城计算机网络SEO智慧
19441100000013

第13章 搜索引擎历程与黑帽SEO

非法黑帽做法

在搜索引擎优化(SEO)与搜索引擎同步发展的过程中,搜索引擎和SEO在一定程度上形成了一种“道高一尺,魔高一丈”的竞争关系。一方面,搜索引擎在搜索新的网站的过程中,感觉到SEO给它们带来的便利,使得网站经过优化后能够容易地被它们所抓取,提高了搜索的信息准确度和信息量。

另一方面,SEO的从业人士总是想刺探搜索引擎的排名规律,使自己的网站能够容易地根据这些规律来得到优化,试图在搜索结果中占据优先的位置。同时,SEO人士来捕捉搜索引擎的漏洞和缺陷,将本身不怎么样的网站或者垃圾网站塞给搜索引擎,以次充好,骗取搜索引擎的排名。这个就不可避免地将合理的网站优化技术污染,促使搜索引擎积极地修正完善自己的计算方法和评定标准,来反击这些SEO骇客的进攻。

这种以次充好,靠欺骗来进行SEO活动的做法,在英语世界中被称为“黑帽”做法。然而,什么是“黑帽”做法,或者这个概念是否应该存在,依然是具有争议的。“黑帽”者往往辩称,任何SEO都是费尽心机来试图操纵搜索结果,而“黑帽”做法无非是为了能够在商业上取得一些成功。

利用搜索引擎的一些不完善的地方来钻空子的SEO做法为什么叫做“黑帽”呢?这是一个典故。在好莱坞西部片里,戴黑帽的牛仔被指为坏蛋,而戴白帽子的牛仔被扮演成正义的一方。一些在西部片里扮演“黑帽”的影星包括Jack Palance,Lee Marvin,Lee Van Cleef,Leo Gordon,Wallace Beery和Cesar Romero。

所以,“黑帽”SEO就是指对搜索引擎具有破坏性的、挑战搜索引擎信息检索运算规则、威胁搜索结果公正性的恶意做法或者调皮做法。

至于什么是可以接受的行为,什么是不可以的,搜索引擎自己来定。反对者说,“黑帽”的做法就是纯粹为了排名而排名,而不是帮助网站用户提供一个怎样用好一个网站。

的确,怎么定义是非法的,搜索引擎是法官。不同的搜索引擎都给予所有站主一定的建站指导(详见附录Google和百度的官方建站指导),但是很多的定义是比较含糊的。这是因为搜索引擎并不想透露出一丝它们的算法,以免“黑帽”者来进行反向推理,设计更多的“破解”方法。比如,Yahoo禁止任何“给用户带来不好使用体验的网页”。这句话就很笼统和主观。

不管怎样定义“黑帽”,还是“黑帽”是否正当,你如果采用一些过激手法和障眼术来挑战、愚弄搜索引擎的话,你的网站就会被排除在搜索引擎的索引之外。

对这个结果,你不应该感到惊讶。如果你坚持要蹚这个混水,那么请记住,搜索引擎没有义务要吸收你的网站,你也没有必要遵守它们定的规则。如果你的优化行为非常过激,最终吃亏恐怕难免。

现在已经迎来2009年,这意味着,和四、五年前相比,搜索引擎已经进步、发展,变得很精明。许多障眼法是1999年和本世纪初许多人采用的,现在自然不可能灵光。那么为什么还是有许多人现在还用过去的做法呢?

这是因为,搜索引擎优化是个渐入佳境的过程,生手往往不能理解SEO是个漫长、延续的过程,想当然地想早日取得成效,就自然求助于所谓一些搜索引擎认为非法的做法。而有SEO若干年经验的人士已经知道这些做法是以卵击石,不太会采用淘汰的做法。

但是,新手没有这个经历,自然不可能了解SEO的真谛,很想走捷径。另外,SEO新手一般都以排名多少为成功或者失败的标准,为了排名,绞尽脑汁地试图蒙骗搜索引擎。一些本身很好的网站,经过这些错误做法的处理,都受到搜索引擎的惩罚,被剔除搜索引擎的索引。最典型的例子是2006年2月BMW(宝马汽车)的德国网站www.bmw.de,由于采用的SEO策略来欺骗Google,被Google毫不留情地封掉。

在这起BMW事件中,Google软件工程师迈特·卡茨解释说,BMW的网站采用了跳页的作弊手段把访问者引向另外一个URL。卡茨说,当Google的爬虫访问一个BMW的页面时,它看到的是重复堆积在一起的德语“新车”这个关键词,然而当一个访问者来到这个网页时,访问者被立刻转向到另外一个网页,而那个网页文字很少但有很多汽车图片。这个有很多图片的网页搜索引擎是看不懂的,不会对网站的PR值有什么好处。所以,BMW的网站让搜索引擎看一个网页,而让访问者去看另外一个网页。

这样的做法违反了Google站长品质纲领,特别是其中一条“不要用不同的内容来欺骗你的用户和搜索引擎”。卡茨说,BMW.de不仅需要将自动转向的JavaScript移除,而且要保证其他页面也不能出现此类问题方能被Google重新收录。

和技术来优化网站。为了帮助SEO的新手避免不该犯的错误,本书列举一些非法做法,分析搜索引擎为什么反对它们。不过,在列举之前,我们先了解一下搜索引擎的发展历程。从这里面,我们知道SEO从搜索引擎的第一天就有。过去合理的优化方法今天不一定合适。之所以现在许多人还用旧的优化方法,一是出于本能——最容易做到的事情会先想到;二是还有为数很多的SEO者的误导——他们自己没有经历过搜索引擎优化的发展过程,不知道“老八代”的做法现在不应该去想;三是许多人的急功近利,梦想奇迹的发生,不愿踏实地努力,想找捷径。

8.1搜索引擎和SEO的同步发展

SEO不是突然出现的一个技术,而是和搜索引擎同时发展起来的。通过了解这段历史,我们就明白,两者的关系虽然不能说是“矛和盾”的关系,但是可以肯定的是,因为有SEO才使得搜索引擎技术能够变得更精确。我们还能明白为什么今天一些“黑帽”做法已经不再显灵,因为我们能看到搜索引擎也在和SEO的同步发展中逐步完善,在算法和反滥用的斗争中变得越来越更加精密。

作者从20世纪90年代中期开始接触互联网,以文字编辑器(text pad)开始编写第一张网页,设立第一个网站。建立的第一个商业网站便是在1995年建设的销售电话卡的网站,使用的是非独立域名,做过banner广告、文字广告、链接、网站联盟获得访问流量。直到1997年注册第一个独立域名,将业务转型,在网络上面向全球销售国际长途电话回拨业务,以及后来的世界范围的国际商业免费800电话服务,进而从此走上网络营销之路。2003年涉足旅游业,依靠互联网和SEO建立起了在美国有一定知名度的长城探险俱乐部。在这些岁月里,作者通过对搜索引擎的使用认识到了搜索营销的威力,也目睹了搜索引擎优化的产生和发展。

8.1.11994—1997年:雅虎诞生与SEO的开始这一阶段是早期搜索引擎MSN,Lycos,Excite,Netscape(本身也是搜索引擎),Alta Vista,Hotbot和InfoSeek的天下。1994年7月,Lycos推出了基于搜索机器人的数据发现技术,并支持搜索结果相关性排序。它还第一次让搜索引擎能够使用网页自动摘要。

1995年底,AltaVista推出,由于它具备大量的新的搜索功能,深受大众好评。AltaVista是第一个支持自然语言搜索,具备了基于网页内容分析、智能处理的能力,第一个实现高级搜索语法的搜索引擎(如AND,OR,NOT等),同时还能搜索新闻群组(Newsgroups)中的内容,并且能够搜索图片。

这一阶段也是Yahoo(雅虎)发展的初期阶段。大多数人在这个时候对搜索并不熟悉,也不太知道有搜索引擎这回事,但是对于Yahoo,大多数人则都有所了解,寻找网站就上Yahoo。所以,将你的网站送到Yahoo是很必要的。在此阶段,只要你的网站基本有个模样,有一定的可看性,一般只要向Yahoo提交地址,72小时内就能出现在Yahoo目录上。Yahoo对所有的网站进行人工归类,一般是按照字母顺序排列网站,自然开头为“A”的网站排到开头为“B”的前面,而有两个A的网站,排在有A和B的网站面前,比如American Airlines的网站不仅排在Bank of America的前面,而且也排在American Basketball Association前面。所以,大批网站就以追求A字来命名。这是搜索引擎优化的雏形。这个逻辑和黄页电话号码簿的排名逻辑一样。

在这一阶段,Yahoo的栏目编辑们也在网上积极搜索新的网站,丰富他们的数据库,而他们的搜索都是人工的,最典型的方法就是从一个网站的链接去访问另外一个网站。遇到一个好的网站,他们就给站主发电子邮件,欢迎站主登录,而且都是免费的。

这些Yahoo的编辑访问网站的行为和我们今天看到的搜索引擎爬行蜘蛛和机器人的形式是一样地孜孜不倦。作者就曾经收到Yahoo编辑的邀请登录,而且和Yahoo的编辑进行了若干次对话。有个Yahoo编辑这么关心你的网站,比你还着急登录你的网站,而且一文不收,这个在今天是无法想象的。你的网站登录后,你还可以随时更改登录的信息,一般72小时就得到了更新。

值得一提的是,虽然在这个时期中文网站很少,而且大多是美国的中文网和在台湾的网站,但是Yahoo显然注意到中文网站的未来,而且迅速有了中文译名“雅虎”,而这个不仅仅是因为它的创始人是杨致远。

这一阶段也是SEO的雏形时期。网上网下出现了一些论文,讨论文字对应、数据挖掘和对搜索引擎程序员的访谈。人们初步有了让网页内容符合搜索引擎数据库原理的模糊意识。同样,将网站收录到搜索引擎也是很容易的。你的网页只要关键词的使用达到一定密度就轻而易举地排列在搜索引擎上了。

值得一提的是,搜索引擎InfoSeek首次做到每日更新。早晨八点你提交网站,下午就被收录,第二天就能出现在搜索之中。正是因为这么快的更新和这么容易的提交到收录,大量的站主开始变着法子频繁登录不同的网址,英文出现Spam这个词来形容站主不负责地制造泛滥的垃圾,很快使这些搜索引擎吃不消。

所以,SEO从一开始就是黑白两道开始的。白的,英文里是white-hat,就是按照能够悟出的搜索引擎原理来合理地调整自己的网站,使搜索引擎能收录并得到好的曝光。黑的,英文叫black-hat,这类优化者仿佛是黑客,寻找搜索引擎的弱点,力图将混淆的信息强塞给搜索引擎,从而为真实的网站提高曝光机会。

这个时期,因为强大的利润诱惑,成人网站可以说是带头去“黑”搜索引擎。所以,SEO和搜索引擎从一开始就是爱和恨的关系。这个时期,收费的网站优化服务也开始在美国出现。

在中文搜索引擎领域,中国的起步其实并不晚。1996年8月成立的搜狐公司是最早参与作类似Yahoo的网络信息分类导航的网站,曾一度有“出门找地图,上网找搜狐”的美誉。

这个时候,没有人在注意在斯坦福大学的一个宿舍里,两个聪明的学生正在慢慢孕育着一个令世界瞩目的新型搜索引擎。他们发明了一个新的叫PageRank(佩奇等级)的理论,来重新塑造搜索引擎。这个新型搜索引擎就是现在的Google。

8.1.21998—1999年:Google出现和SEO理论的浮现这一阶段,美国的互联网大会开始有一些关于网站优化的文章发表。这些文章开始关注到链接流行度(link popularity)、名录网站链接(directory listing)的意义。这也使作者开始留意到,其实搜索引擎的排名原理是多种混用的,了解了一种是远不够的。这段时间,搜索引擎也知道了需要限制人们的网站提交来防止垃圾网站的泛滥,于是开始组织反击。

AltaVista开始大规模剔除含有“我们来优化”或者“我们来推广”包含这类文字的网页。SEO的实践者开始意识到,要破译搜索引擎的原理越来越难。在1999年将一个网站提升到前十名要比在1998年难上十倍。搜索引擎开始更多关注链接流行度的意义。

Google也在1998年收到了第一张10万美元的风险投资,搬出了斯坦福校园,正式命名为Google公司,域名也从google.stanford.edu变成google.com。这个新的搜索引擎衡量网站的重要性首次将关注链接流行度作为排名的标准之一。

1999年5月,英国的FAST公司推出AllTheWeb搜索引擎。它的网页搜索可利用ODP自动分类,支持Flash和PDF文件搜索,支持多语言搜索,还提供新闻搜索、图像搜索、视频、MP3和FTP搜索,拥有极其强大的高级搜索功能。这么强大的功能使它成为最流行的搜索引擎之一。

这一阶段的初期,搜索引擎也开始了多元化的进程,开始设立多语种的网站,比如AltaVista就率先开始了拉丁语的版本。台湾中正大学吴升教授所领导的GAIS实验室于1998年1月创立了OpenFind中文搜索引擎。它是最早开发的中文智能搜索引擎,号称能抓取全球最多的网页并开始进入英文搜索领域。

1999年Google获得了2,500万的资金,开始全力发展,并且已经在每天处理50万次搜索。Google搬家到目前的全球总部依然是旧金山——硅谷叫Mountain View(山景)的城市。这时候的搜索引擎开始设法控制市场,广告广泛地出现在搜索引擎上。这引起了许多搜索者的反感,因为大家还是在用56KbpsModem上网,大量的广告使网站页面出现太慢。

Google发现了这个影响搜索步伐的致命的跟腱。简洁的网页设计让众人耳目一新,飞快的搜索速度更使得各个站主奔走相告,每个站主论坛都充满了对Google的极好评价,杂志的采访也是接连不断地对Google进行推荐。Google的全面演出就将正式登台了。

8.1.32000—2001年:百度的出现和搜索引擎的革新从2000年开始,登录一个网站到搜索引擎花的时间是越来越长。搜索引擎热衷于收费服务,从一个新的搜索引擎Inktomi到AltaVista都染上了金钱。与此同时,搜索者希望有一个搜索引擎能真正地给他们带来有用的信息。Google没有辜负人们的期望,它的精确搜索开始巩固它在搜索引擎中的地位。

首先出局的是InfoSeek。这个InfoSeek在1998被迪士尼公司买下,变成Go.com。自从那以后,InfoSeek被抛弃,而Go.com也使用Yahoo搜索来代替。在1999年,InfoSeek的一位华人工程师离开了这个搜索引擎而驶向北京,他力图要创立一个“中国人自己的”搜索引擎,并且受一句中国古词“众里寻他千百度,蓦然回首,那人却在灯火阑珊处”的启发,将中国人的搜索引擎起名叫“百度”。这个工程师就是百度的创始人之一——李彦宏。

李彦宏自己就是新一代搜索技术的专家,他早在1996年就解决了如何将基于网页质量的排序与基于相关性排序完美结合的问题,并获得美国专利。百度公司结合硅谷搜索引擎人才精英,依托北京最优秀的软件人才,开发了大型商业化的中文搜索引擎,中文搜索从此与英文搜索站在了同一起跑线上。同时,百度搜索就巧妙地解决了数据更新的瓶颈,整个中文网页的数据库可以最快每天更新一次。

2000年也是Flash动画、JavaScript特技Rollover、动态图片甚至是网站由主题音乐导引的流行之年。这些动态的形式让人喜爱,但是很少有人知道,可惜搜索引擎却不能认识这些。搜索引擎只能阅读文字,而非这些感官的创意,因为它们一直是在模拟人的阅读方式,但是却无法模拟人的感知。直到今天,搜索引擎也没有解决这个问题。

从这一年开始,实际上,向搜索引擎呈交新的网站不需要按照以前那样在搜索引擎的页面上填写“Add URL”,搜索引擎已经能从一个存在的网站上发现新网站的链接而来访问并收录。在这个时候,SEO实践者也开始知道,如果网站能被目录导航站(directory),特别是开放目录ODP(Open Directory Project)收录,将非常有助于搜索排名的提升。最知名的ODP是DMOZ(www.dmoz.org),由尼克·斯冠塔和鲍勃·图尔两位Sun公司的工程师在1998年创办。它是一个人工来收录网站进行分类的名录网站。在这点上,它的组成和Yahoo是一样的。

不同的是,它是由全球的站主自己做编辑来维护的,而Yahoo是由专业编辑来维护的。关于DMOZ,我们已在第7章详细说明。搜索引擎青睐DMOZ,是因为经过人工分析的网站的可信度自然要高于搜索引擎蜘蛛和机器人来获取的网站信息可靠。

2001年的收费登录大为红火。搜索引擎市场经历大清洗,人们开始抛弃搜索引擎Hotbot,AltaVista和Excite。AltaVista试图仿效Google方式来重新回到缩小版的搜索引擎,但是这个垂死挣扎非常痛苦地失败了,并在2003年被Yahoo收购。Inktomi也失去了好几个应用伙伴,急剧走下坡路,2004年同样被Yahoo收购了,而且成为了今天Yahoo搜索的主要技术核心。

SEO实践者开始讨论余下的那些搜索引擎——其实,那就是Google!

欢迎来到Google的时代!这个时代,“有了Google,就有了一切”。就这样,这个同时让众多SEO实践者常常彻夜不眠的时代开始了。

8.1.42002—2004年:Google Dance和SEO的不眠之夜其实在2001年,敏感的站主和SEO实践者感觉到了一个从来没有过的现象。有些人的网站在Google上的排名一夜之间消失,而有的网站则名列首位。这个现象几乎是每月一次。后来,人们知道,这就是Google定期地更新它的索引(index)的剧烈活动,给人的感觉就像跳舞一样,因此被SEO实践者称为Google Dance,后来,Google不仅承认了Google Dance这回事,而且还把它作为了一个特色的公关节目,每年在其总部或者是在搜索营销大会的会场都会举办Google Dance舞会。

正是因为有Google Dance,每个SEO实践者都在Google更新的那个晚上熬夜地看自己的SEO成果能否在Google上实现。每次更新有赢家有输家,网上SEO论坛总有成千上万的讨论,期望知道下次更新能有什么可以预料的,或者猜测更新的具体日期。

搜索引擎在这个阶段中遇到更严重的泛滥问题。SEO实践者大量采用门户网页(doorway page)、重复网站(duplicate Websites)、伪装网页(cloaked page)、充斥名录网站(spam directories)、隐藏链接(hidden links)等来试图欺骗Google。另外,DMOZ被Google作为一个重要的收录新网站的渠道,DMOZ也被注入许多垃圾网站。

2002年是大量SEO被滥用的一年。但是,搜索引擎从这些与SEO非法实践的斗争中不断丰富自己辨别的技术,对抓住的网站拒绝收录,已经收录的则给予剔除。但是,这个封锁也冤枉了不少诚实的SEO网站。

在中国,百度于2001年9月开始提供公共搜索服务,并成功地使搜狐和新浪开始使用它的搜索技术。同时,它还提供新闻的服务,迅速扩大用户群。

2003年,越来越多的网站设计对Flash的应用有了谨慎的态度。这一年也是搜索引擎继续反击垃圾泛滥的一年。许多SEO实践者明白黑帽技术(black-hat)已经行不通,而是要扎扎实实地真正提高网站的素质。作者的国际电话业务网站在此阶段获得长足发展,也靠的是将丰富的内容给用户,同时也获得搜索引擎的青睐。

Google在2003年更是挤掉了AltaVista和Inktomi,成为独大。这里有个具有讽刺意义的事实。Google诞生于一个搜索引擎纷杂的时代,也就是前面的早期时代。在那个时代里,像AltaVista等搜索引擎对自己的市场份额太具信心而懒得变化。Google便由各个站主和SEO实践者宣扬,从而一举后来居上。而现在,Google开始反击垃圾泛滥,矛头直接指向曾经支持它的这些站主和SEO实践者。这些人成为了Google成功的牺牲品。

2003年的Google的“佛罗里达更新”(Florida Update)真是让全世界的站主和SEO实践者领教了Google的厉害。倘若强烈飓风一般,Florida Update一夜之间让千万个网站从搜索中消失或者从前10名刮到100页以后。这个发生在11月16日的更新,尤其对寄希望在即将来临的圣诞节狠赚一笔的电子商务网站损失惨重。从现在来看,Google的这个更新是反击垃圾网站和不法SEO行为的一次重要战役。

然而,由于Google使用的过滤器(filter)不完美,冲击了很多无辜网站。作者的两个网站也受到冲击,一度使作者夜不思寝,朝不思食。之所以叫“佛罗里达更新”,是因为这个更新由Google在佛罗里达的数据中心开始的。

之后,2004年1月叫做“Austin Update”的余波同样也对相当多的网站造成冲击。霎时间,所有SEO实践者都突然摇身变成了Google PPC(竞价排名广告)的专家——大家不得不依靠Google广告来维持这段节日期间的销售。

关于这两个历史性的Google行为,本书在前面章节有了专门叙述。这两个Google的更新给了许多SEO实践者相当大的教训。规规矩矩地从改善网站本身的素质而不是投机取巧,成为了SEO唯一可行的方法。PPC(竞价排名广告)也稳定地成为营销策略中的重要手段,而SEO也成为搜索引擎营销(SEM)的一部分。

Yahoo在这个时候决定与Google正式分道扬镳。长久以来,为了弥补自己靠人工收录网站的不足,Yahoo一直采用Google的技术来提供网络搜索。Yahoo先是陆续购入AltaVista,AllTheWeb和Inktomi公司,让人觉察到Yahoo的心情——它是否间接养大了Google?它的手上还有20Google的股份!终于,在2004年2月16日,Yahoo出售了Google股份,正式告别Google,走上自己开发搜索引擎的道路。

同年,2004年9月12日,Google推出简体及繁体两种中文版本的中文搜索。

8.1.52005年之后:搜索引擎的战国时代进入2005年,最大的变化是Google Update不再是定期的活动,而是逐渐地成为每天的递进更新。剧烈的变化不再看见。SEO实践者能够很快地看到自己的努力是否出现了效果。遵循搜索引擎的纪律,以合理的方法来调整、提高网站的结构和内容,成为唯一能够保证网站排名稳定的办法。更重要的是,遵循这些规范操作而优化的网站,不仅在Google上排名良好,而且在Yahoo和MSN上也具有不错的结果。中文网站,如果扎实地做好网站的素质,也会在百度的排名上获益。作者的国际电话服务的中文网站一直在百度上获得很多的访问者。

巨大的搜索市场被Google占领,这个让比尔·盖茨看不下去。MSN终于在2005年2月1日推出了自己的搜索引擎。从此,美国的搜索市场正式由Google、Yahoo和MSN出演“三国演义”。

中国的搜索市场也让世人瞩目。作为全球第二大互联网市场,中国的分量实在重要。美国的三大搜索引擎,在中国搜索市场遭遇了本土企业百度的强烈抵抗,以至于Yahoo和Google始终不能在市场份额上和百度相争。为了和百度决战,2005年杨致远将雅虎中国交给了马云的阿里巴巴来经营。随后,Google启用李开复,并在2006年启用了中文域名Google.cn和中文译名“谷歌”。

搜索引擎优化(SEO)在中国方兴未艾,也吸引了美国的SEO公司的目光。其中美国著名的尚奇(www.zunchina.com)动作最快,不仅由作者主导在2005年7月推出美国搜索营销业唯一的一个中文网站,而且在2005年11月登陆上海,赞助2005年上海国际电子广告技术大会(Ad-Tech),获得极大的反响,赢得中国用户的热烈欢迎,并在中国的海峡两岸都服务中外客户。

为了帮助SEO的新手避免不该犯的错误,本书列举一些非法做法,分析搜索引擎为什么反对它们。下面就历数这些比较常见的非法操作,或者是“作弊”方式,提醒真正把搜索营销作为战略的人要远离这些技俩,不仅自己不要尝试,也能辨别一些SEO服务商是否诚实。

8.2页面优化的非法操作

8.2.1桥页、跳页

桥页、跳页(jump page、doorway page或者叫gateway page)是纯粹为了某个特别的关键词获得搜索排名而设计的网页。这些网页一般不在网站的导航中出现,但是被用来导引访客更深入地进入网站的其他页面。这些网页的内容很不讲究,但是在网页的底部有个链接,指导访客进入真正的有实质性内容的网站部分。

率先使用这类网页的网站是色情网站。色情网站为了招揽流量,制作了很多其他类别的网页,比如约会网、免费音乐下载等。这些网站平时人们搜索频繁,而当一个色情站的桥页在“免费音乐下载”这类关键词上获得很好的排名的时候,招揽来的访客实际上被导引至真实的色情网站。但是,由于搜索引擎对于网站相关性有比较完善的审核,这种做法已经很难成功。

另外,从表面上看这类网页没有什么有害的,可是这些网页常常用一些自动变更的程序或者软件来变更网页中的关键词,所以没有什么价值。搜索引擎声明,由于这些网页的建立可以自动进行,可以容易地生成几百或者几千张,稀释了互联网中网站内容间的相关性,因此从这个方面讲,搜索引擎拒绝收录这类垃圾。

这种做法对SEO本身也没有好处。对于有些获得排名的桥页,因为构造过于明显,竞争对手能看透其中的做法,然后在他们的网页中克隆,这样就制造了许多重复页。搜索引擎对于重复页一般是筛选掉。所以,这个做法实际上也不明智。

8.2.2关键词叠加

关键词叠加(keyword stacking)是指在网页中过分重复关键词。最基本的叠加方式是在网页中访客看不见的HTML文件中的一些地方,如标题签、描述标签、图片的替代文字中,等等。比如:

减肥茶减肥茶减肥茶减肥茶减肥茶减肥茶减肥茶减肥茶减肥茶减肥茶减肥茶茶叶茶叶茶叶茶叶茶叶茶叶茶叶茶叶茶叶茶叶茶叶茶叶这些词语,或许大家也已经看到了,经常被一些人放在网页的尾部,字体很小。其目的就是让搜索引擎看见,“认识”这个网页的主题是“减肥茶”或者“茶叶”,从而试图让搜索引擎给予此页在这两个关键词搜索中的有利排名。

这个做法相当过时。搜索引擎现在能判断出这种对关键词的滥用,虽然不至于剔除这类网页,但是不可能给它们期待的排名。

8.2.3关键词堆积

关键词堆积(keyword stuffing)和关键词叠加常常指的是同样的情况。一些搜索营销的人士将两者分开。关键词叠加一般指写些垃圾句子。关键词堆积一般指将这些垃圾句子放在图片之中,比如使用<alt>标签。有些不良的营销人士在网页中插入许多透明图片,比如blank.gif,clear.gif,spacer.gif这样最小可为1-1pixels的图形,然后加入这样的关键词:

显然,这些词语和spacer.gif的应有描述不一致。关键词叠加和关键词堆积都是最初级的欺骗方法,一般做搜索引擎优化的初学者容易采用这两个手段。搜索引擎认为这个手段是滥用。

8.2.4隐蔽文字和透明文字

隐蔽文字(hidden text)是许多人喜欢使用的作弊方式。由于并不想用多余的引诱搜索引擎阅读的文字来影响网页的面目和感觉,那么就将这些多余的文字隐蔽在HTML页码之中,只让搜索引擎看见或者使之透明而让浏览者看不见。

有多种办法来达到这个效果:

将文字的颜色做成与网页背景相同或者近似的颜色,也就是对<font>标签进行色彩修饰。

在表单的HTML编码中的<input type=“hidden”>中添加文字,即使有时整个网页没有一个表单。

在<noframes>标签中放入关键词,即使某一网页不存在框架。

在<noscript>和<noscript>中添加关键词,即使某一网页不存在script。

8.2.5细微文字

许多做搜索引擎优化的人士明白隐蔽文字可能会遭到惩罚,所以就将本来隐藏的文字以细微的字体暴露出来。细微文字即是使用微小的字体在网页不显眼的地方书写带有关键词的句子。一般这些文字是放在网页最顶端或者最低部。这些文字的色彩虽然不是和像隐蔽文字那样与背景使用相同颜色,但是经常也以非常相近的颜色出现。

在搜索引擎眼中,像“版权所有”这样的声明性的文字一般是用迷你字体来显示的。由于这些细微文字是浏览者一般看不到而试图“忽悠”搜索引擎,所以这些关键词和它们组成的句子以迷你字体来显示,就具有滥用的嫌疑。

8.2.6障眼法

还是搜索引擎,从而展示出不同的网页。这是一种典型的欺骗搜索引擎的障眼法。搜索引擎看到的网页是一个优化非常严重的一篇内容,而一般浏览者看到的则非常不同或者根本就不一样。

这个做法实际上是暴露了“黑帽SEO”做法的恶果。他们在正常的网页上受各种设计因素的制约,已经无法达到依靠关键词的科学处理来达到排名的目的,所以就人为地制作额外的对浏览者无用或者看不到的网页,而将这些网页给搜索引擎阅读。搜索引擎对于这个掩耳盗铃的做法的对策就是一个字——封!

2006年2月6日,Google确认德国名车制造商BMW(宝马)的德文网站从Google.de中被删除。在Google.de中输入site:www.bmw.de没有得到任何结果。www.bmw.de首页的网页等级(PageRank)变成了“0”。

对此,Google的软件工程师迈特·卡茨(Matt Cutts)说,bmw.de制作了一些误导用户的网页,或者给搜索引擎阅读不是普通浏览者阅读的网页。为了能扩大关键词在网页中的出现频率,蹩脚的SEO技术人员在一个网页中出现一些关键词几十次,分明是将网页送给Google看的,而不是给用户。同样,卡茨还警告,日本电器制造商理光的德文网站Ricoh.de也以同样的原因被Google剔除在搜索结果之中。

在以上错误得到纠正后,Google重新收录了上述两个网站。

8.2.7网页劫持

网页劫持(page jacking)是将别人的网站内容或者整个网站全面复制下来,偷梁换柱放在自己的网站上。这个方法是对网页内容极其匮乏的站主颇有吸引力。但是,这个做法是相当冒险的,更是不齿的。搜索引擎的专利技术能从多个因素上来判断这个被复制的网页或者网站不是原创,而不予以收录。作者看到国内几个B2B网站互相抄袭内容,或者从新浪网、新华网上抄袭新闻,都有劫持的嫌疑。

8.2.8网站灌水

搜索引擎喜欢内容,但是不喜欢垃圾内容。黑帽SEO会使用一段script来瞬间生成成百上千的网页。这些网页塞满了关键词,内容人是读不下去的,因为它们是为搜索引擎而生。这种SEO的办法过去是有用的,现在偶尔也能有用,条件是不被搜索引擎抓住。

8.3网站外部推广的非法操作

8.3.1重复提交

这是早期搜索引擎优化中许多人使用的方法。在一个网站完工之后,因为不能立刻出现在搜索引擎中,因此很多特别急躁的人以为提交不成功,进而反复向搜索引擎提交。

在20世纪90年代,因为搜索引擎收录新网站的时间比较长,而且不能自动发现网站的所有内容。所以,有时候在制作出一个新的网页的时候也需要单独提交。现在的搜索引擎的智能化已经提高很多,一次提交一个域名就已经足够。多次提交虽然看不出什么不好,但是实在没有必要。

8.3.2隐蔽链接

建立链接的真实原因是让网页者点击一个文字或者图像来进入与先前内容有关的新的网页。但是有些搜索优化者制作一些一般浏览者不能轻易发现、点击的链接。这样的链接一般是:

和一般网页文字使用同样的特征,比如同样颜色、同样字体。将链接藏于透明图片里面。

将上百甚至上千链接藏于一个小的图片中。

有些时候使用隐蔽链接是为了不影响网页的观赏性,所以并不是故意的。然后,搜索引擎非常不喜欢这种做法。如果非常需要将网页的内容串联起来,最好的办法是制作一个网站地图(见第4章)。

8.3.3复制网页和镜像网页

搜索引擎和他们的使用者都不希望内容雷同的网站占领关键词的搜索结果。因此,现在的搜索引擎在发现多个网站发布相同的信箱时,只取其中一个显示在搜索结果中。

很自然,一些搜索引擎优化的人士以为增加网站的数量,就能相应地增加网站获得搜索排名的几率。但是,由于时间、人手、资金等的限制,要在短时间内制作多个内容不同的网站是困难的。因此,最简单的办法是制作多个网站,每个网站的内容基本相同或者只有少量修改。另外,大家很熟悉有时候在搜索一个关键词时,某个网站会在搜索结果中跳出两个网页。这个占据两个位置的效果几乎和做一个广告比拟,会吸引搜索者相当大的注意力。

可是,搜索引擎尽量让这种现象少发生。搜索引擎有专利的技术来辨别哪些网页是雷同的,或者复制的镜像页。AltaVista(现为Yahoo的一部分)和Google就握有识别复制网页的技术专利。Yahoo查看雷同网页中的导出链接的相似性。

而Google对网页的部分内容设立“指纹”而不是比较整个网页。Google的专利还可以鉴定出一个网页中的内容是另外一个更大的网页的一部分。

http://copyscape.com/是一个网站,可以帮助你来看哪些网站有着类似的内容。

8.3.4域名轰炸

搜索引擎营销的新手一般认为,注册N个域名就等于拥有了N个网站,尽管这些域名的实际网站并没有什么内容,或者所有域名都指向同一网址(用其中一个域名所建立起来的有内容的网站)。这些域名一般很自然地由一个主要的域名派生出来,如关于减肥茶的域名:

www.jianfeicha.com

www.myjianfeicha.com

www.chinesejianfeicha.comwww.88jianfeicha.comwww.jianfei-cha.com……

这几个域名中,可能只有www.jianfeicha.com真正具有实质性的内容,而其他的域名可能只有少数几页,甚至这些页面都是重复的内容。这种行为是域名轰炸(domain spam)。这个轰炸的行为可以是人们对搜索引擎作用的本能反应。人们往往喜欢美其名曰“子站”。其实真正的子站并不是这样。

另外一种域名轰炸的目的是可以在许多目录导航站(directories)上登记N个网址,从而达到建立链接流行度和引来流量的目的。

搜索引擎针对域名轰炸的方法是将这些“子站”剔除。如果情况特别严重,主站也会被封。

8.3.5域名伪装

许多个人和小公司在上网的同时也从服务商那里获得了一个免费空间,或者从MSN等免费服务商那里设立了一个网站。这个网站的形式比如jianfeicha.freespace.com。网站看起来很不专业,而且一旦免费服务商不在了,网站也不在了,或者网站搬家也存在困难。为此,有些人就申请了一个独立域名,比如www.jianfeicha.com,并将这个域名暂时转向jianfeicha.freespace.com。

这种做法简单而且便宜,但是有诸多不利的情形。最大的缺点是搜索引擎发现有两个域名(一个独立域名和一个子域名)而被迷惑。这样的情况造成的结果是,搜索引擎可能并不会将独立域名收录在数据库里,而是将最终网址jianfeicha.freespace.com收录并且在搜索结果中出现这个网址。

如果这个网址获得了一些搜索排名,而免费服务商不在了或者换了,这个网址就不存在,已经获得的排名就突然消失了。

8.3.6转向

转向(redirect)这个问题在搜索引擎优化业争论了很久。毫无疑问,一些转向对方便访问者迅速到达新的网页非常有用。在互联网上,大多数的转向都比较合理。然而,一些转向则被非法使用,比如色情网站就常用这个方法来从普通网站吸收流量,然后转向真正的网页。

这些转向一般使用<meta refresh>标签来完成或者JavaScript来进行。例如:

利用这个转向,一个站主可以将一个排名很好的网页作为桥梁,吸引访问量,然后迫使这些访问者转送到另外一个和原先网页内容不相干的网页/网站(目标网页)。这个方法不仅欺骗了访问者,而且欺骗了搜索引擎。因此,搜索引擎对这个做法是零容忍。

搜索引擎对HTTP 301的永久转向没有问题。搜索引擎一般将永久转向后的地址收录,而不是转向前的旧地址。

8.3.7博客污染

一些搜索营销者发现,在博客网站的评论中可以频繁发帖,里面埋藏链接到达自己的网站。这个做法试图污染博客来增加链接到自己网站的数量。这种行为是想愚弄搜索引擎对链接质量的评判,挑战搜索引擎不断完善的算法。因此,只要被搜索引擎侦探出,网站便会被搜索引擎删除。

8.3.8链接养殖场

在上一章中,我们认识到“链接养殖场”(link farm)这类专靠链接来骗取PR值的网站。“链接养殖场”是指一个全无有价值信息的网页,这个网页站除了人为罗列的一个个指向其他网站的链接外,没有其他内容或者极少的内容。这个做法不仅是触怒搜索引擎的,而且即使建立起来也是非常耗时,怎么都不划算。

《第一财经日报》报道,2006年百度和推销加拿大旅游的“枫叶之都”网站引起了法律纠纷案,并且在一审获胜。“枫叶之都”抱怨百度人为地降低网站的排名和和恶意锁定,从前十位被调到倒数第一或第二页中,导致大量的流量损失。

百度提供给法庭的文件显示,“枫叶之都”网站存在大量针对搜索引擎的垃圾链接,被百度搜索引擎算法规则系统识别,并调整了其网站权值所致。据百度提供给法院的证据显示,“枫叶之都”在多个压缩机、干燥机等与旅游业不相关的网站,以及私人博客和留言板上进行了大量、重复的网站链接。而这种与该公司网站内容无任何关联性的网站超过百家。2006年3月,“枫叶之都”的大量垃圾外链被百度的自动反垃圾外链系统发现,自动将其排名压后。

百度相关负责人表示:“我们欢迎合理的搜索优化。”但一些“剑走偏锋”的SEO采用非合理手段为客户提供搜索引擎作弊服务,如同上面宝马网站的遭遇一样,在全世界的任何地方都是不受欢迎的,都会遭到搜索引擎的一致反对。没有惩罚,结果是网民在进行正常搜寻时得不到正确的搜索结果,其使用体验不断恶化。如放任不管,对专业搜索引擎公司来说是致命的。

北京一中院经审理后判定,“枫叶之都”采用垃圾链接方式违反了搜索引擎业相关规则。这个教训给中国的网站一个深刻的启示,即希望靠投机取巧骗取搜索引擎的喜欢可以欢乐一时却要痛苦一生。

8.4挽救被搜索引擎除名的网站

如果因为错误的做法,你的网站被Google剔除了。那么尽早回归Google是很急迫的事情。这个时候,你可以向Google发送一个重新收录的请求。请注意,Google从来不是人工来检查或者剔除一个网站,而是全由程序自动侦探和处理。

要设法恢复在Google中的收录,这里,我们还是按照Google的软件工程师迈特·卡茨(Matt Cutts)在他的博客中建议的方法去做为好。这里是他建议的方法。

第一步,好好地、深刻地检查你的网站。请仔细地检查有没有本章中任何一个非法的SEO技术处理。如果有,请立刻清除干净。

第二步,向Google提交重新收录的申请。地址是在http://www.google.com/support/bin/request.py。这个是Google的网上服务中心。中心里面有个表单。在主体一栏,写上“Reinclusion Request”。这个主题就明确地让合适的Google部门来处理你的请求。

第三步,这个是核心的问题——什么事情可以用“Reinclusion Request”这个表单提交获得解决。

从根本上讲,Google想知道两件事情:(1)任何非法的操作都被清理和修改;(2)这些错误以后不会再发生。

卡茨建议在这个表单中填写一个简要的解释,告诉Google你认为是什么原因受到了Google惩罚,后来你又采取了什么措施来更正可能发生的错误。如果你曾经雇用了一个SEO公司,可以告诉是什么公司,他们使用了什么办法使你遭殃。这样的坦白使Google感觉到你的真诚。

注意在这个请求的过程中,如果你真的在过去做错事情,一定要勇于承认,不要问Google为什么会禁你的网站。表单提交的信件中,请礼貌地向Google提问。Google并不欠你什么,只要你没有做错,你从它那里得到的免费流量早已经帮助了你的网络业务。

在提交这个“检讨信”之后,要等多长时间才能得到处理呢?这个时间的长短要取决于Google来受理你的请求,还有Google要花多长时间来检查你出现过的错误是否还在。因此时间大概会在Google通过你的审查后的6~8个星期,而且最有可能在Google大规模的更新(Update)之后。具有严重问题的网站可能等待的时间要比较长。轻度的问题,比如隐藏文字,这可能只要2~3周。

注意Google并不在意你是否在它的广告上面(Adwords)花钱。是否给你的网站解禁而出现在自然搜索(左侧)和你花钱在右边做广告没有关系。用钱来讨好是没有用的。

另外,如果你有多个网站被禁,那么你最好一次提交一个网站(域名)。

析。在你的请求信中,如果你提及你的网站得到了一个操守良好的SEO公司,Google会比较相信你的改正结果,加速你的恢复。

8.5搜索营销人员:素养决定成功

搜索引擎给商业带来莫大的机会,也给从业者带来发展的契机。这些从业者有的是企业自己的营销人员,有的是一群人组建成的SEO公司。根据美国的一个统计,基本上从事SEO的人都是碰巧介入的,只有3的人是把SEO作为职业来做的。大多数人的背景是多样的,有网站设计的,有做搜索广告的,有程序员,还有相当多的是传统的市场推广人员。很少有职业像SEO工程师这样跨科系,背景这么多元化。和各个行业一样,大多从业者都是从失败开始的,从失败中逐步取得成绩。那么,作为一个优秀的搜索营销人员,尤其是从事SEO的技术人员需要具备什么样的素养呢?

第一,需要有良好的职业道德。

搜索营销是一个可以有相当伸缩性的工作,特别是在经历SEO的过程中,许多人似乎感觉有所谓的怪招来愚弄搜索引擎,试图操纵影响搜索引擎的搜索结果,或者利用SEO的技术制作诽谤性的网页和文章来攻击竞争对手。在点击竞价广告的实施中,不去设法检查自己的战略是否合理而去设法恶意点击对手的广告。搜索引擎是公平的系统,从而让所有网站无论大小、公平地分享与贡献信息。为这个系统贡献有价值的信息,于己于人都是义务。

第二,需要有良好的心理素质。

这在从事SEO工作中尤其重要。有经验的SEO技术人员都知道,搜索引擎优化的过程是个慢火炖汤的过程。要见到一定的效果,往往需要数月的时间,而要保持一定的效果,则是没有结束的工作。如果急功近利,必然会想到一些非法的操作行径。且不说这些行经是否真正有效,至少有这类想法的人最好不要从事这个行业。我们在第9章会谈到“网站养育”的问题,对待一个网站,就如照顾一个孩子一样来看护他的成长。要让孩子一日之间长成一个大人是不现实的。养育的过程中,一定会有许多辛苦和烦恼。没有好的心理承受能力,结果就是放弃。

这是个长跑,耐力是必需的。

第三,需要对传统市场营销有经验。

很多人觉得不可理解,为什么对传统营销也要有经验。事实上,网络营销从来也离不开对实际市场的了解。对市场的了解可以为搜索营销提供敏锐的判断,这个过程是设计网站的人所不具备的。在第1章里,我们说到SEO是一种艺术,胜于技术。SEO也是品牌化,因此如果在市场中打造品牌,传统市场的营销经验是非常宝贵的,只不过这个市场变成了网上。

第四,要有切身的网站制作经验。

虽然网络营销人员对网站制作的知识水准要求不高,但是必须能对网站的制作程序和技术有基本的了解。这里并不需要知道怎么编写程序、怎么运用数据库等,但是要对这些程序、数据运行有清楚的认知。这种认知将应用在网站SEO的策略制定上,也使用在和网站编辑者的沟通和交流上。在很多情况下,网络营销人员要给网站编辑者上课,让他们也树立起来搜索第一的思路,将SEO的概念应用在具体的每页到每页的细致过程之中。

对于专业从事搜索引擎优化的人士,如果要被称为专家,必须有成功经验和积极的探索精神。作者所服务的尚奇公司是美国一流的SEO公司。在招聘SEO专家的时候,第一,它要求应聘者提供不少于三个网站的详细SEO过程介绍;第二是通过对话,了解应聘者对解决困难的心理能力;第三,是看应聘者过去的工作经验;第四,才是看应聘者是否有足够的学历。

总之,搜索引擎的发展造就了“搜索引擎优化”这一课题、这一独特的技术。这个技术还要继续发展下去,因为有太多的网站需要改良,太多的网站开始意识到搜索引擎优化是提升自己网站素质的最根本的办法。这就更需要推动SEO这个产业的健康发展,对我们的电子商务和电子政务真正做出贡献。