PHP

向访客和爬虫显示不同的内容

Aug 14th, 2009 Add Comment

为了提高网页的用户体验, 我们经常会做一些对搜索引擎不太友好的事情, 但某些情况下这并不是无法挽回的, 可以通过向自然人和搜索引擎机器人显示不同的内容来提供好的用户体验和 SEO.

听说本方法会触犯搜索引擎的一些操作原则, 有可能被被各搜索引擎处罚, 甚至删除网站. 所以我刚刚已经撤下这样的处理, 直到确定其不属于作弊. 有魄力的朋友可以继续使用, 但后果自负.

本博客的首页和存档页面以列表的形式显示文章, 在访客点击展开文章时才加载文章的内容. 因为文章的内容部分包含了大量的文字和图片, 需要大量的加载时间和流量. 尽快地向访客展示网页可以挽留大量的来访者. 而对于手机用户来说, 加载时间和流量则更为重要.

一般来说, 网站的首页是搜索引擎访问最多的页面, 应该尽可能的向它们展示有意义的内容, 但是要以列表的形式显示文章的话, 访客和搜索引擎只能获取到文章标题信息. 文章内容或者摘要 (尤其是文章的第一句) 对于 SEO 来说是极其重要的, 所以我们要设法向爬虫发送这些内容.

好, 我们可以通过 User Agent 来判断访问者是否为爬虫, 如果是, 则以一般形式显示文章, 否则以列表形式显示文章列表. 可以用以下的 PHP 方法判断是否为爬虫:

function is_crawler() {
	$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
	$spiders = array(
		'Googlebot', // Google 爬虫
		'Baiduspider', // 百度爬虫
		'Yahoo! Slurp', // 雅虎爬虫
		'YodaoBot', // 有道爬虫
		'msnbot' // Bing爬虫
		// 更多爬虫关键字
	);
	foreach ($spiders as $spider) {
		$spider = strtolower($spider);
		if (strpos($userAgent, $spider) !== false) {
			return true;
		}
	}
	return false;
}

这是我使用的方法, 各爬虫以访问评论由高到低进行排序. 然后通过下面的的方法向爬虫和自然人显示不同的内容:

<?php if(is_crawler()) {
	// 向搜索引擎显示的内容
} else {
	// 向自然人显示的内容
} ?>

细心的朋友可能已经发现本站的首页显示和搜索引擎中的快照有点不一样. 是的, 要的就是这种效果.

PHP 处理方法上文已经提及, 其他语言处理相仿...

声明: 本文采用 BY-NC-SA 协议进行授权. 转载请注明转自: 向访客和爬虫显示不同的内容

50 Comments

Aramey | Mar 19th, 2010 at 17:43

毕竟爬虫还是看不出JS代码的...
秦剑 | Oct 29th, 2009 at 19:18

明显的作弊……不应该做这些操作
jok | Oct 3rd, 2009 at 19:02

雖然一些黑帽在用這個方法作弊
但是這些東西都是雙刃劍,搜索引擎也會思考的
還是要判斷一下你這麼做是爲了作弊還是爲了其他什麽
所以不會因為你這麼做就被懲罰
jok | Oct 3rd, 2009 at 18:59

微軟爬蟲會偽裝成普通用戶訪問
hdr | Sep 12th, 2009 at 18:19

这个方法用不得。
willerce | Sep 9th, 2009 at 12:07

这个方法用不得。
epofcn | Aug 30th, 2009 at 21:10

这个站很火啊，哈哈
淘宝网 | Aug 25th, 2009 at 22:11

关注
西贝小鱼儿 | Aug 23rd, 2009 at 09:28

收获！
继续关注！
还在北京呢吧？
dust2k | Aug 21st, 2009 at 00:13

现在主要是不清楚Google和百度这类引擎是否会真正分析爬虫结果和访客结果到底有什么不同，这些不同是不是在作弊还是只是因为你做了那些大批量载入而做的Javascript的小技巧所以希望引擎能抓到真实的东西，这个标准很难判断，在现在的情况下，估计使用这个技巧有很大的可能被误杀，慎用啊。。
章鱼 | Aug 20th, 2009 at 23:40

囧什么叫自然人我自然不？
被百度google惩罚了几次了
LAONB | Aug 20th, 2009 at 17:38

话说你现在首页的效果，似乎就影响收录，我看过国外很多门户站都用类似滑动门来切换内容，这样同一地址下出现的内容是不同的，蜘蛛会不会只收录首选项，感觉会有内容被忽略掉，感觉而已。
园子 | Aug 15th, 2009 at 17:45

这方法确实有些悬
我是不敢以身试法
呵呵~
门事件集散中心 | Aug 15th, 2009 at 07:27

进来围观..............
mg12 | Aug 15th, 2009 at 00:43

@Leeiio
牛!

@麦子
我撤下了, 一个朋友告诉我, 可能因此导致删除网站收录, 情节特别严重...

@麦子
那是 jQuery toggle 实现的, 原理差不多, 但你需要简单学习一下 jQuery.

@fox
Quick Comment, 是一个日本朋友做的, 我写过相关插件的介绍文章, 你可以在本站搜索之.

@Denis
是啊, 撤下来了, PageRank 没关系, 被删站就不好, 哈哈~

@九子
全国人民为你鼓掌.

@Justice
其实我之前提前显示了内容, 原则上不算作弊, 就怕爬虫不会分别.
小桑 | Aug 14th, 2009 at 23:12

这是一种善意的欺骗~哈哈
Justice | Aug 14th, 2009 at 20:17

算不算作弊应该和搜索引擎的设计理念有关吧..我觉得只能说现在搜索引擎没法区分是否有恶意从而只能当作弊来处理吧。
133vip | Aug 14th, 2009 at 19:14

很不错的方法啊·····
Calcifer | Aug 14th, 2009 at 19:01

@九子
支持自杀！哈哈
PS：怎么笑脸又换了，变来变去的
九子 | Aug 14th, 2009 at 18:29

典型黑帽~
不过我已经写了个ASP版本的。。。
准备尝试自杀~
leafduo | Aug 14th, 2009 at 18:22

这个是作弊……
Denis | Aug 14th, 2009 at 16:44

很有可能会被认为是作弊！
mg12 | Aug 14th, 2009 at 14:55

听说情节严重者会被删站, so, 请慎用.
流星天空 | Aug 14th, 2009 at 14:14

我存档也是列表，因为用了一个插件。不过么，这代码是放哪里的？
Showfom | Aug 14th, 2009 at 14:06

@fox
没有，我有异能的，谁回复我了我第一时间都会知道……
哈哈开玩笑了整天开着Gmail的嘛

为国内 WordPress 事业做点小贡献哈哈
fox | Aug 14th, 2009 at 14:04

@Showfom
Thank u very much, are u using blackberry smartphones?
你回复速度真快
bolo | Aug 14th, 2009 at 14:01

个人不喜欢这种动态载入的方式
Showfom | Aug 14th, 2009 at 13:54

@fox
在本站搜索 Quick Comments
Showfom | Aug 14th, 2009 at 13:54

@fox
http://www.neoease.com/quick-comments/
fox | Aug 14th, 2009 at 13:52

@Showfom
对啊. 我安装了AJAX COMMENTS PAGER 发现不是我想要的

应该是这个QUICK COMMENTS , 就是发表后不需要刷新就可以看到评论显示出来.
但是我搜索WP的插件怎么没有这个啊. 完整名字叫什么呢?
Showfom | Aug 14th, 2009 at 13:29

@fox
quick comments

ajax comments page 是评论ajax分页
Showfom | Aug 14th, 2009 at 13:28

太阴险了，SEO里很重要的一条，不能让搜索引擎的爬虫和真实的访客看到的东西不一样，否则就是欺骗哦……
zhenglc | Aug 14th, 2009 at 13:04

有不同嘛?

不过这段代码挺好.我拿过来用用.谢谢~
Webcjz | Aug 14th, 2009 at 12:04

@fox
AJAX Comment Pager
fox | Aug 14th, 2009 at 10:50

能知道MG12的AJAX评论用的什么插件吗 . 非常好
谢谢哦
chisdy | Aug 14th, 2009 at 09:28

那个判断爬虫的，其他地方可以用么？
麦子 | Aug 14th, 2009 at 09:18

这里没有 slideToggle的文章……
麦子 | Aug 14th, 2009 at 09:15

@joel
是吗？我再找找……
老饕 | Aug 14th, 2009 at 09:11

呵呵，很细心的想法！
joel | Aug 14th, 2009 at 09:07

@麦子
我是用的jQuery的 slideToggle() 印象中这里说过这个好像
麦子 | Aug 14th, 2009 at 08:51

@joel
以前只找到增强用户体验那篇，没有滑动效果的……
joel | Aug 14th, 2009 at 08:48

@麦子
翻看他以前的文章
麦子 | Aug 14th, 2009 at 08:42

对了，你这个留言的已存cookies信息，Change & Close 选项的JS效果不错！是在comment.js里加了什么代码吗？
麦子 | Aug 14th, 2009 at 08:39

@mg12
以身试法……安全的话给个话，我们随后使用……O(∩_∩)O哈哈~
Leeiio | Aug 14th, 2009 at 08:36

对于判断爬虫我也一直在用，暂时未被惩罚~
mg12 | Aug 14th, 2009 at 08:32

@Justice
别被惩罚就行了.

@Bruce , @探客 , @麦子
个人觉得不算作弊吧, 我只是将本来要显示出来的内容 (不需要 JavaScript 动作) 先显示出来了. 这玩意儿谁都不知道, 只能找个人试试, 我自己试试就是.
麦子 | Aug 14th, 2009 at 07:58

这也算作弊？
探客 | Aug 14th, 2009 at 03:28

这些都是作弊手法，被搜索引擎发现可能会受罚
Bruce | Aug 14th, 2009 at 01:00

等了这么多年……终于等到mg12的沙发了……不要劝我，让我独自享受一下这份激动所带来的泪流满面吧！不过话说回来，‘向访客和爬虫显示不同的内容’ 从字面上乍看属于SEO作弊范畴……让我再跟谷歌商量一下……
Justice | Aug 14th, 2009 at 00:59

恩，这好像对你目前的首页形式来说很不错啊~

Add Comment Read Article

PHP

向访客和爬虫显示不同的内容

PHP, SEO, Tutorial