哈斯日志
纪录我们在网路上奔波的历程!
如何拒绝rss引擎?
星期二, 六月 21, 2005
与之前写的个人blog关注的领域毕竟不是广域信息,因此并不需要每篇都被搜索引擎收录、索引并被无数的人搜索到,目前还没有很妥善的办法,发出去的blog就是泼出去的水。呵呵(via here)。

看看我19日spider访问记录,才发现,拒绝rss引擎又成一个个人站长面临的问题。一旦你的站点被加入某个rss,那这个rss引擎就会狂抓不已。他们不知道多个订阅可以一起抓取?目前Bloglines能提供多个订阅者一次同步的功能。
2005-06-19 23:26:54 216.148.212.188 - 61.129.102.239 80 GET /feed.xml - 304 164 Bloglines/2.0+(http://www.bloglines.com;+4+subscribers)

这些新生的rss聚合引擎,往往自身不完善,并且根本不看robots.txt协议,自顾自的狂抓不已。造成的后果就是要大量耗费网站的带宽和其他资源。看了一下6月19日哈斯日志的rojo.com抓取记录。他这样子抓我还没有任何办法禁止他抓,rss引擎就是这样,一旦你的rss被加入种子源,你就么办法删除了。即时你改文件名字也不行。不敢想象如果有数万这样的引擎,那我们的网站还怎么运行,rojo是个典型,昨天的日志也是个典型。

PS,推荐个站点计数器statcounter
可以分项目统计(project); 提供excel或cvs格式的统计数据下载;
可以识别来源(refer url)和地区来源; 可以记录用户来自搜索引擎用的query;
可以提供6种计数器显示风格; 可以锁定来自那些IP访问的不计入统计;
可以提供访问者的浏览器、操作系统的分析数据; 支持email给多人的方式发送统计报告;
六月 21, 2005 · loverty
微信分享二维码

用微信扫描二维码
分享此文章

0条评论

发表评论

<< Home

AI助手

你好!我是哈斯日志的AI助手

我可以基于当前页面内容回答你的问题。

💡 首次使用可能需要等待模型加载(约20-30秒)

有什么想了解的吗?
刚刚