哈斯日志
纪录我们在网路上奔波的历程!
  • »新帖子
  • 系统3:扩展和增强人类决策能力的关键
  • 决策增强与智能知识管理:人脑的第三个系统
  • 知识管理的算法
  • 信息知识管理技能
  • 碎片化阅读、海量信息时代的轻量级知识管理
  • 俞军和他的产品经理课
  • 为什么我们都对搜索不满意却又无可奈何
  • 搜索产品市场机会探讨:头条不做搜索做什么
  • 搜索产品市场机会探讨
  • 搜索产品市场机会探讨

  • Reward hasiblog
    搜索巨头眼中的“暗网”
    星期四, 三月 05, 2009
    何谓“暗网”,就是搜索引擎无法通过常规的爬虫策略抓取到,其实还是搜索业界很关注的叫做“invisible web”(2),学术也有称Deep Web,HiddenWeb的。

    就是那些原本可以公开给用户提供有价值的信息服务的数据,因为各种原因雪藏深闺,比如,专业数据库呀,或者数据供应方没有提供一个web化的平台可供用户使用,或者内容密码保护,或者是网站用flash交互,使用脚本语言、JavaScript进行数据交互等等,搜索引擎无法通过常规的链接follow来获得这些信息和索引,必须通过一些专门的技术手段或运营策略,将这些数据跨平台整合和关联,以更适合用户理解和使用的方式呈现给用户。

    Brightplanets技术公司的研究发现,暗网数据是浅层WWW资源数据(surface web)的500倍。而且暗网资源倾向于学科范围更狭窄、内容更深入的方向发展,信息内容与每个所需信息、市场及领域具有较高的关联性,商业前途大大的有。

    Google:Onebox,查询模板,反馈迭代

    Google做了大量的onebox搜索,并且在VLDB2008会议上JayantMadhavan做了题为Google'sDeep-WebCrawl的报告(via here),透漏了下一步Google对暗网数据的处理思路,Googlebot将针对数据库提交form获取结果,然后分析结果页面的content,获取相应的link和内容,然后采用关键词反馈迭代方式,获得深层数据资源。这也是能充分展现Google使命“organize the world's information and make it universally accessible and useful”。

    比如来自Search engine land的帖子,显示Google针对地震这个query,会显示最近地震通告,这些数据来自“美国地质勘探局”,


    Yahoo Search Subscriptions/Enhanced Results

    雅虎订阅
    网站内容搜索是05年6月推出的,将可让用户同时搜索来自7个订阅网站上的内容,其中包括纽约时报网站、线华尔街日报,LexisNexis律师、法律咨询信息等有价值的资源。当用户搜索网页上订阅任何一种或所有这些网站做为搜索范围,那么当用户在雅虎搜索的时候,系统也会并行请求这些专业的数据库,最后将来自这项订阅网站上的搜索结果和来自www互联网上的网页的搜索结果并列在一起。当然目标是一致的,方法是各异的。


    增强结果Enhanced Results也是雅虎在解决暗网资源的处理方式,这就是SearchMonkey的结果。比如搜索“Isaac Mao on facebook



    百度:阿拉丁,神灯

    08年12月18日,在百度上海研发中心的揭牌仪式上,李彦宏、李一男向外界透露了正在推进的"阿拉丁计划", 这是百度针对暗网资源的宏观战略的展现。其实在此之前,百度已经尝试在垂直深层信息化资源进行了探索,比如天气预报,股票曲线,国学搜索,专利搜索,统计 数据搜索等。把暗网数据明网化,把深层数据浅层化,把数据库数据web化,让阿拉丁神灯在“让人们最便捷地获取信息,找到所求”上呈现出价值。

    不论是那种方式,目前搜索引擎已经能够解决用户查询时候,请求同时连接不同的数据源。从而能为用户提供更有价值的信息。

    标签: , , , ,

    阅读《搜索巨头眼中的“暗网”》更多内容...
    This Written at 三月 05, 2009 by loverty.   ,