Search engine

国内著名搜索引擎公司百度 http://www.baidu.com 总裁李彦宏说：搜索引擎不是人人都能做的领域，进入的门槛比较高。

典型的搜索引擎系统架构图

搜索引擎的门槛主要是技术门槛，包括网页数据的快速采集、海量数据的索引和存储、搜索结果的相关性排序、搜索效率的毫秒级要求、分布式处理和负载均衡、自然语言的理解技术等等，这些都是搜索引擎的门槛。

搜索关键字处理流程

搜索引擎的策略都是采用服务器群集和分布式计算技术。

经典文章: The Anatomy of a Large-Scale Hypertextual Web Search Engine

搜索引擎

• List of search engines
• Google - http://www.google.com
• Yahoo - http://search.yahoo.com
• http://www.chacha.com/
• http://www.clusty.com
• Autonomy - http://www.autonomy.com.cn
• WiseNut - http://www.wisenut.com/
• MSN Search - http://search.msn.com
• A9 - http://www.a9.com
• Baidu - http://www.baidu.com
• Sogou
• Koders - Source Code Search Engine http://www.koders.com/
• Ask Jeeves - http://www.ask.com/
• Teoma - http://www.teoma.com/
• WiseNut - http://www.wisenut.com/
• Gigablast - http://www.gigablast.com/
• Creative Commons Search - http://search.creativecommons.org/
• Scrub The Web - http://www.scrubtheweb.com/
• FactBites.com - http://www.factbites.com
• Dumbfind - http://www.dumbfind.com/
• Entireweb - http://www.entireweb.com/
• Objects Search - http://www.objectssearch.com/
• Pipeline - http://www.pipeline-search.com/
• Mojeek - http://www.mojeek.com/
• Ulysseek - http://www.ulysseek.com/
• SearchHippo - http://www.searchhippo.com/
• Wotbox - http://www.wotbox.com/
• meta 搜索引擎 Myriad Search - http://www.myriadsearch.com/
• Majestic-12: Distributed Search Engine - 一个搜索引擎的协作项目

开源项目

• mnoGoSearch - http://mnogosearch.org/
• Apache Lucene Search Engine (no crawler) - http://lucene.apache.org
• CLucene is a C++ port of Lucene - http://clucene.sourceforge.net
• Apache Nutch (open source web-scalable search engine) - http://lucene.apache.org/nutch/
• Apache Hadoop - http://lucene.apache.org/hadoop/
• ASPSeek - http://www.aspseek.org/
• DataparkSearch - http://www.dataparksearch.org/
• JXTA Search - http://search.jxta.org/
• Managing Gigabytes - http://www.cs.mu.oz.au/mg/
• Namazu(a Full-Text Search Engine) - http://www.namazu.org/index.html.en
• OpenWebSpider - http://www.openwebspider.org/
• OpenFTS - http://openfts.sourceforge.net/
• Swish-e - http://www.swish-e.org/
• [Swishpp|[SWISH++]] - http://swishplusplus.sourceforge.net/
• Zebra - http://indexdata.dk/zebra/
• Webglimpse - http://webglimpse.net/
• Xapian - http://www.xapian.org/
• XQEngine(XML Query Engine) - http://xqengine.sourceforge.net/
• Tesseract OCR - http://sourceforge.net/projects/tesseract-ocr
• 天网千帆FTP文件搜索引擎 - http://project.mytianwang.cn/
• Sphider

中文资源

• 搜索引擎研究 - http://www.wespoke.com/

相关文章

• Google的启示
• 中文分词和搜索引擎
• 中文搜索引擎技术揭密：中文分词
• 中文搜索引擎技术揭密：排序技术
• 中文搜索引擎技术揭密: 网络蜘蛛
• 中文搜索引擎技术揭密：系统架构
• 在 Linux 上构建 Web spider

相关链接

• Search Engine Watch - http://searchenginewatch.com/
• Search Tools - http://www.searchtools.com/
• The Web Robots Pages : http://www.robotstxt.org/wc/robots.html ,一些很好的规则定义以及定义了Robots协议
• Guidelines for Robot Writers : http://www.robotstxt.org/wc/guidelines.html
• SearchTools.com: http://www.searchtools.com/robots/ ,All About Search Indexing Robots and Spiders