欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜：Formal mathematics/Isabelle/ML, Formal verification/Coq/Agda, C++/Erlang/Lisp
SF FTP Search Engine
来自开放百科 - 灰狐
（版本间的差异）
| 第1行： | 第1行： | ||
| + | {{top news}} | ||
| + | |||
<div style="text-align:center"><span style="color:#005288; font-size:200%;">'''哈工大 SF FTP Search Engine'''</span></div> | <div style="text-align:center"><span style="color:#005288; font-size:200%;">'''哈工大 SF FTP Search Engine'''</span></div> | ||
| − | == 系统简介 == | + | ==系统简介== |
| − | + | SF超高速FTP搜索引擎是全国新一代超高速FTP全站搜索引擎之一，索引速度远高于同类产品，在两千万候选项中查询两百万结果只在毫秒量级即可完成。并且支持多种排序方式、站点快照等贴近用户使用的功能。 | |
| − | + | 本搜索引擎由哈尔滨工业大学学生利用业余时间开发，采用GPL开源协议全球公开发行，面向全国提供FTP站点文件检索服务，拥有相当的声誉及客流量，现在定位为成为全亚洲头号FTP搜索引擎，还在不断的发展与完善中。 | |
| − | + | SF搜索引擎为回报学校，激励学子刻苦学习，特用其广告收入设立了“SF奖学金”第一期奖学金已经发到了学子手中。 | |
| − | + | “开源、高速、友好、交流、共进”是SF所秉行的宗旨；以技术为先，共同学习进步，为技术的发展尽一份力是SF的最终使命。愿您能了解SF、使用SF、熟悉SF、并最终喜爱上SF。 | |
| + | ==系统特点== | ||
| + | *拥有极快的超高速索引引擎，可在一秒内从两千万文件中检索出两百万个排序后的结果 | ||
| + | *查询结果可按“IP距离”、“文件日期”、“文件大小”、“文件名长度”进行排序，排序可按升序也可按降序进行 | ||
| + | *搜索关键字高亮显示 | ||
| + | *分页显示 | ||
| + | *可通过浏览器进行安装设置以及后台管理 | ||
| + | *数据更新可完全后台运行，数据更新期间无需停止服务 | ||
| + | *分布式计算结构支持，前台界面与后台程序完全分离，方便DIY，凡安装SF系统，均可以从其它SF系统上获得并向其它SF系统提供数据 | ||
| + | *搜索信息可以通过RSS进行订阅 | ||
| + | *如果未找到结果，用户可以通过电子邮件订阅自动通知。当可以找到结果时，系统将自动通知用户 | ||
| + | *支持VIP站点设置，重要站点的结果可以排在前面 | ||
| + | *支持指定站点，指定类别搜索 | ||
| + | *支持用户偏好设定，用户可以自行定义一些默认的查询参数，这样不需要在每次查询时额外指定 | ||
| + | *支持非匿名及使用非标准端口的FTP服务器，能在搜索结果中显示服务器的位置所在（通过纯真IP数据库） | ||
| + | *支持站点快照 | ||
| + | *支持24小时无人职守运行，自动完成数据采集更新 | ||
| + | *详细的访客来源分析 | ||
| + | *详细的搜索排名统计 | ||
| + | *POSIX兼容，可以在linux及windows（使用cygwin）平台上使用 | ||
| + | *纯C++内核，源代码采用GPL协议，开源、免费 | ||
| + | *冗错支持，不会因偶然的网络链接故障而导致原先的数据丢失 | ||
| + | *详细的日志系统，可以很方便的知道哪个服务器在抓取数据的时候出了问题，出了什么问题 | ||
| + | *支持是否可以下载的指示功能，一眼便知是否可以使用SF所提供的帐户名及密码进行下载，大大节约了用户尝试的时间。 | ||
| − | + | ==获取源码== | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | == 获取源码 == | + | |
获取SF的源代码有两种方式： | 获取SF的源代码有两种方式： | ||
| − | + | *通过下载发行版获得源码，建议普通用户使用这种方式。下载地址：http://gf.cs.hit.edu.cn/frs/?group_id=28 | |
| − | + | *通过Subversion获得源码，建议高级用户使用此方式，可以获得最新的SF代码： | |
| − | + | 获得稳定版代码 | |
| − | + | svn checkout http://svn.gf.cs.hit.edu.cn/svn/sfsearch/stable | |
| − | + | 获得正在开发中的代码，仅做参考，不能用来搭建系统 | |
| − | + | svn checkout http://svn.gf.cs.hit.edu.cn/svn/sfsearch/dev | |
| − | + | ||
== http://gpwiki.org/images/3/3d/Main_page_icon3.gif 系统文档 == | == http://gpwiki.org/images/3/3d/Main_page_icon3.gif 系统文档 == | ||
| − | + | 超音速版 | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1192757.html 注意一些细节，让程序运行得更快(1/5)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1193914.html 注意一些细节，让程序运行得更快(2/5)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1194935.html 注意一些细节，让程序运行得更快(3/5)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1194948.html 注意一些细节，让程序运行得更快(4/5)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1532211.html 注意一些细节，让程序运行得更快(5/5)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1588722.html SF超音速版的数据结构(1/3)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1669079.html SF超音速版的数据结构(2/3)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/1710702.html SF超音速版的数据结构(3/3)] | |
| − | + | 亚音速版 | |
| − | + | *[http://blog.sohu.com/members/xieyubo/645958.html SF 亚音速版 系统架构 (1/3)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/646148.html SF 亚音速版 系统架构 (2/3)] | |
| − | + | *[http://blog.sohu.com/members/xieyubo/646364.html SF 亚音速版 系统架构 (3/3)] | |
| − | + | * [http://student.mblogger.cn/clarkhit/posts/173908.aspx SF 搜索引擎 - IP来源统计开发文档] | |
| − | + | ||
| − | + | ||
| − | + | ==安装帮助== | |
| − | + | ||
| − | + | ||
| − | = | + | |
*'''Q：安装时出现“fopen(/path/somedir/*path.h) failed to open stream: Permission denied ..”错误''' | *'''Q：安装时出现“fopen(/path/somedir/*path.h) failed to open stream: Permission denied ..”错误''' | ||
*'''A：'''权限问题，请执行：chmod -R 777 /path/somedir/ | *'''A：'''权限问题，请执行：chmod -R 777 /path/somedir/ | ||
| − | |||
| − | |||
*'''Q：安装完成后，查询时出现“map memory is error!”错误''' | *'''Q：安装完成后，查询时出现“map memory is error!”错误''' | ||
*'''A：'''这主要是由于没有任何可检索的文件造成的，请检查/sf/data/file_info这个文件的大小是否是0。请重新运行/sf/bin/flashdata.sh抓取FTP服务器数据。 | *'''A：'''这主要是由于没有任何可检索的文件造成的，请检查/sf/data/file_info这个文件的大小是否是0。请重新运行/sf/bin/flashdata.sh抓取FTP服务器数据。 | ||
| − | |||
| − | |||
| − | + | ==使用帮助== | |
| − | + | ||
| − | = | + | |
*'''Q：如何进行指定站点查询''' | *'''Q：如何进行指定站点查询''' | ||
*'''A：'''可以在查询框内输入通过“site”子句，指定站点，语法如下： | *'''A：'''可以在查询框内输入通过“site”子句，指定站点，语法如下： | ||
site:[ip] | site:[ip] | ||
site:[dns] | site:[dns] | ||
| − | + | 如：查询202.118.224.241这个IP地址的站点： site:202.118.224.241 | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| + | 查询run.hit.edu.cn这个IP地址的站点： site:run.hit.edu.cn | ||
*'''Q：如何进行指定类型查询''' | *'''Q：如何进行指定类型查询''' | ||
*'''A：'''可以在查询框内输入通过“type”子句，指定站点，语法如下： | *'''A：'''可以在查询框内输入通过“type”子句，指定站点，语法如下： | ||
type:[类型] | type:[类型] | ||
| − | + | 如：查询“电影”类文件： | |
| − | + | ||
type:电影 | type:电影 | ||
查询“音乐”类文件： | 查询“音乐”类文件： | ||
type:音乐 | type:音乐 | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | == | + | ==局限性== |
| − | + | *当某个站点N多次都连不上时，collect程序应从站点列表中将此站点删除，以减少以后抓取数据时做重复而无用的动作，但目前collect程序未完成此工作。 | |
| − | + | *当某服务器的密码及用户名含有“:”、“@”、“/”、……等特殊字符时，可能出现错误显示 | |
| − | + | *每个关键字的长度不能小于2 | |
| − | + | *当某服务器上的目录名以空格开头，则无法检索此目录 | |
| − | + | *当某关键字全为汉字的时候，可能出现多检的情况，即检出的结果中的某些结果可能不是正确结果（不过不会漏检） | |
| − | + | ||
| − | + | ||
| − | + | ==常用连接== | |
| − | + | *[http://bbs.sflab.org/ SF 开发论坛] | |
| + | *[http://sf.hit.edu.cn/ SF Search 官方演示站点] | ||
| + | *[http://gf.cs.hit.edu.cn/projects/sfsearch/ SF 在线开发平台] | ||
| + | *[mailto:[email protected] 联系信箱（[email protected]）] | ||
| + | *[[SF-TODO|后续开发事项（SF-TODO）]] | ||
| − | == | + | ==发行版本变迁历史== |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 '''2006.03.28 音 速 版 Patch 1'''] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2006.03.26 音 速 版] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2006.02.18 音 速 版 Beta 1 Patch2] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2006.02.10 音 速 版 Beta 1 Patch1] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2006.02.09 音 速 版 Beta 1] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2006.01.09 亚音速版 正式版] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2005.12.20 亚音速版 Beta 1] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2005.11.11 飞 船 版 Beta 1] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2005.11.10 火 箭 版 Fix 1] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2005.11.09 火 箭 版] | |
| − | + | *[http://gf.cs.hit.edu.cn/frs/?group_id=28 2005.11.06 大数据版] | |
| − | + | ||
| − | + | ||
2010年9月26日 (日) 12:04的版本
哈工大 SF FTP Search Engine
目录 |
系统简介
SF超高速FTP搜索引擎是全国新一代超高速FTP全站搜索引擎之一，索引速度远高于同类产品，在两千万候选项中查询两百万结果只在毫秒量级即可完成。并且支持多种排序方式、站点快照等贴近用户使用的功能。
本搜索引擎由哈尔滨工业大学学生利用业余时间开发，采用GPL开源协议全球公开发行，面向全国提供FTP站点文件检索服务，拥有相当的声誉及客流量，现在定位为成为全亚洲头号FTP搜索引擎，还在不断的发展与完善中。
SF搜索引擎为回报学校，激励学子刻苦学习，特用其广告收入设立了“SF奖学金”第一期奖学金已经发到了学子手中。
“开源、高速、友好、交流、共进”是SF所秉行的宗旨；以技术为先，共同学习进步，为技术的发展尽一份力是SF的最终使命。愿您能了解SF、使用SF、熟悉SF、并最终喜爱上SF。
系统特点
- 拥有极快的超高速索引引擎，可在一秒内从两千万文件中检索出两百万个排序后的结果
- 查询结果可按“IP距离”、“文件日期”、“文件大小”、“文件名长度”进行排序，排序可按升序也可按降序进行
- 搜索关键字高亮显示
- 分页显示
- 可通过浏览器进行安装设置以及后台管理
- 数据更新可完全后台运行，数据更新期间无需停止服务
- 分布式计算结构支持，前台界面与后台程序完全分离，方便DIY，凡安装SF系统，均可以从其它SF系统上获得并向其它SF系统提供数据
- 搜索信息可以通过RSS进行订阅
- 如果未找到结果，用户可以通过电子邮件订阅自动通知。当可以找到结果时，系统将自动通知用户
- 支持VIP站点设置，重要站点的结果可以排在前面
- 支持指定站点，指定类别搜索
- 支持用户偏好设定，用户可以自行定义一些默认的查询参数，这样不需要在每次查询时额外指定
- 支持非匿名及使用非标准端口的FTP服务器，能在搜索结果中显示服务器的位置所在（通过纯真IP数据库）
- 支持站点快照
- 支持24小时无人职守运行，自动完成数据采集更新
- 详细的访客来源分析
- 详细的搜索排名统计
- POSIX兼容，可以在linux及windows（使用cygwin）平台上使用
- 纯C++内核，源代码采用GPL协议，开源、免费
- 冗错支持，不会因偶然的网络链接故障而导致原先的数据丢失
- 详细的日志系统，可以很方便的知道哪个服务器在抓取数据的时候出了问题，出了什么问题
- 支持是否可以下载的指示功能，一眼便知是否可以使用SF所提供的帐户名及密码进行下载，大大节约了用户尝试的时间。
获取源码
获取SF的源代码有两种方式：
- 通过下载发行版获得源码，建议普通用户使用这种方式。下载地址：http://gf.cs.hit.edu.cn/frs/?group_id=28
- 通过Subversion获得源码，建议高级用户使用此方式，可以获得最新的SF代码：
获得稳定版代码
svn checkout http://svn.gf.cs.hit.edu.cn/svn/sfsearch/stable
获得正在开发中的代码，仅做参考，不能用来搭建系统
svn checkout http://svn.gf.cs.hit.edu.cn/svn/sfsearch/dev
系统文档
超音速版
- 注意一些细节，让程序运行得更快(1/5)
- 注意一些细节，让程序运行得更快(2/5)
- 注意一些细节，让程序运行得更快(3/5)
- 注意一些细节，让程序运行得更快(4/5)
- 注意一些细节，让程序运行得更快(5/5)
- SF超音速版的数据结构(1/3)
- SF超音速版的数据结构(2/3)
- SF超音速版的数据结构(3/3)
亚音速版
安装帮助
- Q：安装时出现“fopen(/path/somedir/*path.h) failed to open stream: Permission denied ..”错误
- A：权限问题，请执行：chmod -R 777 /path/somedir/
- Q：安装完成后，查询时出现“map memory is error!”错误
- A：这主要是由于没有任何可检索的文件造成的，请检查/sf/data/file_info这个文件的大小是否是0。请重新运行/sf/bin/flashdata.sh抓取FTP服务器数据。
使用帮助
- Q：如何进行指定站点查询
- A：可以在查询框内输入通过“site”子句，指定站点，语法如下：
site:[ip] site:[dns]
如：查询202.118.224.241这个IP地址的站点： site:202.118.224.241
查询run.hit.edu.cn这个IP地址的站点： site:run.hit.edu.cn
- Q：如何进行指定类型查询
- A：可以在查询框内输入通过“type”子句，指定站点，语法如下：
type:[类型]
如：查询“电影”类文件：
type:电影
查询“音乐”类文件：
type:音乐
局限性
- 当某个站点N多次都连不上时，collect程序应从站点列表中将此站点删除，以减少以后抓取数据时做重复而无用的动作，但目前collect程序未完成此工作。
- 当某服务器的密码及用户名含有“:”、“@”、“/”、……等特殊字符时，可能出现错误显示
- 每个关键字的长度不能小于2
- 当某服务器上的目录名以空格开头，则无法检索此目录
- 当某关键字全为汉字的时候，可能出现多检的情况，即检出的结果中的某些结果可能不是正确结果（不过不会漏检）
常用连接
发行版本变迁历史
分享您的观点
