Alluxio

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(以“Tachyon是一个内存分布式文件系统,其作用是在Apache SparkMapReduce等集群框架中实现内存级速度的跨集群文件共享。 可...”为内容创建页面)
 
(用户)
 
(未显示1个用户的17个中间版本)
第1行: 第1行:
 
Tachyon是一个内存分布式文件系统,其作用是在[[Apache Spark]]或[[MapReduce]]等集群框架中实现内存级速度的跨集群文件共享。
 
Tachyon是一个内存分布式文件系统,其作用是在[[Apache Spark]]或[[MapReduce]]等集群框架中实现内存级速度的跨集群文件共享。
  
可简单理解:Tachyon负责内存数据交换,而Spark负责内存计算。
+
可简单理解:Tachyon负责内存数据存储,而Spark负责内存数据计算。
  
 
它具有类Java的文件API、兼容Hadoop MapReduce和Spark、底层文件系统可插拔等特性。
 
它具有类Java的文件API、兼容Hadoop MapReduce和Spark、底层文件系统可插拔等特性。
 +
 +
未来,Tachyon会像Apache Mesos以及Apache Spark一样,进入Apache Software Foundation。
 +
 +
==安装==
 +
===VirtualBox===
 +
wget http://tachyon-project.org/downloads/files/0.8.0/tachyon-0.8.0-bin.tar.gz
 +
cd tachyon-0.8.0/deploy/vagrant
 +
sudo bash bin/install.sh
 +
./create 2 vb // 创建两个虚拟机:TachyonMaster、TachyonWorker1
 +
vagrant ssh TachyonMaster
 +
/tachyon/bin/tachyon runTests
 +
ssh TachyonWorker1
 +
 +
===单机===
 +
cd tachyon-0.8.0
 +
cp conf/tachyon-env.sh.template conf/tachyon-env.sh
 +
./bin/tachyon format
 +
./bin/tachyon-start.sh local
 +
http://localhost:19999
 +
./bin/tachyon runTest Basic STORE SYNC_PERSIST
 +
./bin/tachyon runTests
 +
./bin/tachyon-stop.sh
 +
 +
===EC2===
 +
 +
==文档==
 +
*[http://docs.huihoo.com/alluxio/Tachyon-An-Open-Source-Memory-Centric-Distributed-Storage-System.pdf Tachyon: An Open Source Memory-Centric Distributed Storage System]
 +
*[http://docs.huihoo.com/alluxio/Interactive-Data-Analytics-with-Spark-on-Tachyon-in-Baidu.pdf Interactive Data Analytics with Spark on Tachyon in Baidu]
 +
*[http://docs.huihoo.com/alluxio/Make-Tachyon-Ready-for-next-gen-Data-Center-Platforms-with-NVM.pdf Make Tachyon Ready for next-gen Data Center Platforms with NVM]
 +
 +
==用户==
 +
[http://www.alluxio.com/customers Customers]
 +
*腾讯、京东 ...
 +
 +
==图集==
 +
<gallery>
 +
image:tachyon-stack.png|Tachyon
 +
image:Alluxio-Transparent-Namespace.png|透明命名机制
 +
image:Alluxio-Unified-Namespace.png|统一命名空间
 +
</gallery>
  
 
==链接==
 
==链接==
*[http://tachyon-project.org/ Tachyon官网]
+
*[http://alluxio.org Alluxio官网]
*[http://docs.huihoo.com/tachyon Tachyon文档]
+
*[https://github.com/Alluxio/alluxio Alluxio @ GitHub]
 +
*[https://github.com/haoyuan Alluxio项目负责人: 李浩源]、[http://www.tachyonnexus.com/ 他创办的公司: Tachyon Nexus]
 +
*[http://docs.huihoo.com/alluxio Alluxio文档]
 
*[http://www.infoq.com/cn/news/2014/10/pivotal-tachyon Pivotal和EMC谈下一代数据湖技术:Tachyon + Spark将极为重要]
 
*[http://www.infoq.com/cn/news/2014/10/pivotal-tachyon Pivotal和EMC谈下一代数据湖技术:Tachyon + Spark将极为重要]
  
 
[[category:big data]]
 
[[category:big data]]
 +
[[category:database]]
 +
[[category:storage]]
 +
[[category:java]]

2019年3月8日 (五) 08:43的最后版本

Tachyon是一个内存分布式文件系统,其作用是在Apache SparkMapReduce等集群框架中实现内存级速度的跨集群文件共享。

可简单理解:Tachyon负责内存数据存储,而Spark负责内存数据计算。

它具有类Java的文件API、兼容Hadoop MapReduce和Spark、底层文件系统可插拔等特性。

未来,Tachyon会像Apache Mesos以及Apache Spark一样,进入Apache Software Foundation。

目录

[编辑] 安装

[编辑] VirtualBox

wget http://tachyon-project.org/downloads/files/0.8.0/tachyon-0.8.0-bin.tar.gz
cd tachyon-0.8.0/deploy/vagrant
sudo bash bin/install.sh
./create 2 vb // 创建两个虚拟机:TachyonMaster、TachyonWorker1
vagrant ssh TachyonMaster
/tachyon/bin/tachyon runTests
ssh TachyonWorker1

[编辑] 单机

cd tachyon-0.8.0
cp conf/tachyon-env.sh.template conf/tachyon-env.sh
./bin/tachyon format
./bin/tachyon-start.sh local
http://localhost:19999
./bin/tachyon runTest Basic STORE SYNC_PERSIST
./bin/tachyon runTests
./bin/tachyon-stop.sh

[编辑] EC2

[编辑] 文档

[编辑] 用户

Customers

  • 腾讯、京东 ...

[编辑] 图集

[编辑] 链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱