Alluxio

2016年4月30日 (六) 12:30的版本

Tachyon是一个内存分布式文件系统，其作用是在Apache Spark或MapReduce等集群框架中实现内存级速度的跨集群文件共享。

可简单理解：Tachyon负责内存数据存储，而Spark负责内存数据计算。

它具有类Java的文件API、兼容Hadoop MapReduce和Spark、底层文件系统可插拔等特性。

未来，Tachyon会像Apache Mesos以及Apache Spark一样，进入Apache Software Foundation。

安装

VirtualBox

wget http://tachyon-project.org/downloads/files/0.8.0/tachyon-0.8.0-bin.tar.gz
cd tachyon-0.8.0/deploy/vagrant
sudo bash bin/install.sh
./create 2 vb // 创建两个虚拟机：TachyonMaster、TachyonWorker1
vagrant ssh TachyonMaster
/tachyon/bin/tachyon runTests
ssh TachyonWorker1

单机

cd tachyon-0.8.0
cp conf/tachyon-env.sh.template conf/tachyon-env.sh
./bin/tachyon format
./bin/tachyon-start.sh local
http://localhost:19999
./bin/tachyon runTest Basic STORE SYNC_PERSIST
./bin/tachyon runTests
./bin/tachyon-stop.sh

EC2

文档

• Tachyon: An Open Source Memory-Centric Distributed Storage System
• Interactive Data Analytics with Spark on Tachyon in Baidu
• Make Tachyon Ready for next-gen Data Center Platforms with NVM

图集

• 

  Tachyon

链接

• Alluxio官网
• Alluxio @ GitHub
• Alluxio项目负责人: 李浩源、他创办的公司: Tachyon Nexus
• Alluxio文档
• Pivotal和EMC谈下一代数据湖技术：Tachyon + Spark将极为重要