Apache Mesos

您可以在Wikipedia上了解到此条目的英文信息 Apache Mesos Thanks, Wikipedia.

Apache Mesos 是一个分布式、集群管理系统和框架，被称为是分布式系统的内核。

新闻

Kubernetes on Mesosphere DC/OS now certified by CNCF
DC/OS 1.10: One Platform for the Containerized Future
一些在Twitter和Airbnb中使用Mesos的工程师们一起创建了Mesosphere。(2013.04)
2010年12月，Mesos 进入了Apache孵化项目。2013年6月，Mesos成功从Apache孵化项目毕业，成为顶级项目。

简介

Mesos是分布式操作系统内核，Mesos是以与Linux内核同样的原则而创建的，不同点仅仅是在于抽象的层面。Mesos内核运行在每一个机器上，同时通过 API 为各种应用提供跨数据中心和云的资源管理调度能力。这些应用包括Hadoop、Spark、Kafka、Elasticsearch。还可配合框架 Marathon 来管理大规模的Docker等容器化应用。

Mesos特性：

可扩展到10000个节点；
使用 ZooKeeper 实现 Master 和 Slave 的容错；
支持 Docker 容器；
使用 Linux 容器实现本地任务隔离；
多资源调度能力（内存，CPU、磁盘、端口）；
提供 Java，Python，C++等多种语言 APIs；
通过 Web 界面查看集群状态；
新版本将支持更多功能。

指南

OS X

brew install mesos

演示

安装一个 mesos-demo 虚拟机

$ wget http://downloads.mesosphere.io/demo/mesos.box  // 注: 此文件有2.8G
$ vagrant box add --name mesos-demo mesos.box
$ git clone https://github.com/mesosphere/RENDLER.git
$ cd RENDLER
$ vagrant up
http://10.141.141.10:5050/ // Mesos
http://10.141.141.10:8080 // Marathon
$ vagrant ssh
$ cd hostfiles/python
$ python rendler.py http://mesosphere.io 127.0.1.1:5050 42
<Ctrl+C> to stop...
$ cd hostfiles
$ bin/make-pdf

Debian

Mesos Debian packaging

语言/软件

Scala

Scala API for Mesos
Marathon容器管理器
Vamp(Very Awesome Microservices Platform)

Akka

akka-mesos Non-blocking driver for Apache Mesos based on Akka.

Redis

Redis on Mesos

RabbitMQ

Kafka

Elasticsearch

Elasticsearch on Mesos

Spark

Storm

Storm on Mesos

Hadoop

Cassandra

Jenkins

Marathon

Marathon容器部署管理，支持Docker。

Marathon on Mesos
Marathon-LB is based on HAProxy, a rapid proxy and load balancer.Marathon-LB package

Kubernetes

Chronos

Chronos on Mesos

Singularity

Singularity on Mesos

Aurora

Apache Aurora是一个Mesos框架，管理长期运行的服务和任务计划。

RENDLER

RENDLER web crawler

人工智能

发行版

Mesosphere DC/OS

DC/OS指南

DC/OS 介绍

安装

本地安装DC/OS集群

vagrant plugin install vagrant-hostmanager
git clone https://github.com/dcos/dcos-vagrant
cd dcos-vagrant
cp VagrantConfig-1m-1a-1p.yaml VagrantConfig.yaml
vagrant up 或 vagrant up --debug

/etc/hosts

192.168.65.90 m1.dcos
192.168.65.111 a1.dcos
192.168.65.60 p1.dcos
192.168.65.50 boot.dcos
ssh [email protected]
http://m1.dcos/
ci/dcos-install-cli.sh

常见问题，boot超时，调整config.vm.boot_timeout数值，修改Vagrantfile文件。

 Vagrant.configure("2") do |config|
 config.vm.boot_timeout = 600

An error occurred in the underlying SSH library that Vagrant uses.The error message is shown below. In many cases, errors from this library are caused by ssh-agent issues. Try disabling your SSH agent or removing some keys and try again.

升级VirtualBox到5.1.x以上，然后

vagrant destroy  
vagrant up

VirtualBox: mount.vboxsf: mounting failed with the error: No such device

vagrant plugin install vagrant-vbguest
vagrant vbguest

[boot] GuestAdditions versions on your host (5.1.30) and guest (5.1.18) do not match.

vagrant plugin install vagrant-vbguest 或 vagrant vbguest --do install
vagrant box update

访问master IPs的Private SSH Key在/Users/huihoo/.vagrant.d/insecure_private_key 或 dcos-vagrant/.vagrant/dcos/private_key_vagrant

cp <path-to-key> genconf/ssh_key && chmod 0600 genconf/ssh_key

运行 sudo bash dcos_generate_config.sh --postflight 出现的错误：detect_ip returned stderr: Device "eth0" does not exist

CentOS 7.x系统中网卡命名规则被重新定义，可能会是”enp0s8”等，CentOS下找不到eth0设备的解决方法。

cd /etc/sysconfig/network-scripts/
sudo touch ifcfg-eth0 样本
NAME=eth0
DEVICE=eth0
IPADDR=192.168.65.111
NETMASK=255.255.255.0
NETWORK=192.168.65.0
GATEWAY=192.168.65.1
BROADCAST=192.168.65.255
ONBOOT=yes
USERCTL=yes
BOOTPROTO=static
HWADDR=08:00:27:c1:f9:cc

Unable to login to your DC/OS cluster. Clusters must be connected to the internet.

命令行

$ dcos marathon app list
$

Universe

安装、使用Mesosphere Universe包仓库。

构建本地Universe

$ wget https://downloads.mesosphere.com/universe/public/local-universe.tar.gz // 有9.1G
$ docker load < local-universe.tar.gz
...
$ dcos package repo add local-universe http://m1.dcos:8082/repo 
...

项目

Mesos ecosystem

DC/OS UI
DC/OS Docker
Mantl
Ochopod + Mesos + Marathon + CLI == PaaS
Vamp - The Very Awesome Microservices Platform, written in Scala, with some parts in Go. Vamp package