Apache Mesos

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(图集)
(用户)
第146行: 第146行:
 
*[http://www.infoq.com/cn/news/2016/08/Apache-Netflix Netflix使用Apache Mesos打造分布式资源调度系统]
 
*[http://www.infoq.com/cn/news/2016/08/Apache-Netflix Netflix使用Apache Mesos打造分布式资源调度系统]
 
*[http://www.infoq.com/cn/articles/practice-of-mosos-in-qunar Mesos在去哪儿网的实践之路],随着业务线日志的逐步接入,日志平台已经增长成为单日处理60亿条日志/6TB数据的庞大平台。
 
*[http://www.infoq.com/cn/articles/practice-of-mosos-in-qunar Mesos在去哪儿网的实践之路],随着业务线日志的逐步接入,日志平台已经增长成为单日处理60亿条日志/6TB数据的庞大平台。
*[http://www.infoq.com/cn/articles/how-autodesk-implemented-scalable-eventing-over-mesos Autodesk基于Mesos的可扩展事件系统]
+
*[http://docs.huihoo.com/apache/mesos/mesos-cn/Excellent-article/putting-mesos-through-its_paces.html Autodesk如何使用Mesos来实现自己的PaaS云平台] [http://www.infoq.com/cn/articles/how-autodesk-implemented-scalable-eventing-over-mesos Autodesk基于Mesos的可扩展事件系统]
 
*[http://www.infoq.com/cn/presentations/platform-architecture-and-combatof-zhihu-container-platform 知乎万级规模容器平台架构和实战]
 
*[http://www.infoq.com/cn/presentations/platform-architecture-and-combatof-zhihu-container-platform 知乎万级规模容器平台架构和实战]
 
*[http://www.infoq.com/cn/articles/practice-of-cmcc-zhejiang-data-center-operating-system 中国移动浙江公司数据中心操作系统(DCOS)实践]
 
*[http://www.infoq.com/cn/articles/practice-of-cmcc-zhejiang-data-center-operating-system 中国移动浙江公司数据中心操作系统(DCOS)实践]

2018年1月30日 (二) 08:50的版本

Wikipedia-35x35.png 您可以在Wikipedia上了解到此条目的英文信息 Apache Mesos Thanks, Wikipedia.

Apache Mesos 是一个分布式、集群管理系统和框架,被称为是分布式系统的内核。

目录

新闻

简介

Mesos是分布式操作系统内核,Mesos是以与Linux内核同样的原则而创建的,不同点仅仅是在于抽象的层面。Mesos内核运行在每一个机器上,同时通过 API 为各种应用提供跨数据中心和云的资源管理调度能力。这些应用包括HadoopSparkKafkaElasticsearch。还可配合框架 Marathon 来管理大规模的Docker等容器化应用。

Mesos特性:

  • 可扩展到10000个节点;
  • 使用 ZooKeeper 实现 Master 和 Slave 的容错;
  • 支持 Docker 容器;
  • 使用 Linux 容器实现本地任务隔离;
  • 多资源调度能力(内存,CPU、磁盘、端口);
  • 提供 JavaPythonC++等多种语言 APIs;
  • 通过 Web 界面查看集群状态;
  • 新版本将支持更多功能。

生态

Mesos ecosystem

指南

OS X

brew install mesos

演示

安装一个 mesos-demo 虚拟机

$ wget http://downloads.mesosphere.io/demo/mesos.box  // 注: 此文件有2.8G
$ vagrant box add --name mesos-demo mesos.box
$ git clone https://github.com/mesosphere/RENDLER.git
$ cd RENDLER
$ vagrant up
http://10.141.141.10:5050/ // Mesos
http://10.141.141.10:8080 // Marathon
$ vagrant ssh
$ cd hostfiles/python
$ python rendler.py http://mesosphere.io 127.0.1.1:5050 42
<Ctrl+C> to stop...
$ cd hostfiles
$ bin/make-pdf

发行版

DC/OS指南

DC/OS 介绍

安装

本地安装DC/OS集群

vagrant plugin install vagrant-hostmanager
git clone https://github.com/dcos/dcos-vagrant
cd dcos-vagrant
cp VagrantConfig-1m-1a-1p.yaml VagrantConfig.yaml
vagrant up 或 vagrant up --debug

/etc/hosts

192.168.65.90 m1.dcos
192.168.65.111 a1.dcos
192.168.65.60 p1.dcos
192.168.65.50 boot.dcos
ssh [email protected]
http://m1.dcos/
ci/dcos-install-cli.sh

常见问题,boot超时,调整config.vm.boot_timeout数值,修改Vagrantfile文件。

 Vagrant.configure("2") do |config|
 config.vm.boot_timeout = 600

An error occurred in the underlying SSH library that Vagrant uses.The error message is shown below. In many cases, errors from this library are caused by ssh-agent issues. Try disabling your SSH agent or removing some keys and try again.

升级VirtualBox到5.1.x以上,然后

vagrant destroy  
vagrant up

VirtualBox: mount.vboxsf: mounting failed with the error: No such device

vagrant plugin install vagrant-vbguest
vagrant vbguest

[boot] GuestAdditions versions on your host (5.1.30) and guest (5.1.18) do not match.

vagrant plugin install vagrant-vbguest 或 vagrant vbguest --do install
vagrant box update

访问master IPs的Private SSH Key在/Users/huihoo/.vagrant.d/insecure_private_key 或 dcos-vagrant/.vagrant/dcos/private_key_vagrant

cp <path-to-key> genconf/ssh_key && chmod 0600 genconf/ssh_key

运行 sudo bash dcos_generate_config.sh --postflight 出现的错误:detect_ip returned stderr: Device "eth0" does not exist

CentOS 7.x系统中网卡命名规则被重新定义,可能会是”enp0s8”等,CentOS下找不到eth0设备的解决方法

cd /etc/sysconfig/network-scripts/
sudo touch ifcfg-eth0 样本
NAME=eth0
DEVICE=eth0
IPADDR=192.168.65.111
NETMASK=255.255.255.0
NETWORK=192.168.65.0
GATEWAY=192.168.65.1
BROADCAST=192.168.65.255
ONBOOT=yes
USERCTL=yes
BOOTPROTO=static
HWADDR=08:00:27:c1:f9:cc

Unable to login to your DC/OS cluster. Clusters must be connected to the internet.

Examples

DC/OS examples

命令行

$ dcos marathon app list
$ docker images
$ docker run mesosphere/mesos_exporter -master http://localhost:5050
$ docker run mesosphere/mesos_exporter -slave http://localhost:5051

Universe

安装、使用Mesosphere Universe包仓库。

构建本地Universe

$ wget https://downloads.mesosphere.com/universe/public/local-universe.tar.gz // 有9.1G
$ docker load < local-universe.tar.gz
...
$ dcos package repo add local-universe http://m1.dcos:8082/repo 
...

项目

Mesos ecosystem

文档

用户

图集

链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱