Apache PredictionIO

PredictionIO：是一个面向开发者和机器学习工程师的开源(Apache v2)机器学习服务器，基于 Apache Spark, Apache HBase 和 Spray 构建。

简介

PredictionIO 主要由三部分组成：数据收集和存储、模型训练以及模型部署和服务暴露。

开发者只需要基于它提供的相应接口实现数据处理逻辑、模型算法和预测逻辑，无需在诸如存储数据以及训练模型之类的事情上投入额外精力。在不要求高并发处理的情况下，PredictionIO 能支持不同大小的数据集。可使用 PredictionIO 来为中小企业构建预测类智能服务，或者在构建复杂定制化预测引擎的过程中进行概念验证。

Apache PredictionIO主要依赖以下项目：

• Apache HBase
• Apache Spark
• HDFS
• Elasticsearch

安装

• 快速安装

$ bash -c "$(curl -s https://install.prediction.io/install.sh)"
若用MySQL，需事先创建好表和用户
CREATE DATABASE pio DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON pio.* TO pio@localhost IDENTIFIED BY 'pio';

pio表

MySQL [pio]> show tables;
+------------------------------+
| Tables_in_pio                |
+------------------------------+
| pio_meta_accesskeys          |
| pio_meta_apps                |
| pio_meta_channels            |
| pio_meta_engineinstances     |
| pio_meta_enginemanifests     |
| pio_meta_evaluationinstances |
| pio_model_models             |
+------------------------------+

启动pio

pio eventserver &
pio status

• docker-predictionio Docker方式
• PredictionIO-Vagrant Vagrant虚拟机方式，安装步骤。

学习指南

pio template get PredictionIO/template-scala-parallel-textclassification tc
cd tc
pio app new tcApp
pio import --appid 2 --input data/stopwords.json
pio import --appid 2 --input data/emails.json
pio build --verbose
pio train
pio deploy
https://0.0.0.0:8000/
curl -k -H "Content-Type: application/json" -d '{ "text":"I like speed and fast motorcycles." }' https://localhost:8000/queries.json
{"category":"not spam","confidence":0.8526195109215867}
curl -k -H "Content-Type: application/json" -d '{ "text":"Earn extra cash!" }' https://localhost:8000/queries.json
{"category":"spam","confidence":0.5268770133242983}

注意 engine.json 的一些设置项：

"engineFactory": "com.huihoo.TextClassificationEngine",
"appName": "tcApp"

使用另一个模版

pio template get PredictionIO/template-scala-parallel-universal-recommendation startpio
cd startpio
pio app new pioApp
pio app list
pio import --appid 1 --input data/handmade-event-description.txt

更多细节>>>

模版

• Engine Templates
• 推荐模版
• 通用推荐模版
• 电商推荐模版
• 相似商品模版
• 商品排名模版
• 分类模版
• 文本分类模版

问题

https://0.0.0.0:8000 Cannot support TLS_RSA_WITH_AES_256_CBC_SHA with currently installed providers

安装 Java security jars

• JDK 8
• JDK 7

拷贝 US_export_policy.jar 和 local_policy.jar 到类似目录下：

/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home/jre/lib/security

更多常见问题>>>

图集

• 

  架构

• 

  多引擎

• 

  引擎

• 

  引擎实例,DASE架构

• 

  事件服务器

• 

  引擎评估

• 

  pio引擎

链接

• PredictionIO官网
• PredictionIO @ GitHub
• PredictionIO文档
• Machine Learning Analytics with Zeppelin
• Salesforce收购机器学习创业新星PredictionIO
• Why PredictionIO Loved Using Play to Build its Popular Machine Learning Server