Apache PredictionIO

2018年11月15日 (四) 08:15的最后版本

PredictionIO：是一个面向开发者和机器学习工程师的开源(Apache v2)机器学习服务器，基于 Apache Spark, Apache HBase 和 Spray 构建。

[编辑] 简介

PredictionIO 主要由三部分组成：数据收集和存储、模型训练以及模型部署和服务暴露。

开发者只需要基于它提供的相应接口实现数据处理逻辑、模型算法和预测逻辑，无需在诸如存储数据以及训练模型之类的事情上投入额外精力。在不要求高并发处理的情况下，PredictionIO 能支持不同大小的数据集。可使用 PredictionIO 来为中小企业构建预测类智能服务，或者在构建复杂定制化预测引擎的过程中进行概念验证。

Apache PredictionIO主要依赖以下项目：

[编辑] 功能

[编辑] 安装

快速安装

$ bash -c "$(curl -s https://install.prediction.io/install.sh)"
若用MySQL，需事先创建好表和用户
CREATE DATABASE pio DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON pio.* TO pio@localhost IDENTIFIED BY 'pio';

pio表

MySQL [pio]> show tables;
+------------------------------+
| Tables_in_pio                |
+------------------------------+
| pio_meta_accesskeys          |
| pio_meta_apps                |
| pio_meta_channels            |
| pio_meta_engineinstances     |
| pio_meta_enginemanifests     |
| pio_meta_evaluationinstances |
| pio_model_models             |
+------------------------------+

启动pio

pio eventserver &
pio status

docker-predictionio Docker方式
PredictionIO-Vagrant Vagrant虚拟机方式，安装步骤。

[编辑] 学习指南

pio template get PredictionIO/template-scala-parallel-textclassification tc
cd tc
pio app new tcApp
pio import --appid 2 --input data/stopwords.json
pio import --appid 2 --input data/emails.json
pio build --verbose
pio train
pio deploy
https://0.0.0.0:8000/
curl -k -H "Content-Type: application/json" -d '{ "text":"I like speed and fast motorcycles." }' https://localhost:8000/queries.json
{"category":"not spam","confidence":0.8526195109215867}
curl -k -H "Content-Type: application/json" -d '{ "text":"Earn extra cash!" }' https://localhost:8000/queries.json
{"category":"spam","confidence":0.5268770133242983}

注意 engine.json 的一些设置项：

"engineFactory": "com.huihoo.TextClassificationEngine",
"appName": "tcApp"

使用另一个模版

pio template get PredictionIO/template-scala-parallel-universal-recommendation startpio
cd startpio
pio app new pioApp
pio app list
pio import --appid 1 --input data/handmade-event-description.txt

更多细节>>>

[编辑] 模版

[编辑] 项目

[编辑] 问题

https://0.0.0.0:8000 Cannot support TLS_RSA_WITH_AES_256_CBC_SHA with currently installed providers

安装 Java security jars

拷贝 US_export_policy.jar 和 local_policy.jar 到类似目录下：

/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home/jre/lib/security

更多常见问题>>>

[编辑] 图集

架构
多引擎
引擎
引擎实例,DASE架构
事件服务器
引擎评估
pio引擎

[编辑] 链接

@@ 第3行： / 第3行： @@
 ==简介==
+PredictionIO 主要由三部分组成：数据收集和存储、模型训练以及模型部署和服务暴露。
+开发者只需要基于它提供的相应接口实现数据处理逻辑、模型算法和预测逻辑，无需在诸如存储数据以及训练模型之类的事情上投入额外精力。在不要求高并发处理的情况下，PredictionIO 能支持不同大小的数据集。可使用 PredictionIO 来为中小企业构建预测类智能服务，或者在构建复杂定制化预测引擎的过程中进行概念验证。
+Apache PredictionIO主要依赖以下项目：
+*[[Apache HBase]]
+*[[Apache Spark]]
+*[[HDFS]]
+*[[Elasticsearch]]
 ==功能==
@@ 第83行： / 第92行： @@
 ==图集==
 <gallery>
+image:apache-predictionio-architecture.png|架构
 image:predictionio-multiengines.png|多引擎
 image:predictionio-engine-data-pipeline.png|引擎