技术学习分享_CKX技术 技术资讯 knime+python anaconda建立数据分析环境

knime+python anaconda建立数据分析环境

广告位

Python 数据分析环境

数据分析领域有很多可选方案,例如SPSS傻瓜式分析工具,SAS专业性商业分析工具,R和python这类需要代码编程类的工具。个人选择是python这类,包括pandas,numpy,matplotlib,sklearn,keras。基于jupyter或者zeppelin作为编程界面,可以用python开发出比较清爽的数据分析报告。

总体来说,jupyter notebook编写的分析结果基本上可以满足要求,但是也有些弊端,例如无法做很好的presentation,虽然可以通过convert slides得到比较好的presentation胶片,但是无法展现直观的数据流和数据分析流程。

理想的数据分析应该包括:清晰的数据流和数据分析流程;直观的数据分析结果报告。

经过对多种开源方案的比较,我选择使用knime+python的方案,可以有以下的优点

  • 利用python和相关数据分析库的能力,对数据建模、分析、可视化,这块基于Anaconda;
  • 利用knime的可视化数据流和report design能力,对数据ETL、建模、分析、报告。

knime + python anaconda建立数据分析环境

一般需要使用到的库包括:pandas,seanborn,numpy,scipy,statsmodel,matplotlib,keras,TensorFlow。

knime建立可视化数据流/report环境

​KNIME的发展始于2004年1月,由康斯坦茨大学的软件工程师团队作为专有产品。由Michael Berthold领导的原始开发团队来自硅谷的一家公司,为制药行业提供软件。最初的目标是创建一个模块化,高度可扩展和开放的数据处理平台,从而轻松集成不同的数据加载,处理,转换,分析和可视化探索模块,而不必关注任何特定的应用领域。该平台旨在成为一个协作和研究平台,也应作为各种其他数据分析项目的集成平台。

Knime IDE基于eclipse开发,插件的安装和eclipse一样。我们需要结合knime和python做数据分析,需要安装以下插件:

  • KNIME Python Integration,安装后可以使用‘Python Script’和‘Python View’ node
  • KNIME Report Designer

knime 中“Python Script” node

Python Script node可以处理前一个节点数据,数据名称是input_table,类型是pandas.DataFrame。DataFrame的操作api就是pandans的api。数据处理完后将结果输出,输出的数据是output_table.

举个例子,选择一个PythonScript node之后,右击选择Configure…,进入python代码输入框。

import pandas as pd df = input_table df = df[df[‘gender’] == ‘M’] output_table = df

knime中“Python View” node

Python View节点对输入数据做可视化,输出图片,输入数据通用是input_table,可视化可以使用任意的python库,首选当然是Matplotlib。输出的图片需要赋值给变量output_image。举个例子:

import matplotlib.pyplot as plt from io import BytesIO df = input_table df[‘score’].plot() # output the image buffer = BytesIO() plt.saveFig(buffer, format=’svg’) output_image = buffer.getvalue()

knime中“Image to Report” node

Python View节点输出的图片可以作为report的元素,借助“Image to Report”节点可以将图片输出,注意需要重新设置图片大小,默认100×100尺寸太小。

knime中report模块

report模块基于birt,开发界面和BIRT一样。优点是这里能够将knime数据流中的Report节点数据/图片自动引入到report中的“Data set view”。在设计report的时候可以引入图片或者表格数据。

数据分析流程

knime+python anaconda建立数据分析环境

构建BIRT报表

knime+python anaconda建立数据分析环境

本文来自网络,不代表技术学习分享_CKX技术立场,转载请注明出处。

作者: CKX技术

上一篇
下一篇
广告位

发表回复

返回顶部