基于hadoop平台的潜油电机温度辨识数据流研究
引言
云计算概念自从提出以来就成为了一个热点研究方向，它是网格计算、并行计算和分布式计算的发展。其中，hadoop框架实现了云计算的基础架构[1]。目前，由于hadoop框架的开源性和对大数据集的高速处理能力，它成为了一个流行的分布式计算平台。Hadoop简化了以往的并行编程，使用户可以在hadoop上串行编程，但是其代码可以分布运行在硬件平台上。
随着工业的发展，各种能源的供应持续紧张，提高用电效率、减少能量耗费已经成为油井产业中亟待解决的重要问题。为了保护潜油电机正常运转，延长运行寿命，实现潜油电机的节能电感厂家降耗，实现以温度为代表的工作状态进行实时调节和控制对保障电机的安全稳定运行至关重要。由于潜油电机一般工作在2000米至3000米的地下，井下不但空间十分有限，而且环境十分恶劣，对于潜油电机这种大型高功率设备，不能实现实时的冷却，因此，如何实时的保持潜油电机本身温度的恒定成为一个难点。由于在实时监测温度的过程中，一般通过工控机对潜油电机的定子电流以高频不断的进行数据采集，然后对这些数据进行复杂的算法处理，从而实现对潜油电机温度的实时监测。但是，目前已有的软件平台如Matlab、Labview等的计算速度并不能实现对温度检测的实时性，因此，在总结前人工作的基础上，探索一种可以高效处理数据的方法势在必行。
云计算概念从提出以来就成为一个热点研究方向，是网格计算、并行计算和分布式计算的发展[2]。其中，hadoop是Apache基金会下的一款开源软件，它实现了云计算平台的基础架构。由于hadoop软件框架强大的数据处理能力，目前，它已经被成功应用到Yahoo！、Facebook和亚马逊等世界IT行业巨头公司来解决PB级别的数据处理问题[3]。随着传感器技术和信息技术的发展，各种状态监测技术和故障诊断技术被应用到智能电网的建设中[4]，随之产生的大量的数据的处理问题也被提上了日程，现在美国、中国等国家正在将云计算技术应用于智能电网的建设。
本文以12kW潜油电机温度辨识为研究背景，将云计算技术应用于对潜油电机在线监测时数据的高速处理。基于所推导的潜油电机网络热力学能流矢量分析，给出描述潜油电机定子自感、定转子温度及气隙温度流形的热力学方程表达式。建立基于TMP-A温度巡检仪、工控机、PCI-1711数据采集卡和云计算hadoop平台监测的12KW潜油电机温度辨识平台，对潜油电机定子电压、电流采集的数据进行高速处理，从而达到实时监测的目的。实验结果表明，云计算技术可以有效的解决目前潜油电机现场对大量采集数据的高速处理问题。
一、hadoop计算架构
在Hadoop框架中，它可以支持数据密集型的分布式应用。Hadoop使这种绕行电感器分布式应用工作在一个由成百上千个结点构成的局域网中，从而完成大数据的处理。Hadoop框架源于Apache基金会对Google的MapReduce模型和Google分布式文件系统的开源实现，它主要提供了HDFS分布式文件系统和MapReduce串行编程模型。其中Hadoop框架的底层代码由Java编程语言实现。
1.Hadoop的架构
图1给出了hadoop框架的一个直观的工作方式。在一个hadoop集群中，其包括一个主节点和多个从节点。从MapReduce层面来说，主节点包括一个JobTracker和一个TaskTracker，从节点只包括TaskTracker；从HDFS层面来说，主节点包含一个namenode节点和一个datanode节点，而从节点只包含datanode节点。JobTracker监控各个TaskTracker，namenode管理各个datanode，TaskTracker通过心跳将工作状态报告给JobTracker，从而保障hadoop的安全稳定运行。
图 1 hadoop框架工作模式
2.HDFS分布式文件系统
HDFS文件系统是hadoop框架的 “硬盘”，存储着hadoop作业的任务和结果。HDFS文件系统理论上是一个无限大的文件系统，它具有高度的容错性和低成本性，将无数的结点通过网络连接在了一起。在hadoop作业中，每一个结点代表一个单独的数据结点，众多的数据结点构成了HDFS云。每一个数据结点上，存储着多个数据块，这些数据块包括当前节点需要处理的数据块和其他节点数据块的备份，各个节点之间通过通信达到负载均衡，这样整个hdfs云就可以存储PB级别的数据。