kafka在java中简单应用

Overview 之前的这篇博客ubuntu14.04单机安装配置zookeeper和kafka,介绍了zookeeper和kafka的安装配置,并在命令行下验证了生产者消费者可以跑通。但是实际项目中,需要和java交互,不可能接触到命令行和后台的。本文旨在记录一下java和kafka的简单交互,web中道理相同,只不过程序入口换成了action。 1.新建项目配置环境 打开eclipse...阅读全文>>

SQLite数据库在java中应用

Overview 这次的服务器,我们准备使用消息队列和SQLite这两个新东西,SQLite主要负责将用户提交的序列信息存储,并在结果页面查询显示。存储的信息包括用户的ip+timeStamp,序列内容,序列的处理状态。 1.安装SQLite SQLite的安装特别简单。 ubuntu14.04这个版本自带SQLite,在命令行输入sqlite3,显示如下: ~sqlite3 SQLite...阅读全文>>

KafkaOffsetMonitor监控消息消费状态

Overview 这次做服务器,计划加入消息队列,并在web页面显示当前提交的序列处理状态和已处理序列的信息。我们知道,在后台命令行中可以看到kafka的消息者处理消息的状态,但是,对于访问者来说,查看命令行是不现实的,于是我们便采用了KafkaOffsetMonitor这一开源软件。Github的下载地址如下:Kafka Offset Monitor。 1. 安装jdk,zookeepe...阅读全文>>

ubuntu14.04单机安装配置zookeeper和kafka

Overview T4这个项目实验部分已经结束,下面需要将服务器做出来。为了方便以后扩展分布式的需要,这次将会运用Apache Kafka这个分布式消息发布订阅系统,以满足多人同时提交计算T4序列,解决并发排队问题。Apache kafka的详细介绍详见官网:Apache kafka。 运行Apache Kafka,需要先安装好jdk和zookeeper。jdk安装过程就不赘述了。 1.安...阅读全文>>

训练集归一化和测试集归一化

Overview 做T4这个项目时,训练集采用了1502条正负样本数据,生成了大量的特征,由于各特征数据变化范围差异很大,于是我们按照重新缩放法做了数据的归一化,使得各特征的取值范围均控制在(0,1)内。然而在预测独立测试集3371条正负样本时,遇到一些疑问:独立测试集怎么办?如果独立测试集归一化,该怎么归一化,以谁为基准归一化,即它的最大值和最小值从何而来? 首先,毋庸置疑,独立测试集必...阅读全文>>