Young 发布的文章

您正在查看: Young 发布的文章

FastDFS分布式文件系统在服务器集群上的安装部署

作者：Young | 时间：April 6, 2018 | 分类：后台开发,框架相关,服务器/数据库,Unix/Linux/Mac系统,分布式 | 评论：0 评论

Overview 到目前为止，我们手里已经有了10台服务器了。之前一直说要把这些服务器搭建一个分布式文件系统，现在条件终于成熟了。这些服务器预装的系统大多数是Ubuntu16.04LTS发行版的Linux，少部分是Ubuntu14.04LTS。这次我们选择5台服务器，1台feagen(118.138.241.39)服务器作为tracker，4台服务器(Bastion3(118.138.24...阅读全文>>

机器学习项目服务器上线部署全流程记录

作者：Young | 时间：March 2, 2018 | 分类：后台开发,R,Perl,Python,机器学习,Java | 评论：0 评论

Overview 我们团队完整的机器学习项目已经做了两个了，分别是Bastion4和Bastion6。之前两个项目上线部署的记录过于片段化，针对现在马上要做完的Bastion3项目，我们在此完整记录搭建服务器各种环境的全部流程，以备不时之需。完整的项目基本分为三大部分：Java处理业务逻辑；Perl后台消息队列；R机器学习模型预测。每个大部分还有很多细节，我们会在每部分都详细记录。新申...阅读全文>>

R语言输出表格到Word

作者：Young | 时间：December 1, 2016 | 分类：R,机器学习 | 评论：0 评论

Overview 由于投稿论文，需要将大量csv格式的表格输出到Word当中。故将csv格式的表格读入到R中，然后再从R中输出至Word。这需要一个软件和几个R包的支持，故将安装过程记录下来。 1.下载安装statconnDCOM 在Windows系统下，到 http://rcom.univie.ac.at 下载statconnDCOM3.6-0B3_Noncommercial，这是非商业...阅读全文>>

ubuntu14.04安装gearman及perl扩展包

作者：Young | 时间：September 13, 2016 | 分类：后台开发,Perl,框架相关,服务器/数据库,Unix/Linux/Mac系统,分布式 | 评论：0 评论

Overview Bastion4这个项目经过我们实验验证和安全考虑，决定舍弃kafka而转用gearman这个消息队列框架，具体分析将在后续文章中给出，这里只记录gearman相关的安装。 1.下载安装gearman 最新版的gearman是gearmand-1.1.12。我们执行下面几步，先将其下载到本地主文件夹，并解压缩。 sudo apt-get update wget https...阅读全文>>

Java后台获取客户端ip地址的注意事项

作者：Young | 时间：July 23, 2016 | 分类：后台开发 | 评论：1 评论

Overview 前面讲到，消息队列需要用到客户端的ip地址和时间戳，获取客户端的ip地址就需要下面几行简单的代码。 import javax.servlet.http.HttpServletRequest; HttpServletRequest request = ServletActionContext.getRequest(); String ipAddress = request...阅读全文>>

ssh和FileZilla远程连接服务器的问题

作者：Young | 时间：July 21, 2016 | 分类：服务器/数据库,Unix/Linux/Mac系统 | 评论：0 评论

Overview 前些天用ssh通过命令行登录我们的bastion4服务器还一切正常，到了昨天已经不能使用，但是用了相同的密钥的FileZilla依然可以登录，这就很奇怪了。 1.问题所在用FileZilla登录到远程服务器，找到ubuntu用户下面的.ssh文件夹，打开之后可以看到只有一个文件authorized_keys，我把它下载下来。完成之后，我到本机的/home/young/D...阅读全文>>

kafka在java中简单应用

作者：Young | 时间：July 11, 2016 | 分类：后台开发,框架相关,分布式 | 评论：0 评论

Overview 之前的这篇博客ubuntu14.04单机安装配置zookeeper和kafka，介绍了zookeeper和kafka的安装配置，并在命令行下验证了生产者消费者可以跑通。但是实际项目中，需要和java交互，不可能接触到命令行和后台的。本文旨在记录一下java和kafka的简单交互，web中道理相同，只不过程序入口换成了action。 1.新建项目配置环境打开eclipse...阅读全文>>

SQLite数据库在java中应用

作者：Young | 时间：July 9, 2016 | 分类：后台开发,服务器/数据库 | 评论：0 评论

Overview 这次的服务器，我们准备使用消息队列和SQLite这两个新东西，SQLite主要负责将用户提交的序列信息存储，并在结果页面查询显示。存储的信息包括用户的ip+timeStamp，序列内容，序列的处理状态。 1.安装SQLite SQLite的安装特别简单。 ubuntu14.04这个版本自带SQLite，在命令行输入sqlite3，显示如下：～sqlite3 SQLite...阅读全文>>

KafkaOffsetMonitor监控消息消费状态

作者：Young | 时间：June 10, 2016 | 分类：后台开发,框架相关,Unix/Linux/Mac系统,分布式 | 评论：0 评论

Overview 这次做服务器，计划加入消息队列，并在web页面显示当前提交的序列处理状态和已处理序列的信息。我们知道，在后台命令行中可以看到kafka的消息者处理消息的状态，但是，对于访问者来说，查看命令行是不现实的，于是我们便采用了KafkaOffsetMonitor这一开源软件。Github的下载地址如下:Kafka Offset Monitor。 1. 安装jdk,zookeepe...阅读全文>>

ubuntu14.04单机安装配置zookeeper和kafka

作者：Young | 时间：June 6, 2016 | 分类：后台开发,框架相关,Unix/Linux/Mac系统,分布式 | 评论：0 评论

Overview T4这个项目实验部分已经结束，下面需要将服务器做出来。为了方便以后扩展分布式的需要，这次将会运用Apache Kafka这个分布式消息发布订阅系统，以满足多人同时提交计算T4序列，解决并发排队问题。Apache kafka的详细介绍详见官网：Apache kafka。运行Apache Kafka，需要先安装好jdk和zookeeper。jdk安装过程就不赘述了。 1.安...阅读全文>>