Python3连接PostgreSQL数据库

Overview 之前项目的人遗留的数据散落在多种数据库中,既有MySQL,MongoDB,也有Cassandra和PostgreSQL。在Python3版本的jupyter中连接PostgreSQL需要安装psycopg2,而psycopg2在Python2中则是已经集成好的。 1. 安装python3-psycopg2和libpq-dev 先在Linux上安装好这两个包, sudo a...阅读全文>>

阿里云Ubuntu16.04服务器安装Jupyter

Overview Jupyter已经不用再花笔墨去介绍了。今年公司国内的业务已经很稳定,我也可以放心交给其他人了,现在主要精力放在东南亚的业务上。所以,离线模型训练就需要在云上安装Jupyter环境。这次,我用Anaconda来安装。 1. 安装Anaconda 首先找到Linux和Python3.7版本的Anaconda:Anaconda,复制链接地址。然后ssh登录到云服务器上,运行下...阅读全文>>

CatBoost贝叶斯调参程序

Overview 之前我们记录了CatBoost一个训练的例子,这次我们更新一个CatBoost调参的例子,用的是业界比较流行的贝叶斯调参法。 1. 引入依赖包并加载数据 import pandas as pd import numpy as np from catboost import CatBoostClassifier, CatBoost, Pool, cv from bayes_...阅读全文>>

Python版本CatBoost在Ubuntu16.04上安装与初步使用

Overview CatBoost据说是比Xgboost和LightGBM更快更准确的GBDT算法。本文记录一下安装过程中的一个小坑和初步使用例子。 1. 安装 先安装依赖包,six和NumPy(假定你已经安装好了Python3.6以上版本): pip install six 由于Ubuntu16.04中自带的NumPy版本是比较老的,所以要指定NumPy版本为1.16.0以上: pip...阅读全文>>

Diffuser单一节点所需软件的安装

Overview Diffuser是一个基于分布式的生物序列特征生成网站,因此需要在每个单一节点安装所需的软件:ViennaRNA-2.4.8,VSL2,psipred和spineX。本文以deepamp节点为例,分别安装和配置以上4个软件。 1. 安装ViennaRNA-2.4.8 该软件用于预测RNA序列结构,安装步骤如下: wget https://www.tbi.univie.ac...阅读全文>>