ITeye博客

潇湘客

tmj_159 · 共 157 篇文章

心情瞎聊聊

你以为缘分是上天注定,爱情是迫不得已,其实只是因为,你只是认定了那个人。 —— 越哥说电影《月满轩尼诗》

2022-03-07 16:14 · 心情 · 评论(0)

大数据质量

首先说下大数据的3V特性。 3V即 “容量”(Volume)、“速度”(Velocity)和 “种类”(Variety)。大数据应该具有数据量大、存储和处理速度快、数据多样化等三大特征。 大数据的数据质量主要从下面四个方面来看。 1. 数据一致性 目标表和源表不一致,条数,某些字段汇总后总量不一致 2. 数据及时性 该到的没有到 3. 数据完整性 分区去少,某些分类缺少,某些时间段缺少,主键不唯一 4. 数据准确性 数据取值范围,数据计算结果,数据关系是否准确。 大数据分为实时数据和离线数据。 离线数据通常为T+N生成的数据,测试方法主要有以下几种。 1. 基于数据分布情况的测试 根据表内数…

2019-03-11 10:04 · 测试 · 评论(0)

从测试到项目质量

从有开发的第一天起,就有测试了。 最早阶段的测试是指定预先设置好的参数,手动运行程序,然后看程序是否符合预期结果。这个阶段最典型的特点是手动,以项目为单位,业务场景检验为主,阶段清晰。 随着使用互联网的人越来越多,系统压力越来越大,如何检验一个系统是否能够抗住高峰期的压力,于是引入了压力测试,也叫性能测试,因为性能测试需要编码和理解系统交互的协议,对测试人员的要求有了进一步的提升,更多相关工具也出现了,帮助降低测试的门槛和提交测试效率。这个阶段的特点是从手工测试转换到机器的测试,同时伴随着大量测试工具,如load runner, jmeter, grinder 还有专门测试前端的yslow …

2019-03-07 09:39 · 测试 · 评论(0)

Java序列化

一、 为什么要JAVA序列化 Java序列化机制是解决Java对象本身在网络中传输的问题的,所以序列化的重点是描述了类的内容,这个内容具体包括那些内容取决于使用的场景,不是越多越好,越详细越好,在技术的选型中往往最适合自己的才是最好,本文介绍常见的序列化方法。 有序列化当然有反序列化,序列化本身是一种编码和解码的过程。 二、常用的序列化方法 1. JDK自带的序列化方法 JDK中序列化的方法是通过让你的类实现Serializable接口来完成, 然后通过ObjectOutputStream和ObjectInputStream来写入和读出。 谈到JDK的序列化要注意序列化的serialVers…

2019-02-22 09:11 · java 基础 · 评论(0)

乐观锁不乐观,悲观锁不悲观

写博客的人可能越来越少了,先mark下吧,后期补。

2017-08-29 17:12 · java 基础 · 数据库 · 评论(0)

Spring shell的使用

工作这么多年了,权且大胆的预测,现在绝大部分java项目都在用Spring,大家对Spring 的理解还一直是AOP和IOC和Spring MVC的知识吧,其实Spring早就做了重构,在IOC的基础(Spring Context)上做了很多有用的东西,Spring Shell就是这样一个东西。 Spring Shell可以让你的项目很轻松的支持命令行的功能,可能有些人还觉得比较抽象,这么说假如你想让你的项目支持动态启动和停止,即java -jar xxx.jar start 就启动某个服务,然后输入stop就停止,最简单的方式就是解析main方法中的args ,然后调用不同的服务。 其实S…

2016-06-24 18:04 · 开源软件 · 评论(0)

MongoDB 入门指南(JAVA Driver 版 官网教程)

本文总结来自MongoDB 的java版本的Driver(驱动) api入门指南 官网地址:https://docs.mongodb.org/getting-started/java/client/ MongoDB 一个开源的文档型数据库 ,提供高性能,高可用,自动切片的特性。 准备工作 首先我们需要下载一个MongoDB,我嫌麻烦就下载了一个社区版本,编译好的解压就能用。 curl -O https://fastdl.mongodb.org/osx/mongodb-osx-x86_64-3.2.4.tgz 解压启动 tar -zxvf mongodb-osx-x86_64-3.2.4.tg…

2016-04-14 16:32 · 工具 · 评论(0)

juc 下的集合之二 (ConcurrentHashMap)(JDK1.8版本)

为什么要再写一篇ConcurrentHashMap的文章,有下面几个原因: 1. jdk1.8 和我上次写的1.6版本的在实现上差距很大,我也是今天看了下才发现,去年又一次去面试刚好问道这个地方了,我就胸有成竹的回答了有关同步,锁,效率的问题,今天一看基本全错了。 2. 上次写的文章有点笼统,没有触及到问题的根本,只是在代码层面走了流程,这次我需要把没完成的问题一一解决。 所以此文会解决如下几个问题: 1. 基本结构是什么样的,关键的操作(增加,修改,删除会如何影响结构) 2. 既然遍历可以不像HashTable一样出异常,那么它是怎么做到的 3. 同样比HashTable快,又快在哪里,为…

2016-03-19 14:27 · java 基础 · 基本知识 · 评论(0)

利用 Nginx 做Http 负载均衡

本文大部分内容来自如下链接的官方文档,如果有感兴趣的可以直接阅读。 http://nginx.org/en/docs/http/load_balancing.html ------------------------------------------------------------------------------------- 在多个应用实例间进行负载均衡是优化资源利用率,增大吞吐量,减少延迟和提高容错性一个有效常用方法。 Nginx是一个处理负载均衡的非常有效的工具。 负载均衡的方法 Nginx有下面几种负载均衡的方法 round-robin :以循环的方式处理请求 least-…

2016-03-18 15:55 · 工具 · 开源软件 · 评论(0)

Nginx 入门手册 (Beginner’s Guide)

翻译来自官方文档,首先感谢nginx 的作者,然后感谢官方文档吧。以下是官网地址,英文还可以的直接去看原文吧。 http://nginx.org/en/docs/beginners_guide.html ------------------------------------------------------------------------------------ 这篇手册给出了nginx的基本介绍,并且介绍了一些基本任务的实践。本文假设nginx已经安装到你的机器上了,如果没有请参考nginx安装手册。本手册还介绍了如何启动和停止nginx,reload配置,解析配置文件的结构,以及…

2016-01-16 17:37 · 开源软件 · 评论(0)

Spring Mybatis 配置Mysql主从库

之前有写过在linux上搭建多个mysql实例,然后又写了一篇多个mysql之间如何配置主从,现在终于到了如何使用的时候了,这篇文章就说明了,如何在程序中,而且是在通常的项目结构(基于Spring构建的项目中)中如何使用。 一、说说原理 简单的不能再简单了,配置多个datasource ,不同的方法使用不同的datasource。比如说,来自主库的datasource1,来自从库的datasource2 ,方法method1有数据更改操作(insert, update,delete), 使用datasource1, 方法method2有查询操作(select),使用datasource2。 …

2016-01-16 13:31 · 开源软件 · 评论(0)

Mysql 主从

上一篇博文 已经说明了,如何在一台linux机器上安装多个mysql实例,如果不清楚可以参照上一篇的博文来完成,这篇文章就介绍如何在两个实例配置主从。 这个文章涉及到的两个数据端口分别为3398, 3399 对应的安装目录分别为/usr/local/mysql3398, /usr/local/mysql3399 ,这里我让3399作为主库,3398作为从库。 1. 修改主库设置。 登录到主库 cd /usr/local/mysql3399/bin ./mysql -uroot -p 添加从库访问主库的账号 GRANT REPLICATION SLAVE ON *.* to 'slave1'@…

2015-12-23 14:36 · 数据库 · 评论(0)

Linux 安装多个mysql

Linux 安装多个MYSQL。 老规矩说下环境, linux 版本:centos 6.5 mysql 版本:mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz 1. 首先解压 tar -zxvf mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz 2. 拷贝解压后的目录到/usr/local 下 cp -r mysql-5.6.12-linux-glibc2.5-x86_64 /usr/local/mysql3399 3. 初始化数据库 cd /usr/local/mysql3399/ ./scripts/mysql_inst…

2015-12-22 19:48 · 数据库 · 评论(0)

zabbix 安装和基本使用

zabbix 是一个分布式的监控系统。 此文是按照官网的下面网址,实现的。 https://www.zabbix.com/documentation/2.0/manual/installation/install_from_packages 说下系统配置 操作系统:阿里云的机器, centos release 6.5 (Final) 如果不知道什么版本可以通过命令 cat /etc/issue 数据库: 5.6.12 接下来就是按照文档一步步来安装了 1. 安装服务端 # yum install zabbix-server-mysql zabbix-web-mysql 如果只安装agent …

2015-12-21 17:05 · 开源软件 · 评论(0)

Ant 利用jcraft实现自动化打包, 和启动服务

之前我有写过ant的基本使用,以及一些常用配置,如果这些不懂,可以参考下本人的前些年写的文章 Ant的 基本使用 以及Ant的 常用配置 这篇文章主要讲如何利用jcraft来完成ant的远程拷贝文件以及执行远程脚本的功能来完成我们在项目中实现自动部署的一些事情。 首先介绍下JCraft,它是纯java实现的SSH2, 较高版本的ant就用到了这个库。我们在build.xml文件中如果用到了类似sshexec, scp这样的命令就需要用到这个库。 打开主页 http://www.jcraft.com/jsch/ 往下一翻翻就能找到下载的地方。下载之后,我们要配置类加载路径才能用, 打开ecli…

2015-11-18 14:33 · java 基础 · 工具 · 评论(0)