wankunde的博客
wankunde · 共 104 篇文章
hadoop web中查看文件内容乱码解决
错误描述:在50075查看hdfs数据文件中有 & 符号时,中文数据乱乱码 错误原因:系统默认字符集:Charset.defaultCharset().name() 为UTF-8,但是在系统在web程序中取出得编码值为:US-ASCII。在字符串编码时,默认使用的是US-ASCII字符集,该字符集应该是UTF-8子集中的单字符集,导致中文无法由byte拼装还原。 参考:String类 public String(byte bytes[], int offset, int length) public byte[] getBytes() URL地址:http://datanode:50075/…
2014-09-29T11:20:47Z · 开源软件 · 评论(0)
Joda 时间工具包使用
package com.giant.jodatest; import java.text.SimpleDateFormat; import java.util.Calendar; import org.joda.time.DateTime; /** * Hello world! * */ public class App { public static void main(String[] args) { // 以 JDK 的方式向某一个瞬间加上 90 天并输出结果 Calendar calendar = Calendar.getInstance(); calendar.set(2000, …
2014-07-04T17:06:20Z · 编程语言 · 评论(0)
jzmq消息发布订阅
Pom文件 <dependencies> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.1.1</version> </dependency> <dependency> <groupId>org.zeromq</groupId> <artifactId>jzmq</artifactId> <version>2.1.0</version> </dependency> </dependencies> 消息发布: package com.giant…
2014-07-04T17:02:08Z · 编程语言 · 评论(0)
apache commons vfs 文件监控
package test.vfs; import java.io.File; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.commons.vfs2.FileChangeEvent; import org.apache.commons.vfs2.FileListener; import org.apache.commons.vfs2.FileName; import org.apache.commons.vfs2.FileObject…
2014-07-04T16:57:04Z · 编程语言 · 评论(0)
hive启动web程序流程
1.通过hwi service启动hwi.sh,在hwi.sh中到lib目录下找到hwi.jar和hwi.war,并执行主类org.apache.hadoop.hive.hwi.HWIServer 2.在HWIServer中进入start方法,设置好host和port变量,默认为0.0.0.0:9999,通过 webServer = ShimLoader.getJettyShims().startServer(listen, port); webServer.addWar(hwiWARFile.toString(), "/hwi"); //hwiWARFile 为war包的文件名 webSe…
2013-10-12T14:16:02Z · 开源软件 · 评论(0)
ANTLR使用入门
简介 简介 ANTLR是一个有力的用于读,处理,执行,翻译结构化文本或者二进制文件的解析生成器。它被广泛的使用在编译语言,工具和框架中。通过一个语法,ANTLR可以生成一个能够编译和走通编译树的解析(parser)。 使用入门 安装Java环境。Antlr是使用Java开发的,所以这个是需要的。 到这个 地方 下载Antlr工具包antlr-4.1-complete.jar。我这里用的是版本4. 把包放在/usr/local/lib路径下,并设置alias环境变量. 这里顺便把CLASSPATH环境变量设置,为以后编译用。 export CLASSPATH=.:/usr/local/lib/…
2013-10-12T13:58:39Z · 编程语言 · 评论(0)
Hadoop单机数据迁移
1.停止hadoop运行 运行stop-all.sh 2.配置namenode节点和datanode节点的数据存储目录 修改hdfs-site.xml配置文件,添加如下内容 <property> <name>dfs.name.dir</name> <value>/home/test/hadoop-test/dfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/test/hadoop-test/dfs/data</value> </property> 3.迁移hadoop的数据文件 mv /…
2013-06-26T14:37:42Z · 开源软件 · 评论(0)
Hive开窗函数测试-cube,rollup
作者:万昆 日期:20130605 准备表和测试数据 建表 create table group_test (group_id int, job string, name string, salary int); 准备数据文件 10 Coding Bruce 1000 10 Programmer Clair 1000 10 Architect Gideon 1000 10 Director Hill 1000 20 Coding Jason 2000 20 Programmer Joey 2000 20 Architect Martin 2000 20 Director Michael 20…
2013-05-29T17:15:36Z · 开源软件 · 评论(5)
Java序列化与ProtocalBuffer序列化之深入分析
转载: http://kangsg219.iteye.com/blog/904762 最近在做交易缓存化项目,要求缓存淘宝15天内的所有交易订单、支付订单和物流订单,数量在2-3亿;这就对空间和时间提出了很高的要求,因此研究并测试了几种序列化和压缩技术,下面是对Java序列化与ProtocalBuffer序列化对象生成的字节码的分析,通过分析能很明显地看出ProtocalBuffer序列化的优势所在。 从一个简单对象的序列化内容来看java序列化与ProtocalBuffer序列化机制的不同之处以及优劣所在。对象准备如下: 父类BaseUserDO.java(getter和setter方法省…
2013-05-06T22:49:39Z · 开源软件 · 评论(0)
局域网中Linux主机之间同步时间的一种简便方法
几天在实验室用淘汰的pc搭了一个8个节点的小集群做hama的实验,从重新组装硬件到装系统、配置集群,忙了两天,满身都是灰。 安装集群时,经常需要同步各个节点之间的系统时间,例如hbase集群中,过大的时间差可能会导致诡异的问题 对于几个节点的小集群,可以用NTP(network time protocol)同步时间,而且手动就可以: 选择局域网中的一台机器作为ntp服务器,在这台机器上需要安装并启动ntpd 其他机器上要关闭ntpd,安装ntpdate CentOS 6.3上这两个软件都是自带的,只需根据需要打开或者关闭。 注意其他机器的ntpd必须关闭: # service ntpd st…
2013-04-23T14:04:23Z · 操作系统 · 评论(0)
Web服务器:Linux下抓包工具tcpdump使用
1.第一种是关于类型的关键字主要包括host,net,port 例如: host host 10.10.10.12,指明host 10.10.10.12是一台主机,net 202.0.0.0 指明 202.0.0.0是一个网络地址,port 80 指明端口号是80。如果没有指定类型,缺省的类型是host. [root@platform_c ~]# tcpdump host 10.10.10.12 -n tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth0, li…
2013-04-20T01:40:37Z · 开源软件 · 评论(0)
Sublime Text 2 编辑器实用技巧
转载地址: http://www.csser.com/board/4f59c2cb9c3694f227001cd7 在当前项目中快速搜索文件 在当前项目中快速搜索文件 快捷键: CTRL + p 这里面有技巧,比如希望搜索如下路径的文件名并打开: routes/user/messages.js 只需在窗口输入: rum 或者 r/u/m 看结果是不是很爽? 添加评论 • 一回 •2012-03-30 05:15 快速注释和取消注释 快速注释和取消注释 行内注释快捷键 CTRL + / ,块注释则选择一个区间,快捷键 CTRL + SHIFT + / 取消注释不论行注释还是块注释,快捷键都是 …
2013-04-15T00:19:11Z · 研发管理 · 评论(0)
ruby开发环境配置
=========================================================================== RVM 在linux环境中先安装rvm,因为现在很多程序都使用的是1.9的版本,用这个可以随时切换ruby版本进行测试。 安装完rvm后需要改掉下载的数据源,/usr/local/rvm 为rvm目录,进入config,修改db配置的数据源,改为从taobao镜像下载。 ruby_1.0_url=http://ruby.taobao.org/mirrors/ruby/1.0 ruby_1.2_url=http://ruby.taobao.or…
2013-04-11T14:01:50Z · 编程语言 · 评论(0)
Visio使用中的一些技巧
里面的东西主要是看了吕贤聪的《visio2003视频教程》后总结的一些技巧,还有平时应用visio时的一些心得! 1. 鼠标按住尺规的边缘往外拉,会拉出一条绘图辅助线,帮助绘图(精确定位),按del键就会消失,而且选中这条线,按ctrl+L会旋转90°。 2. 在图形上输入文字时,选中字母,按‘ctrl+=’键,选中字母会变为下标;按‘ctrl+shift+=’键,字母会变为上标。 3. 编辑→移至,可以选择不同的作图页。 4. 视图→扫描和缩放窗口,可以调出类似放大镜的窗口,可以查看全局的内容,还可方便的移动到相应的作图区。 5. 视图→图层,与CAD的图层设置类似,可以更改显示格式,线形…
2013-04-04T20:55:15Z · 研发管理 · 评论(0)
手工创建数据库
文字输入太麻烦了,详细见附件吧 ============================================== 手工创建数据库 By :wankun 2012-10-17 实验环境: Windows XP Oracle 10g 创建数据库 SID : byhand 1. 创建相关目录 创建初始化参数文件 该文件最好使用拷贝创建。 我这里使用原来数据库PLHK的初始化文件拷贝后修改。 文件路径 D:\oracle\product\10.2.0\admin\plhk\pfile\init.ora.82820121087 该文件为oracle10g创建的,不是默认的参数文件。将其中的…
2013-03-28T14:14:10Z · 数据库 · 评论(0)