错误描述:在50075查看hdfs数据文件中有 & 符号时,中文数据乱乱码
错误原因:系统默认字符集:Charset.defaultCharset().name() 为UTF-8,但是在系统在web程序中取出得编码值为:US-ASCII。在字符串编码时,默认使用的是US-ASCII字符集,该字符集应该是UTF-8子集中的单字符集,导致中文无法由byte拼装还原。
参考:String类
public String(byte bytes[], int offset, int length)
public byte[] getBytes()
URL地址:http://datanode:50075/browseBlock.jsp?blockId=1073779813&blockSize=15&genstamp=1099511816876&filename=%2Ftmp%2Fwankun%2Faccountinput%2Fd&datanodePort=50010&namenodeInfoPort=50070&nnaddr=192.168.39.123:8020
问题解决:
包:hadoop-common-2.3.0-cdh5.0.1.jar
类:org.apache.hadoop.http.HtmlQuoting
修改代码:
public static String quoteHtmlChars(String item) {
if (item == null) {
return null;
}
byte[] bytes = item.getBytes(Charsets.UTF_8);
if (needsQuoting(bytes, 0, bytes.length)) {
ByteArrayOutputStream buffer = new ByteArrayOutputStream();
try {
quoteHtmlChars(buffer, bytes, 0, bytes.length);
return buffer.toString("UTF-8");
} catch (IOException ioe) {
// Won't happen, since it is a bytearrayoutputstream
}
return item;
} else {
return item;
}
}
备注:
1. UTF-8={US-ASCII + 多字符集}
2. 字符串解码还原时,使用的是UTF-8字符集
3. 单独测试,系统默认用UTF-8进行编码,但是HtmlQuoting中却用US-ASCII编码
相关推荐
hadoop web tomcat上传文件,自己写的一个WEB只有上传文件功能,hadoop.rar是已经发布的解压直接放到TOMCAT WEBAPPS下就可以运行
NULL 博文链接:https://201201314056.iteye.com/blog/2193117
这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是spring Struts2 hibernate集合框架,配有sql文件。直接导入后运行这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是...
hadoop的默认配置文件,下载记得关注我哦
springboot与hadoop的HDFS整合上传下载删除,需要提前配置包环境变量,Linux系统,建议使用虚拟机配置克隆连接,之后没做一步进行快照,避免出错重新开始,需要配置application.yml和application.xml文件,相关端口...
hadoop web项目的改进版,新增ajax技术。ajax主要是在浏览器中输入hdfs路径时的后台检查和在监控任务执行状态时使用ajax去和后台交互,获取job信息。
hadoop的dll文件 hadoop.zip
上传文件到Hadoop失败的原因分析及解决方法.pdf
Hadoop HA 集群搭建所需要的配置文件:core-site,hdfs-site,mapred-site,yarn-site四个xml文件和一个slaves文件
这个项目是结合tomcat实现了hadoop的web上传、下载、更新、删除和文件追加等操作,适合想要学习hadoop的童鞋们,云计算也是最近笔记比较热门的技术之一,希望能给大家以帮助
在Hadoop的分布式文件系统下,对文件的读写和列出文件的相关属性和目录中的内容
hadoop/etc/hadoop/6个文件 core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-env.sh yarn-site.xml
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
hadoop2.7.2安装依赖文件,用于在window下调试hadoop! hadoop2.7.2安装依赖文件,用于在window下调试hadoop hadoop2.7.2安装依赖文件,用于在window下调试hadoop
7./hadoop/etc/slaves这个文件里必须把所有的slaves的主机名写进去。 8.mast的/etc/hosts slave1的/etc/hosts slave2 的/etc/hosts (localhost: 127.0.0.1可以去掉,只写主机名对应的IP地址)如下 1)以下是...
hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件
Hadoop3.1.3 配置文件
hadoop2.x配置文件,一共八个文件,能够配置hadoop yarn等框架
hadoop在windows上运行需要winutils支持和hadoop.dll等文件
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path...解决方案:下载本资源解压将hadoop.dll和winutils.exe文件复制到hadoop2.7.3的bin目录下即可解决。