ITeye博客

大海

bigsea · 共 26 篇文章

spring+weblogic+jms配制

1.applicationContext-jms.xml 配制内容如果下 <!--jndi环境配制--> <bean id="jndiTemplate" class="org.springframework.jndi.JndiTemplate"> <property name="environment"> <props> <prop key="java.naming.factory.initial"> weblogic.jndi.WLInitialContextFactory </prop> <prop key="java.naming.provider.url"> t3://127.0.0…

2013-10-14 09:56 · spring · 评论(0)

函数和自治事务pragma autonomous_transaction

基本知识。 有的时候,希望在select语句中使用自己定义的函数,并且这个函数除了返回特定的值之外,还执行update,insert,delete等操作。 对数据库有写操作(update,insert,delete,crate,alert,commit)的函数是无法简单的用SQL来调用的。 如何实现?关键是pragma autonomous_transaction 如下例子: SQL> Create or replace function func_getid return int is 2 pragma autonomous_transaction; 3 vid int; 4 begin …

2013-10-11 14:43 · oracle · 评论(0)

myBatis整合spring

http://www.360doc.com/content/12/0315/16/203871_194571727.shtml

2013-05-25 19:21 · mybatis · 评论(0)

struts 2.3.7+spring3.2.0+MyBatis3.1 整合

最近无聊,就想着做一下ssm的整合~在网上先去找资料,但是发现大多都不是入门级。尤其是需要哪些jar,都没有注明出来。 那么我就写一篇,算作是入门的教程,高手勿拍砖~ 一、准备工作 首先去找struts的. http://struts.apache.org/ 下载最新的struts 2.3.7. (在发这篇文章前我发现已经升级到了2.3.8) 然后再去找spring的. http://www.springsource.org/spring-framework 下载spring-framework-3.2.0.RELEASE-dist 最后自然就是MyBatis3.0的 http://code…

2013-05-19 21:03 · java · 评论(0)

Hive中小表与大表关联(join)的性能分析

经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。这样的原因看似合理,但是仔细推敲,又站不住脚跟。 多小的表算小表?如果所谓的小表在内存中放不下怎么办?我用2个只有几条记录的表做关联查询,这应该算是小表了,在查看reduce的执行日志时依然是有写磁盘的操作的。实际上reduce在接收全部map的输出后一定会有一个排序所有键值对并合并写入磁盘文件的操作。写入磁盘(spill)有可能是多次的,因此有可能会生成多个临时文件,但是最终都要合并成一个文件…

2013-05-09 10:53 · hive · 评论(1)

HIVE 命令行

执行一个查询 $HIVE_HOME/bin/hive -e 'select a.col from tab1 a' 之后过程中,会在终端上显示mapreduce的进度,执行完毕后,最后把查询结果输出到终端上,接着hive进程退出,不会进入交互模式。 使用静音模式执行一个查询 $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' 加入-S,终端上的输出不会有mapreduce的进度,执行完毕,只会把查询结果输出到终端上。这个静音模式很实用,,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。 使用静音模式执行一个查询,把结果集导出…

2013-05-08 15:39 · hive · 评论(0)

sqoop

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 1、下载地址: http://sqoop.apache.org/ 2、修改SQOOP的文件configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件) #if ; then echo “Error: $HBASE_HOME does not exist!” echo ‘Please set …

2013-04-24 18:28 · hadoop · 评论(0)

HBase 增量备份和还原工具

HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。 下面设增量备份的python脚本 在这个脚本中,每天做增量备份,每个月15日做全备份。 import time import datetime from datetime import date import sys import os tablename=sys.argv backupDst=sys.argv today=date.today() if today.day == 15: //every month, we do a full backup backupSubFol…

2013-04-23 10:46 · hbase · 评论(0)

hadoop集群崩溃恢复记录

一.崩溃原因 搭建的是一个hadoop测试集群,所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话,数据就会失去。但不幸的是,刚好就有一台机器由于负载过高,导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如下错误: FSNamesystem initialization failed saveLeases found path /tmp/xxx/aaa.txt but no matching entry in namespace. 二.修复namenode hadoop 集群崩溃了. 导致namenod…

2013-04-22 11:24 · hadoop · 评论(0)

mapreduce 操作hbase、mysql

public class MyAction { public static void main(String[] args) { UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop"); ugi.doAs(new PrivilegedAction<Void>() { public Void run() { try{ System.setProperty("path.separator", ":"); Configuration conf = new Configuration(); //可以设置用到…

2013-04-12 15:09 · hadoop · 评论(0)

hadoop版本总结

hadoop有两个分支:0.20.x 和0.23.x。其中0.20.x是比较稳定的版本,0.23.x中新特性更多,但相对不稳定。 其中从0.20.x 分支发展出来的是:hadoop1.0,CDH3 从0.23.x 分支发展出来的是:hadoop-alpha,CDH4 下面具体说hadoop1.0、2.0 和CDH3、CDH4: Apache Hadoop 2012年10月02日发布了 2.0 的第二个 Alpha 版本,版本号 2.0.2。该版本在 2000 个节点的集群上进行测试,目前开发团队的主要工作是处理无共享存储下的 HDFS HA ,还包括 YARN ResourceManager…

2013-04-11 17:52 · hadoop · 评论(0)

Hadoop无法处理中文问题解决方案

由于 Hadoop 默认编码为UTF-8,并且将UTF-8进行了硬编码,所以我们在处理中文时需要重写OutputFormat类。方法为: 1、新建类GBKFileOutputFormat,代码如下: import java.io.DataOutputStream; import java.io.IOException; import java.io.UnsupportedEncodingException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import o…

2013-03-15 10:18 · hadoop · 评论(0)

GC是在什么时候,对什么东西,做了什么事情?

面试题目: 地球人都知道,Java有个东西叫垃圾收集器,它让创建的对象不需要像c/cpp那样delete、free掉,你能不能谈谈,GC是在什么时候,对什么东西,做了什么事情? 一.回答:什么时候? 1.系统空闲的时候。 分析:这种回答大约占30%,遇到的话一般我就会准备转向别的话题,譬如算法、譬如SSH看看能否发掘一些他擅长的其他方面。 2.系统自身决定,不可预测的时间/调用System.gc()的时候。 分析:这种回答大约占55%,大部分应届生都能回答到这个答案,起码不能算错误是吧,后续应当细分一下到底是语言表述导致答案太笼统,还是本身就只有这样一个模糊的认识。 3.能说出新生代、老年代…

2013-03-15 10:07 · 杂谈 · 评论(0)

深入JVM锁机制之一:synchronized

目前在Java中存在两种锁机制:synchronized和Lock,Lock接口及其实现类是JDK5增加的内容,其作者是大名鼎鼎的并发专家Doug Lea。本文并不比较synchronized与Lock孰优孰劣,只是介绍二者的实现原理。 数据同步需要依赖锁,那锁的同步又依赖谁?synchronized给出的答案是在软件层面依赖JVM,而Lock给出的方案是在硬件层面依赖特殊的CPU指令,大家可能会进一步追问:JVM底层又是如何实现synchronized的? 本文所指说的JVM是指Hotspot的6u23版本,下面首先介绍synchronized的实现: synrhronized关键字简洁、…

2013-03-15 09:53 · java · 评论(0)

如何在本地eclipse运行mapreduce程序

因为不是太复杂,所以只贴代码了,有注释,相信朋友没都能看懂。 public static void main(String args) { //在本地windows平台eclipse运行mapreduce程序 //创建远程用户,以指定的用户来运行程序 //把要运行的程序代码放到run方法体里 UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop"); ugi.doAs(new PrivilegedAction<Void>() { public Void run() { try{ //设置引用jar的分…

2013-03-15 09:20 · hadoop · 评论(0)