===== 简介 =====
sqoop只是一个非常简单的客户端工具,根据输入的指令生成一个mapreduce任务,来实现数据库到hdfs的导入导出
===== 安装 =====
- 登录一台安装了hadoop的机器
- 下载sqoop(现在有sqoop2了,功能强大,但是配置管理复杂很多。但我目前只是使用一些简单功能)
- 下载地址:http://mirror.bit.edu.cn/apache/sqoop/
- 解压到/usr/loca/
- 修改配置文件
修改 .bashrc
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
修改sqoop配置文件
cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh 添加如下配置
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
- 下载并配置java的MySQL连接器 [[http://ftp.ntu.edu.tw/MySQL/Downloads/Connector-J/|下载链接]]
- 将下载的jar包复制到 /usr/lib/sqoop/lib目录下
- 完成。验证,输入sqoop-version查看版本