如何查看mysql数据库操作日志?
1. 只需确认日志中的mysqlgtshowvariablesactuallylog_bin 是否已禁用。
2、如果没有重置,即为ON,日志文件会在mysql安装目录的data目录下。
3.如何了解当前日志mysqlgtshowmasterstatus。 MySQL日志操作: 1、必须登录mysql后,执行sql语句:showvariableswantlog_bin。 2.在[mysqld]选项下开启#Error`log log-errol:添加代码:log-errorE:log-error.txt。留下记录内容:大多记录mysqld启动、不运行、突然停止后会出现的致命问题。它们都是系统级的错误记录。 3. #可以查询日志:log,在[mysqld]选项下发送:添加代码:logE:/mysql_log.txt。
4、#二进制日志:log-bin,然后在[mysqld]选项下打开:添加代码:log-binE:/mysql_log_bin,留下记录内容:主要记录所有改变数据的语句,建议使用mysqlbinlog新建命令再次恢复数据。
如何使用sqoop将hive数据导入mysql?
运行环境centos5.6hadophive
Sqoop是Clouder开发的一款以Hadoop技术为支撑,用于关系型数据库、HDFS、Hive之间导入数据的工具。
最初是上海尚学堂hadoop大数据培训团队创建的,曾经有过关于hadoop大数据技术历史的文章。请询问更多!
建议使用过程中可能遇到的问题:
Sqoop依赖于zookeeper,因此我可以将ZOOKEEPER_HOME配置到环境变量中。
sqoop-1.2.0-CDH3B4 在情感上依赖于hadoop-core-0.20.2-CDH3B4.jar,因为您不需要下载hadoop-0.20.2-CDH3B4.tar.gz。解压文件后,将hadoop-0.20.2-CDH3B4 /hadoop-core-0.20.2-CDH3B4.jar截图解压到sqoop-1.2.0-CDH3B4/lib。
1、需要直接安装sqoop。如果推荐使用clouder inventory版本,那就太简单了。
#yuminstallsqoop
如果你使用的是正式版
光盘
#wget
#yum-yinstallsqoop
Sqoop将直接安装
2 使用sqoop
需要将mysql-connector-java-5.1.16-bin.jar文件截图到/usr/lib/sqoop/lib文件夹下
3导入导出数据库
1)列出mysql数据库中所有数据库命令
#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456
2)然后连接mysql,并行化数据库中的表命令
#sqooplist-tables--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456
命令中的test是mysql数据库中的test数据库名,usernamepassword,四位是mysql数据库的用户密码。
3)将关系数据的表结构复制到hive
sqoopcreate-hive-table--connectjdbc:mysql://localhost:3306/test--tableusername--usernameroot--password123456--hive-tabletest
其中--tableusername是mysql中数据库test中的表--hive-tabletest是hive中空白文档的表名
4)将关系数据库文件中的文件导入到hive中
sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordmysql-password--tablet1--hive-import
5)将hive中的表数据导入mysql
./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordadmin--tableuv_info--export-dir/user/hive/warehouse/uv/dt2011-08-03
如果运行出现错误
11/08/0510:51:22INFO运行作业:job_201108051007_0010
11/08/0510:51:23INFOmap0%reduce0%
11/08/0510:51:36INFOTaskId:attempt_201108051007_0010_m_000000_0,状态:失败
tojava.util.AbstractList$()
到达uv_info.__loadFromFields(uv_)
asuv_(uv_)
到达()
在()
作为()
作为()
在()
到达()
在$()
到(本机方法)
到达()
在()
在()
出现这个错误的原因是sqoop推导文件中的字段与MySql数据库表中的字段不对应。但当无法执行时,必须增加sqoop的参数,告诉sqoop文件的分隔符,这样它才能正确解析文件字段。
设置为hive 的字段分隔符是