用sqoop导入mysql出现错误：

[html]  view plain copy
  1. [jifeng@jifeng02 sqoop]$ bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --username dss --password 123123 --table bb_month --hive-import -m 100  
  2. Warning: /home/jifeng/sqoop/../hcatalog does not exist! HCatalog jobs will fail.  
  3. Please set $HCAT_HOME to the root of your HCatalog installation.  
  4. Warning: /home/jifeng/sqoop/../accumulo does not exist! Accumulo imports will fail.  
  5. Please set $ACCUMULO_HOME to the root of your Accumulo installation.  
  6. Warning: $HADOOP_HOME is deprecated.  
  7.   
  8. 14/09/08 01:10:12 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5  
  9. 14/09/08 01:10:12 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.  
  10. 14/09/08 01:10:12 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override  
  11. 14/09/08 01:10:12 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.  
  12. 14/09/08 01:10:12 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.  
  13. 14/09/08 01:10:12 INFO tool.CodeGenTool: Beginning code generation  
  14. 14/09/08 01:10:12 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `bb_month` AS t LIMIT 1  
  15. 14/09/08 01:10:12 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.  
  16. java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.  
  17.         at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:930)  
  18.         at com.mysql.jdbc.MysqlIO.checkForOutstandingStreamingData(MysqlIO.java:2694)  
  19.         at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1868)  
  20.         at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2109)  
  21.         at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2642)  
  22.         at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2571)  
  23.         at com.mysql.jdbc.StatementImpl.executeQuery(StatementImpl.java:1464)  
  24.         at com.mysql.jdbc.ConnectionImpl.getMaxBytesPerChar(ConnectionImpl.java:3030)  
  25.         at com.mysql.jdbc.Field.getMaxBytesPerCharacter(Field.java:592)  
  26.         at com.mysql.jdbc.ResultSetMetaData.getPrecision(ResultSetMetaData.java:444)  
  27.         at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:285)  
  28.         at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:240)  
  29.         at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:226)  
  30.         at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:295)  
  31.         at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1773)  
  32.         at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1578)  
  33.         at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)  
  34.         at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)  
  35.         at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:601)  
  36.         at org.apache.sqoop.Sqoop.run(Sqoop.java:143)  
  37.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  38.         at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)  
  39.         at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)  
  40.         at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)  
  41.         at org.apache.sqoop.Sqoop.main(Sqoop.java:236)  
  42. 14/09/08 01:10:12 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter  
  43.         at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1584)  
  44.         at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)  
  45.         at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)  
  46.         at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:601)  
  47.         at org.apache.sqoop.Sqoop.run(Sqoop.java:143)  
  48.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  49.         at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)  
  50.         at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)  
  51.         at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)  
  52.         at org.apache.sqoop.Sqoop.main(Sqoop.java:236)  

网上搜索是mysql的bug，下载新的jar就可以了

[html]  view plain copy
  1. [jifeng@jifeng02 ~]$ wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz  
  2. --2014-09-08 01:20:16--  http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz  
  3. 正在解析主机 dev.mysql.com... 137.254.60.11  
  4. 正在连接 dev.mysql.com|137.254.60.11|:80... 已连接。  
  5. 已发出 HTTP 请求，正在等待回应... 302 Found  
  6. 位置：http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz [跟随至新的 URL]  
  7. --2014-09-08 01:20:21--  http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz  
  8. 正在解析主机 cdn.mysql.com... 23.41.85.226  
  9. 正在连接 cdn.mysql.com|23.41.85.226|:80... 已连接。  
  10. 已发出 HTTP 请求，正在等待回应... 200 OK  
  11. 长度：3795067 (3.6M) [application/x-tar-gz]  
  12. 正在保存至: “mysql-connector-java-5.1.32.tar.gz”  
  13.   
  14. 40% [============================>                                             ] 1,518,632    488K/s eta(英国中部时44% [================================>                                         ] 1,696,736    508K/s eta(英国中部时48% [===================================>                                      ] 1,854,568    523K/s eta(英国中部时54% [=======================================>                                  ] 2,052,944    543K/s eta(英国中部时57% [=========================================>                                ] 2,186,160    563K/s eta(英国中部时60% [===========================================>                              ] 2,302,000    572K/s eta(英国中部时63% [=============================================>                            ] 2,404,808    579K/s eta(英国中部时66% [================================================>                         ] 2,535,128    590K/s eta(英国中部时70% [==================================================>                       ] 2,656,760    601K/s eta(英国中部时73% [=====================================================>                    ] 2,803,008    613K/s eta(英国中部时77% [========================================================>                 ] 2,939,120    624K/s eta(英国中部时81% [===========================================================>              ] 3,104,192    645K/s eta(英国中部时85% [==============================================================>           ] 3,257,680    656K/s eta(英国中部时90% [==================================================================>       ] 3,437,232    669K/s eta(英国中部时95% [=====================================================================>    ] 3,609,544    681K/s eta(英国中部时100%[=========================================================================>] 3,795,067    698K/s   in 6.2s      
  15.   
  16. 2014-09-08 01:20:27 (597 KB/s) - 已保存 “mysql-connector-java-5.1.32.tar.gz” [3795067/3795067])  


# mysql # sqoop
Logo
一门面向 Data 和 AI 的低代码、云原生的开源编程语言

无需安装部署，在线快速体验 Byzer

更多推荐

编译时权限控制

前言 权限控制，对于 MLSQL 而言的重要程度可以说是生命线。 MLSQL 需要面对各式各样的资源访问，比如 MySQL, Oracle,HDFS，Hive，Kafka，Sorl，ElasticSearch，Redis，API，Web等等，不同用户对这些数据源（以及表，列）的权限是不一样的。 传统模式是，每个用户都需要有个 proxy user，然后到每个数据源里面给这个 proxy user

avatar Byzer 白泽

Byzer 支持 JDBC 聚合下推

聚合下推PR链接聚合下推 我们知道 Byzer 支持多数据源和联邦查询，可以方便分析师在一个平台上快速的分析来自多种数据源的数据，从而进行灵活的探索式分析。 使用场景和优势 当前 Byzer 中加载数据的方式会拉取明细数据到 spark 中进行聚合计算，对于小数据量或者在分布式文件系统上的数据源来说是常规操作。但是对于 JDBC 数据源或者有分析能力的 OLAP 系统来说拉取明细数据可能就不是最

avatar Byzer 白泽

Byzer 术语表

Byzer-lang Byzer ，又称为 Byzer-lang，一门面向 Data 和 AI 的低代码、云原生的开源编程语言。 Byzer 是一门结合了声明式编程和命令式编程的混合编程语言，其低代码且类 SQL 的编程逻辑配合内置算法及插件的加持，能帮助数据工作者们高效打通数据链路，完成数据的清洗转换，并快速地进行机器学习相关的训练及预测。 Byzer 希望能够提供一套语言、一个引擎，就能覆盖整

avatar Byzer 白泽