摘要: 迷茫的毕业季,迷茫的六月,迷茫的青春与岁月。 2018年6月9日 菜鸟题记 1、2018年6月5号,2018年6月6号,记于2018-06-09 16:28:21,发布于未知yyyy年MM月dd日 hh时mm分ss秒。首先谈谈标题,郁闷的毕业季,充满了迷茫与未知,自2017年7月3日实习至2018年阅读全文
posted @ 2018-07-01 15:48 别先生 阅读(495) 评论(8) 编辑
摘要: 1、Redis的官网:https://redis.io/ Redis的测试网站://try.redis.io/ 2、参考博客://www.3gt5.cn/mafly/p/redis_cluster.html //blog.mayongfa.cn/258.htm阅读全文
posted @ 2018-06-12 19:43 别先生 阅读(73) 评论(0) 编辑
摘要: 1、今天启动启动spark的spark-shell命令的时候报下面的错误,百度了很多,也没解决问题,最后想着是不是没有启动hadoop集群的问题 ,可是之前启动spark-shell命令是不用启动hadoop集群也是可以启动起来的。今天突然报错了。 2、然后启动hadoop集群以后出现如下所示:阅读全文
posted @ 2018-05-24 11:10 别先生 阅读(92) 评论(0) 编辑
摘要: 1、python的官网:https://www.python.org/ 2、python依赖库管理工具pip 3、Python基本语法 待续......阅读全文
posted @ 2018-05-23 11:41 别先生 阅读(81) 评论(0) 编辑
摘要: 1、刚才未启动zookeeper集群的时候,直接启动kafka脚本程序,kafka报错了,但是进程号启动起来来,再次启动出现如下所示的问题,这里先将进程号杀死,再启动脚本程序。阅读全文
posted @ 2018-05-22 09:41 别先生 阅读(48) 评论(0) 编辑
摘要: 1、启动kafka的脚本程序报如下所示的错误: 2、根据错误分析,说zookeeper的问题,之前我没有启动zookeeper集群,所以先启动zookeeper集群,然后启动kafka解决问题;阅读全文
posted @ 2018-05-22 09:32 别先生 阅读(140) 评论(0) 编辑
摘要: 1、执行脚本程序报如下所示的错误: 2、猛一看,WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica阅读全文
posted @ 2018-05-20 17:27 别先生 阅读(39) 评论(0) 编辑
摘要: 1、使用sqoop技术将mysql的数据导入到Hive出现的错误如下所示: 第一次使用命令如下所示: 2、第二次导入使用命令如: 主要是注意连接的主机名称别写错了,账号和密码信息。 3、由于mysql导入到Hive中模式是在default中,所以查看的时候可以去default数据库中查看。阅读全文
posted @ 2018-05-18 20:07 别先生 阅读(56) 评论(0) 编辑
摘要: 1、当时初学Sqoop的时候,mysql导入到hdfs导入命令执行以后,在hdfs上面没有找到对应的数据,今天根据这个bug,顺便解决这个问题吧,之前写的//www.3gt5.cn/biehongli/p/8039128.html。 2、报错说以及存在了,hdfs://slaver阅读全文
posted @ 2018-05-18 19:42 别先生 阅读(51) 评论(0) 编辑
摘要: 1、问题描述,启动azkaban的时候报如下所示的错误。之前使用azkaban是root用户,今天使用hadoop用户进行配置和使用,报这个错,说是root连接mysql拒绝了。 2、解决方法如下所示:登陆你的mysql,然后授予权限,然后再刷新权限即可。 参考:https://blog.csdn.阅读全文
posted @ 2018-05-17 17:15 别先生 阅读(80) 评论(0) 编辑
摘要: 1、首先对linux操作系统的crontab命令进行熟悉和了解: 2、在/etc目录下有一个crontab文件,查看这个文件内容如下所示: 3、使用实例: 4、crontab配置 5、uploadFile2Hdfs.v2.sh 待续......阅读全文
posted @ 2018-05-08 21:25 别先生 阅读(171) 评论(0) 编辑
摘要: 1、错误如下所示,启动flume采集文件到hdfs案例的时候,出现如下所示的错误: 大概是说No channel configured for sink,所以应该是sink哪里配置出现了错误,百度了一下,然后检查了一下自己的配置: 2、解决方法如下所示: 参考链接如https://stackover阅读全文
posted @ 2018-05-08 20:58 别先生 阅读(55) 评论(0) 编辑
摘要: 1、相信大家新建的maven项目,然后添加好依赖(即修改了pom.xml文件以后就会出现如下所示的错误): 截图如下所示: 大致意思呢,读读英语还是挺有意思的,错误提示说,项目的配置没有及时更新with 这个pom.xml文件,所以更新一下配置文件即可。操作如下所示: 即鼠标右击错误,然后点击弹出的阅读全文
posted @ 2018-04-25 20:18 别先生 阅读(212) 评论(2) 编辑
摘要: 1、启动kafka的时候,报错如下所示: 2、原因分析,主要是自己是hadoop用户操作,期间无意登陆到root权限,启动了kafka,且启动成功了,创建了如下所示的目录,而且权限是root权限的,当我切换到hadoop用户的时候,启动kafka直接报如下所示的错误: 3、可以看到目录如下所示,解决阅读全文
posted @ 2018-04-24 19:44 别先生 阅读(312) 评论(0) 编辑
摘要: 1、启动hive的时候出现这个问题,报错如下所示: 2、具体原因是我配置hive的hive.site.sh的时候配置了如下所示的内容,注释了就不报错了,这里先注释了:阅读全文
posted @ 2018-04-24 16:52 别先生 阅读(64) 评论(0) 编辑
posted @ 2018-04-24 10:53 别先生 阅读(88) 评论(0) 编辑
摘要: 1、Spark Streaming是什么? 2、Spark与Storm的对比 a、Spark开发语言:Scala、Storm的开发语言:Clojure。 b、Spark编程模型:DStream、Storm编程模型:Spout/Bolt。 c、Spark和Storm的对比介绍: Spark: Stor阅读全文
posted @ 2018-04-23 17:24 别先生 阅读(48) 评论(0) 编辑
摘要: 1、完全分布式 ./bin/run-example streaming.NetworkWordCount localhost 9999无法正常运行: 2、启动过程如上所示,下面就是问题,当在nc -lk 9999命令窗口,输入例如hello world hello world hadoop worl阅读全文
posted @ 2018-04-23 16:46 别先生 阅读(155) 评论(0) 编辑
摘要: 1、虽然,不是大错,还说要贴一下,由于我运行run-example streaming.NetworkWordCount localhost 9999的测试案例,出现的错误,第一感觉就是Spark没有启动导致的: 2、启动Spark的脚本命令: [[email protected] spark-1.5.1阅读全文
posted @ 2018-04-23 15:35 别先生 阅读(100) 评论(0) 编辑
摘要: 1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client,错误如下所示: 解决方法如下所示: 参考文章:https://blog.csdn.net/chengyuqiang/article/details/69934382 HADOOP_CONF阅读全文
posted @ 2018-04-22 21:43 别先生 阅读(51) 评论(0) 编辑