自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 资源 (12)
  • 论坛 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 Flink 的 emit 作用

flink 1.9如下:配置如下:table.exec.emit.early-fire.enabled:truetable.exec.emit.early-fire.delay:60 searly-fire.delay 就是每分钟输出一次结果的意思。SQL 如下:SELECT TUMBLE_ROWTIME(eventTime, interval ‘1’ day) AS rowtime, dimension, count(distinct id) as uvFROM personG

2021-04-28 18:23:35 19

原创 sublime 自动带入查询

实验1: 能自动带入到查询框

2021-04-28 17:21:07 13

原创 Hive count(distinct ) 优化

第一阶段:

2021-04-28 17:09:53 18

原创 Hive order by 用到 if

SQL:select * from (select 1 as flag,'tom' as name,12 as age from table1limit 1)t1union all select * from (select 1 as flag,'tom' as name,13 as age from table1limit 1)t2union allselect * from (select 0 as flag,'tom2' as

2021-04-15 22:38:20 32

原创 Flink Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic

报错:Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed. at org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:147) at org.apache.flink.runtime.minicluster.MiniCluste...

2021-04-15 15:36:00 146

原创 Flink SQL validation failed. From line 1, column 89 to line 1, column 111: List of column aliases

SQL validation failed. From line 1, column 89 to line 1, column 111: List of column aliases must have same degree as table; table has 1 columns ('f0'), whereas alias list has 3 columnsat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.validate(Fli

2021-04-15 15:18:09 57

转载 Flink的Watermark细节介绍

在前面的流处理随谈一文中已经简单介绍了Watermark,本文主要再结合Flink具体分析一下,作为补充。理论如果看完之前的文章,已经完全理解了Watermark,那可以直接跳过这部分,看实战部分。如果还不太理解,我通过几个问题来阐述一下,帮助你理解。要注意的是下面的描述方式和实际实现未必完全一样(有些甚至是我的个人观点),但可以帮助你更好的理解。What?Watermark是什么?从不同的维度可以有不同的理解从Watermark的计算角度看:可以将Watermark理解为一个函数:F(

2021-04-15 11:01:06 20

原创 Flink 使用TableFunction getResultType返回Row类型

Flink1.9.3package SQL_split_index;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.common.typeinfo.Types;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.

2021-04-13 11:35:32 65

转载 Flink 数据倾斜 解决方法

1.数据倾斜的原理和影响1.1 原理数据倾斜就是数据的分布严重不均,造成一部分数据很多,一部分数据很少的局面。数据分布理论上都是倾斜的,符合“二八原理”:例如80%的财富集中在20%的人手中、80%的用户只使用20%的功能、20%的用户贡献了80%的访问量。 数据倾斜的现象,如下图所示。1.2 影响(1)单点问题数据集中在某些分区上(Subtask),导致数据严重不平衡。(2)GC 频繁过多的数据集中在某些 JVM(TaskManager),使得JVM 的内存资源短缺,.

2021-04-12 21:27:53 56

转载 Flink Checkpoint 超时原因及解决

第一种、计算量大,CPU密集性,导致TM内线程一直在processElement,而没有时间做CP【过滤掉部分数据;增大并行度】代表性作业为算法指标-用户偏好的计算,需要对用户在商城的曝光、点击、订单、出价、上下滑等所有事件进行比例计算,并且对各个偏好值进行比例计算,事件时间范围为近24小时。等于说每来一条数据,都需要对用户近24小时内所有的行为事件进行分类汇总,求比例,再汇总,再求比例,而QPS是1500,24小时1.5亿的累积数据,逻辑处理的算子根本无法将接收到的数据在合适的时间内计算完毕,这里还有

2021-04-12 21:16:25 63

原创 FlinkSQL split_index 的用法

1 添加<properties> <flink.version>1.9.3</flink.version> <flink.scala.version>2.11</flink.scala.version></properties><dependency> <groupId>org.apache.flink</groupId> <artifactId&

2021-04-12 17:10:28 26

转载 Mac 安装 maven

1、Maven下载注意 idea 版本要和 Maven版本对应 idea 2019 2020支持Maven3.6.1版本 如果装高版本会报错http://maven.apache.org/download.cgi下载,选择Binary zip archive 的类型.2、解压maven解压下载好的maven,将目录丢到终端命令去获取文件路径。设置path:vi ~/.bash_profile添加maven的路径,将下载好的maven资源引入path 中:export M2_HOME..

2021-04-12 15:54:41 42

转载 Mac安装brew wget

Mac安装wget的两种方法第一种、传统的安装包 1.从ftp://ftp.gnu.org/gnu/wget/下载到最新的wget安装包到本地 2.然后通过终端tar -zxvf命令解压到我们某个目录 3.然后依次执行./configure和make以及make install命令。 第二种、HomebrewHomebrew是一款非常强大的可以应用在MAC中的Linux管理包,如果上面的方法感觉比较麻烦,我们可以通过下面的方法解决。如果不会安装home...

2021-04-12 15:37:34 18

split_csv.sh

v6.csv有200多万行,excel的一个sheet最多显示104万行左右,显示不全,那么如何切分呢? 亲测可用

2020-03-21

android通过servlet与服务器验证用户信息

成功返回success,失败返回failed 1注意manifext.xml的权限 2 servlet project的类一定要extends httpservlet 3 servlet project中,com是包名,所以Tomcat是...classes/com/xxx.class 4 192.168.0.107是电脑的IP,需要手机电脑连接的是同一个wifi,电脑的防火墙一定要关闭

2016-03-26

mhd raw metaimage java读取类

亲测可用,mhd raw metaimage java读取类。mhd raw metaimage java读取类。mhd raw metaimage java读取类。

2017-10-18

commons-configuration-1.6.jar

解决..java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration, 亲测可用

2016-07-08

全国省市县区域名称

省市县区域名称,例如: ................. 240: 云南省:昆明市 240864: 云南省 昆明市 东川区 240865: 云南省 昆明市 五华区 240866: 云南省 昆明市 呈贡县 240867: 云南省 昆明市 安宁市 ............

2015-11-17

htmlunit-2.31.jar

htmlunit-2.31,亲测可用!能很好的完成抓取需求,能够模拟输入、点击按钮、解析结果

2018-06-10

Navicate for Mysql

包含注册key,解压后即可使用,不用安装,方便快捷。包含注册key,解压后即可使用,不用安装,方便快捷。包含注册key,解压后即可使用,不用安装,方便快捷。包含注册key,解压后即可使用,不用安装,方便快捷。

2017-10-17

joda-time-2.3.jar

DateTime类型,方便使用

2016-11-17

commons-lang-2.5.jar

解决..java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils问题

2016-07-08

拼图游戏C语言

拼图游戏开发,使用语言为C语言类,游戏开发,

2013-05-24

Struts2登录实例--亲测可用

Struts2登录实例--亲测可用,拦截器,Action,值栈......都用到了

2017-05-17

quartz定时任务

不用集成Spring,代码简洁,亲测可用

2017-05-20

二十六画生的博客的留言板

发表于 2020-01-02 最后回复 2020-01-02

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除