Jark's Blog

当你的才华还撑不起你的野心时,你就应该静下心来学习。


  • 首页

  • 归档

  • 分类

  • 标签

  • 演讲

  • 关于

Flink 1.16:Hive SQL 如何平迁到 Flink SQL

发表于 2022-12-14   |   分类于 Flink   |  
本文整理自我在 9 月 24 日 Apache Flink Meetup 北京站的演讲。主要内容包括:Hive SQL 迁移的动机、挑战、实践、演示和未来规划。
阅读全文 »

Flink CDC 如何简化实时数据入湖入仓

发表于 2022-01-10   |   分类于 Flink   |  
本文整理自我在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章的主要内容如下:Flink CDC 介绍、Flink CDC 的核心特性、Flink CDC 的开源生态、Flink CDC 在阿里巴巴的实践与改进、Flink CDC 的未来规划。
阅读全文 »

基于 Flink SQL 构建流批一体的 ETL 数据集成

发表于 2021-02-25   |   分类于 Flink   |  
本文整理自我在 Flink Forward Asia 2020 的分享,该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容包括:数据仓库与数据集成、数据接入(E)、数据入仓/湖(L)、数据打宽(T)。
阅读全文 »

Nexmark: 如何设计一个流计算基准测试?

发表于 2020-09-16   |   分类于 Flink   |  
如何选择适合自己业务的流计算引擎?除了比较各自的功能矩阵外,基准测试(benchmark)便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域,目前还没有一个行业标准的基准测试。本文将探讨流计算基准测试设计上的难点,分享我们是如何设计一个流计算基准测试框架的 —— Nexmark,以及将来的规划。
阅读全文 »

Demo:基于 Flink SQL 构建流式应用

发表于 2020-02-25   |   分类于 Flink   |  

上周四在 Flink 中文社区钉钉群中直播分享了《Demo:基于 Flink SQL 构建流式应用》,直播内容偏向实战演示。这篇文章是对直播内容的一个总结,并且改善了部分内容,比如除 Flink 外其他组件全部采用 Docker Compose 安装,简化准备流程。读者也可以结合视频和本文一起学习。完整分享可以观看视频回顾:https://www.bilibili.com/video/av90560012

Flink 1.10.0 于近期刚发布,释放了许多令人激动的新特性。尤其是 Flink SQL 模块,发展速度非常快,因此本文特意从实践的角度出发,带领大家一起探索使用 Flink SQL 如何快速构建流式应用。

本文将基于 Kafka, MySQL, Elasticsearch, Kibana,使用 Flink SQL 构建一个电商用户行为的实时分析应用。本文所有的实战演练都将在 Flink SQL CLI 上执行,全程只涉及 SQL 纯文本,无需一行 Java/Scala 代码,无需安装 IDE。本实战演练的最终效果图:

阅读全文 »

Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

发表于 2019-09-02   |   分类于 Flink   |  

上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》,会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 :https://developer.aliyun.com/live/1416

演示代码已经开源到了 GitHub 上:https://github.com/wuchong/flink-sql-submit 。

这份代码主要由两部分组成:1) 能用来提交 SQL 文件的 SqlSubmit 实现。2) 用于演示的 SQL 示例、Kafka 启动停止脚本、 一份测试数据集、Kafka 数据源生成器。

通过本实战,你将学到:

  1. 如何使用 Blink Planner
  2. 一个简单的 SqlSubmit 是如何实现的
  3. 如何用 DDL 创建一个 Kafka 源表和 MySQL 结果表
  4. 运行一个从 Kafka 读取数据,计算 PVUV,并写入 MySQL 的作业
  5. 设置调优参数,观察对作业的影响
阅读全文 »

Flink SQL 编程实践

发表于 2019-08-20   |   分类于 Flink   |  

注: 本教程实践基于 Ververica 开源的 sql-training 项目。基于 Flink 1.7.2 。

通过本课你能学到什么?

本文将通过五个实例来贯穿 Flink SQL 的编程实践,主要会涵盖以下几个方面的内容。

  1. 如何使用 SQL CLI 客户端
  2. 如何在流上运行 SQL 查询
  3. 运行 window aggregate 与 non-window aggregate,理解其区别
  4. 如何用 SQL 消费 Kafka 数据
  5. 如何用 SQL 将结果写入 Kafka 和 ElasticSearch

本文假定您已具备基础的 SQL 知识。

阅读全文 »

如何从小白成长为 Apache Committer?

发表于 2019-02-12   |   分类于 个人成长   |  

过去三年,我一直在为 Apache Flink 开源项目贡献,也在两年前成为了 Flink Committer。我在 Flink 社区成长的过程中受到过社区大神的很多指导,如今也有很多人在向我咨询如何能参与到开源社区中,如何能成为 Committer。这也是本文写作的初衷,希望能帮助更多人参与到开源社区中。

本文将以 Apache Flink 为例,介绍如何参与社区贡献,如何成为 Apache Committer。

阅读全文 »

聊聊Blink开源和Flink社区近况

发表于 2019-01-31   |   分类于 Flink   |  
前几天 Blink 开源的消息刷了朋友圈,因为笔者一直关注着社区的发展。所以今天想从我个人的角度来聊聊 Blink 开源,社区 merge Blink 的计划,以及最近发生的一些很有意义的事情。
阅读全文 »

Flink 小贴士 (7): 4个步骤,让 Flink 应用达到生产状态

发表于 2018-12-03   |   分类于 Flink   |  
本文阐述了使 Flink 应用达到生产就绪状态所需要的一些配置步骤。在以下部分中,我们概述了重要的配置参数,这些参数是技术领导、DevOps、工程师们在将 Flink 应用程序上线生产之前都需要仔细考虑的。Apache Flink 为大多数配置都提供了开箱即用的默认选项,在许多情况下,它们是POC阶段(概念验证)或探索 Flink 不同 API 和抽象的很好的起点。
阅读全文 »
12…9
WuChong

WuChong

当你的才华还撑不起你的野心时,
你就应该静下心来学习。

90 日志
12 分类
77 标签
RSS
Creative Commons

Links

Apache Flink
© 2013 - 2024 WuChong
由 Hexo 强力驱动
主题 - NexT.Mist