Kafka中消息是以topic進(jìn)行分類(lèi)的，生產(chǎn)者生產(chǎn)消息，消費者消費消息，都是面向topic的。 topic是邏輯上的概念，而partition是物理上的概念，每個(gè)partition對應于一個(gè)log文件，該log文件中存儲的就是producer生產(chǎn)的數據。 ......

Kafka是一個(gè)分布式的基于發(fā)布/訂閱模式的消息隊列，主要應用于大數據實(shí)時(shí)處理領(lǐng)域。

? Kafka的Producer發(fā)送消息采用的是異步發(fā)送的方式。在消息發(fā)送的過(guò)程中，涉及到了兩個(gè)線(xiàn)程——main線(xiàn)程和Sender線(xiàn)程，以及一個(gè)線(xiàn)程共享變量——RecordAccumulator。main線(xiàn)程將消息發(fā)送給RecordAccumulator， ......

通過(guò)Flink官網(wǎng)可以看到Flink里面就默認支持了不少sink，比如也支持Kafka sink connector（FlinkKafkaProducer），那么這篇文章我們就來(lái)看看如何將數據寫(xiě)入到Kafka。

上一篇文章介紹了 Flink Data Sink，也介紹了 Flink 自帶的 Sink，那么如何自定義自己的 Sink 呢？這篇文章將寫(xiě)一個(gè) demo 教大家將從 Kafka Source 的數據 Sink 到 MySQL 中去。

Source 就是數據的來(lái)源，中間的 Compute 其實(shí)就是 Flink 干的事情，可以做一系列的操作，操作完后就把計算后的數據結果 Sink 到某個(gè)地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。這里我說(shuō)下 ......

在 Data Source 介紹 文章中，我給大家介紹了 Flink Data Source 以及簡(jiǎn)短的介紹了一下自定義 Data Source，這篇文章更詳細的介紹下，并寫(xiě)一個(gè) demo 出來(lái)讓大家理解。

Data Sources 是什么呢？就字面意思其實(shí)就可以知道：數據來(lái)源。 Flink 做為一款流式計算框架，它可用來(lái)做批處理，即處理靜態(tài)的數據集、歷史的數據集；也可以用來(lái)做流處理，即實(shí)時(shí)的處理些實(shí)時(shí)數據流，實(shí)時(shí)的產(chǎn)生數據流結果，只要數據源源不斷的過(guò)來(lái)，Fl ......

flink 的安裝參照：flink 簡(jiǎn)單入門(mén)， 我們來(lái)了解下flink的配置文件。