入門概念 | Amazon Kinesis 是什么？
名稱由來(lái)
Amazon Kinesis 的誕生源于企業(yè)對(duì)實(shí)時(shí)數(shù)據(jù)處理的迫切需求。隨著物聯(lián)網(wǎng)設(shè)備、應(yīng)用程序日志和用戶點(diǎn)擊流等數(shù)據(jù)源的爆發(fā)式增長(zhǎng)，傳統(tǒng)批處理模式無(wú)法滿足毫秒級(jí)響應(yīng)要求。AWS 通過(guò)整合流存儲(chǔ)、傳輸與分析能力，打造了這一命名源自“運(yùn)動(dòng)”（Kinesis）的云服務(wù)，旨在實(shí)現(xiàn)數(shù)據(jù)從產(chǎn)生到洞察的“動(dòng)態(tài)流動(dòng)”。
主要功能
Kinesis 的核心功能由四大組件構(gòu)成。
Data Streams：高速緩沖區(qū)，支持每秒 GB 級(jí)數(shù)據(jù)攝入，存儲(chǔ) 24 小時(shí)至 1 年，供消費(fèi)者實(shí)時(shí)處理；
Data Firehose（現(xiàn)稱 Amazon Data Firehose）：全自動(dòng)數(shù)據(jù)管道，無(wú)需管理基礎(chǔ)設(shè)施即可將數(shù)據(jù)加載至 S3、Redshift 等目標(biāo)；
Video Streams：專為音視頻及二進(jìn)制時(shí)間序列數(shù)據(jù)設(shè)計(jì)，支持加密存儲(chǔ)與 WebRTC 低延遲傳輸；
Data Analytics：通過(guò) SQL 或 Apache Flink 實(shí)現(xiàn)亞秒級(jí)流分析，支持“至少一次”傳輸模型確保數(shù)據(jù)完整性。
工作原理
Kinesis 的數(shù)據(jù)處理流程分為三層。
數(shù)據(jù)攝入層：生產(chǎn)者（如移動(dòng)應(yīng)用、IoT 傳感器）通過(guò) SDK、Kinesis Agent 或 Direct PUT API 將數(shù)據(jù)寫入 Data Streams。每個(gè)分片支持 1,000 條記錄 / 秒的寫入上限，通過(guò)水平擴(kuò)展分片數(shù)量應(yīng)對(duì)流量波動(dòng)。
流處理層：消費(fèi)者（如 KCL 應(yīng)用程序）從分片讀取數(shù)據(jù)，利用多線程和檢查點(diǎn)機(jī)制實(shí)現(xiàn)容錯(cuò)處理。Data Analytics 服務(wù)則通過(guò) SQL 查詢或 Flink 作業(yè)對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)轉(zhuǎn)換，例如過(guò)濾無(wú)效記錄、計(jì)算移動(dòng)平均值。
交付與存儲(chǔ)層：Data Firehose 根據(jù)配置的緩沖區(qū)大小（如 5MB）或時(shí)間間隔（如 5 分鐘）觸發(fā)數(shù)據(jù)批處理，將轉(zhuǎn)換后的數(shù)據(jù)加載至目標(biāo)存儲(chǔ)。Video Streams 則通過(guò) HLS/DASH 協(xié)議實(shí)現(xiàn)視頻點(diǎn)播，或通過(guò) WebRTC 支持超低延遲雙向流傳輸。
使用場(chǎng)景
實(shí)時(shí)監(jiān)控與告警：Netflix 使用 Data Streams 監(jiān)控全球應(yīng)用通信，通過(guò)毫秒級(jí)延遲檢測(cè)異常請(qǐng)求，將平均故障修復(fù)時(shí)間（MTTR）縮短至分鐘級(jí)。
近實(shí)時(shí)數(shù)據(jù)分析：Zillow 通過(guò) Data Streams 采集房產(chǎn)交易數(shù)據(jù)，結(jié)合 Data Analytics 的 SQL 查詢，每 15 分鐘更新一次房屋估價(jià)模型，提升推薦準(zhǔn)確率。
視頻流處理：安防公司利用 Video Streams 存儲(chǔ)攝像頭數(shù)據(jù)，通過(guò) Rekognition Video 實(shí)時(shí)識(shí)別人員聚集事件，自動(dòng)觸發(fā)安保調(diào)度。
機(jī)器學(xué)習(xí)管道：游戲平臺(tái)將玩家行為數(shù)據(jù)通過(guò) Data Firehose 加載至 S3，訓(xùn)練后的模型通過(guò) Data Analytics 實(shí)時(shí)預(yù)測(cè)用戶流失風(fēng)險(xiǎn)，動(dòng)態(tài)調(diào)整運(yùn)營(yíng)策略。