阿里云實(shí)時(shí)計(jì)算Flink版IoT行業(yè)解決方案,阿里云flink實(shí)時(shí)計(jì)算-ESG跨境

阿里云實(shí)時(shí)計(jì)算Flink版IoT行業(yè)解決方案,阿里云flink實(shí)時(shí)計(jì)算

阿里云實(shí)時(shí)計(jì)算Flink版IoT行業(yè)解決方案

行業(yè)挑戰(zhàn)

物聯(lián)網(wǎng)(Internet of Things，以下簡(jiǎn)寫為IoT)是互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等資訊的承載體，能讓所有具備獨(dú)立功能的普通物體實(shí)現(xiàn)互聯(lián)互通的網(wǎng)絡(luò)。物聯(lián)網(wǎng)將現(xiàn)實(shí)世界數(shù)位化，應(yīng)用范圍十分廣泛。物聯(lián)網(wǎng)拉近分散的資訊，統(tǒng)整物與物的數(shù)位信息，主要應(yīng)用領(lǐng)域包括以下方面：運(yùn)輸和物流領(lǐng)域、健康醫(yī)療領(lǐng)域、智慧環(huán)境(家庭、辦公、工廠)領(lǐng)域、個(gè)人和社會(huì)領(lǐng)域等，具有十分廣闊的市場(chǎng)應(yīng)用前景。物聯(lián)網(wǎng)將智能感知、識(shí)別技術(shù)、網(wǎng)絡(luò)通信與普適計(jì)算等技術(shù)融合起來，被認(rèn)為是繼計(jì)算機(jī)、互聯(lián)網(wǎng)、智能手機(jī)之后世界信息產(chǎn)業(yè)發(fā)展的下一個(gè)風(fēng)口。

據(jù)IDC估計(jì)，到2020年物聯(lián)網(wǎng)將在全球范圍內(nèi)產(chǎn)生1.46萬億美元的價(jià)值；而Chinaidr預(yù)測(cè)，屆時(shí)中國(guó)的物聯(lián)網(wǎng)市場(chǎng)規(guī)模將超過1.8萬億人民幣。人們普遍認(rèn)為，中國(guó)將成為物聯(lián)網(wǎng)行業(yè)的主要參與者。得益于龐大的人口基數(shù)和低廉的芯片制造成本，中國(guó)將在推動(dòng)全球物聯(lián)網(wǎng)市場(chǎng)增長(zhǎng)上發(fā)揮重要的作用。

目前IoT行業(yè)在如下領(lǐng)域使用日趨廣泛和深入：

1.工業(yè)領(lǐng)域

工業(yè)領(lǐng)域是目前物聯(lián)網(wǎng)項(xiàng)目最多的應(yīng)用領(lǐng)域，工業(yè)領(lǐng)域所涵蓋的能夠聯(lián)網(wǎng)的事物最豐富，比如印刷設(shè)備、車間機(jī)械、礦井與廠房等。

2.醫(yī)療領(lǐng)域

目前物聯(lián)網(wǎng)技術(shù)在醫(yī)療行業(yè)中的應(yīng)用包括人員管理智能化、醫(yī)療過程智能化、供應(yīng)鏈管理智能化、醫(yī)療廢棄物管理智能化以及健康管理智能化。最典型的應(yīng)用就是可穿戴設(shè)備，這種幫助用戶實(shí)現(xiàn)個(gè)性化的自我健康管理的設(shè)備已經(jīng)成為很多注重健康人士的新寵。

3.智能交通與車聯(lián)網(wǎng)

當(dāng)前，物聯(lián)網(wǎng)應(yīng)用于智能交通已見雛形，并具有極強(qiáng)的發(fā)展?jié)摿ΑＮ锫?lián)網(wǎng)在智能交通的應(yīng)用包括實(shí)時(shí)監(jiān)控系統(tǒng)、自動(dòng)收費(fèi)系統(tǒng)、智能停車系統(tǒng)和實(shí)時(shí)車輛跟蹤系統(tǒng)，可以自動(dòng)檢測(cè)并報(bào)告公路、橋梁的健康狀況，并能幫助交通運(yùn)輸業(yè)緩解能耗、污染以及擁堵等問題。

4.智能家居

物聯(lián)網(wǎng)解決了智能家居中設(shè)備聯(lián)網(wǎng)的問題。國(guó)內(nèi)已經(jīng)有很多不同領(lǐng)域的廠商開始涉足智能家居行業(yè)，包括互聯(lián)網(wǎng)科技廠商、傳統(tǒng)家電廠商以及互聯(lián)網(wǎng)巨頭。智能電視、智能音箱等智能硬件也可以當(dāng)做智能家居的控制中心和樞紐，“人工智能+物聯(lián)網(wǎng)”將掀起改變生活方式的狂潮。

5.智慧物流

智慧物流是把條形碼、射頻識(shí)別技術(shù)、傳感器、全球定位系統(tǒng)等物聯(lián)網(wǎng)技術(shù)，廣泛應(yīng)用于物流業(yè)運(yùn)輸、倉庫、配快遞、包裝、裝卸等環(huán)節(jié)。智慧物流的崛起離不開電商爆發(fā)的催化，更離不開物聯(lián)網(wǎng)技術(shù)的加持。

IoT時(shí)代的數(shù)據(jù)特征

物聯(lián)網(wǎng)傳感器不斷從大量連接的各種各樣的設(shè)備接收數(shù)據(jù)。隨著連接設(shè)備數(shù)量的增加，物聯(lián)網(wǎng)系統(tǒng)需要可擴(kuò)展以適應(yīng)數(shù)據(jù)流入。分析系統(tǒng)處理這些數(shù)據(jù)并提供有價(jià)值的分析報(bào)告，這些報(bào)告將給企業(yè)帶來競(jìng)爭(zhēng)優(yōu)勢(shì)。IoT大數(shù)據(jù)來源于物聯(lián)網(wǎng)設(shè)備傳感器產(chǎn)生的數(shù)據(jù)，與傳統(tǒng)大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)特征不完全一樣，IoT大數(shù)據(jù)具有“6V”特點(diǎn)，如下所示：

容量（Volume）：數(shù)據(jù)量是判斷數(shù)據(jù)集為大數(shù)據(jù)、傳統(tǒng)的大規(guī)模或超大規(guī)模數(shù)據(jù)的一個(gè)決定性因素，使用物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)量比以前要多得多，明顯符合這一特點(diǎn)。**

速度（Velocity）：物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生和處理速率要足夠高，以支持實(shí)時(shí)大數(shù)據(jù)的可用性。鑒于這種高數(shù)據(jù)率，也證明了需要先進(jìn)的工具和技術(shù)分析才能有效地運(yùn)作。**

多樣性（Variety）：一般來說，大數(shù)據(jù)有不同的形式和類型。這可能包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。各種各樣的數(shù)據(jù)類型可以通過物聯(lián)網(wǎng)產(chǎn)生，如文本、音頻、視頻、傳感器數(shù)據(jù)等等。

真實(shí)性（Veracity）：真實(shí)性是指質(zhì)量、一致性和數(shù)據(jù)的可信性，有真實(shí)性的數(shù)據(jù)才能進(jìn)行準(zhǔn)確的分析。這一點(diǎn)對(duì)于物聯(lián)網(wǎng)來說尤其重要，特別是那些群體感知數(shù)據(jù)。**

易變性（Variability）：這個(gè)屬性是指數(shù)據(jù)流的速率不同。由于物聯(lián)網(wǎng)應(yīng)用的性質(zhì)，不同的數(shù)據(jù)生成組件可能會(huì)有不一致的數(shù)據(jù)流。此外，在特定時(shí)間，一個(gè)數(shù)據(jù)源的數(shù)據(jù)加載速率可能不同。例如，利用物聯(lián)網(wǎng)傳感器的停車服務(wù)應(yīng)用在高峰期的數(shù)據(jù)加載會(huì)達(dá)到峰值。**

價(jià)值（Value）：價(jià)值是指大數(shù)據(jù)轉(zhuǎn)化成為有用的信息和內(nèi)容，為組織帶來競(jìng)爭(zhēng)優(yōu)勢(shì)。數(shù)據(jù)的價(jià)值的高度不僅僅取決于對(duì)數(shù)據(jù)的處理過程或服務(wù)，還取決于對(duì)待數(shù)據(jù)的方式。

針對(duì)以上IoT的數(shù)據(jù)特征，IoT相關(guān)大數(shù)據(jù)以及AI分析工具需要解決如下數(shù)據(jù)計(jì)算問題：

越來越多的實(shí)時(shí)數(shù)據(jù)需求：目前需要更多的實(shí)時(shí)數(shù)據(jù)來支持IoT設(shè)備分析、操控、管理。比如需要IoT設(shè)備數(shù)據(jù)進(jìn)行實(shí)時(shí)化分析進(jìn)而直接反饋到工業(yè)車床進(jìn)行加工參數(shù)調(diào)整。

越來越多的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)分析需求：越來越多的IoT設(shè)備產(chǎn)生半結(jié)構(gòu)化、甚至非結(jié)構(gòu)化數(shù)據(jù)，包括日志、圖片、音頻、視頻。這些都需要大數(shù)據(jù)以及AI相關(guān)分析工具進(jìn)行分析處理。**

越來越多的智能化數(shù)據(jù)處理需求：大量圖片、音頻、視頻場(chǎng)景，需要使用AI增強(qiáng)的實(shí)時(shí)化處理工具進(jìn)行分析處理，而非傳統(tǒng)的數(shù)據(jù)庫和大數(shù)據(jù)工具。**

由數(shù)據(jù)分析人工決策到數(shù)據(jù)計(jì)算反向控制生產(chǎn)鏈路：IoT的大數(shù)據(jù)分析從產(chǎn)生報(bào)表進(jìn)而交給人工決策，逐步過渡到數(shù)據(jù)計(jì)算結(jié)果直接反向控制生產(chǎn)鏈路，節(jié)省人力決策的成本。

解決方案

阿里云實(shí)時(shí)計(jì)算Flink版是阿里云打造的基于Apache Flink的企業(yè)級(jí)系列產(chǎn)品，其底層技術(shù)引擎由Flink創(chuàng)始團(tuán)隊(duì)提供的商業(yè)化產(chǎn)品Ververica Platform所驅(qū)動(dòng)。針對(duì)IoT時(shí)代下大數(shù)據(jù)分析的需求，阿里云實(shí)時(shí)計(jì)算Flink版結(jié)合阿里云整個(gè)IaaS以及PaaS的基礎(chǔ)設(shè)施，能夠?yàn)镮oT客戶解決如下問題：

數(shù)據(jù)實(shí)時(shí)化處理：阿里云實(shí)時(shí)計(jì)算Flink版具備低延遲、高吞吐、一致性等特點(diǎn)，非常適合IoT的實(shí)時(shí)化數(shù)據(jù)清洗、分析、處理的計(jì)算需求。

越來越多的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)分析需求：具備結(jié)構(gòu)化數(shù)據(jù)處理(分析、統(tǒng)計(jì)類計(jì)算處理)，提供包括SQL、TableAPI、PyFlink等高效API解決數(shù)據(jù)分析難題；同時(shí)實(shí)時(shí)計(jì)算Flink版提供包括DataStream的Flink底層API，針對(duì)非結(jié)構(gòu)化的音頻、視頻等內(nèi)容也能夠從容分析。

越來越多的智能化數(shù)據(jù)處理需求：提供流式數(shù)據(jù)底層框架，基于Flink開源API，用戶可以自由組合圖像、音頻、視頻處理算法包，提供靈活的智能化處理數(shù)據(jù)需求。

成功案例

協(xié)鑫光伏

引入阿里云飛天大數(shù)據(jù)平臺(tái)以來，光伏生產(chǎn)良品率已經(jīng)提升了1個(gè)百分點(diǎn)，節(jié)省成本數(shù)千萬。

客戶簡(jiǎn)介

協(xié)鑫光伏坐落在環(huán)境優(yōu)美的蘇州工業(yè)園區(qū)，是全球領(lǐng)先的光伏材料制造商，硅片產(chǎn)品占國(guó)內(nèi)流通硅片的70%，處于國(guó)內(nèi)同行業(yè)龍頭地位。在技術(shù)研發(fā)、品質(zhì)控制、自動(dòng)化升級(jí)等方面也都處于較高水平。

通過多年對(duì)生產(chǎn)流程的優(yōu)化，協(xié)鑫的生產(chǎn)效率和產(chǎn)品品質(zhì)始終保持著行業(yè)領(lǐng)先，然而，他們漸漸感到如果繼續(xù)保持傳統(tǒng)的方式，可優(yōu)化的空間將越來越小。對(duì)于追求卓越的協(xié)鑫人來說，生產(chǎn)品質(zhì)提升的最后一公里要怎么走，這無疑是一個(gè)巨大的難題。蘇州協(xié)鑫光伏總經(jīng)理曾表示：“未來蘇州協(xié)鑫的繼續(xù)突破還是要靠新技術(shù)和新產(chǎn)品。”

阿里云實(shí)時(shí)計(jì)算Flink版解決方案

智能制造的興起，將大數(shù)據(jù)分析引入到制造革命中。通過對(duì)生產(chǎn)數(shù)據(jù)的采集并上傳云端，能夠進(jìn)行數(shù)據(jù)實(shí)時(shí)和長(zhǎng)期分析，并對(duì)生產(chǎn)過程進(jìn)行監(jiān)控，分析生產(chǎn)流程中可優(yōu)化的部分；監(jiān)控影響產(chǎn)品質(zhì)量的環(huán)節(jié)，對(duì)產(chǎn)品質(zhì)量進(jìn)行量化分析和提升；對(duì)設(shè)備情況進(jìn)行預(yù)測(cè)，優(yōu)化備本備件。

2016年協(xié)鑫光伏正式與阿里云合作，希望通過云計(jì)算、大數(shù)據(jù)等新一代信息技術(shù)推動(dòng)內(nèi)部管理升級(jí)、進(jìn)一步提高市場(chǎng)競(jìng)爭(zhēng)力。此次合作的主要目標(biāo)是透明化生產(chǎn)、數(shù)據(jù)化管理以及良品率提升。具體包括：

低成本長(zhǎng)期保存協(xié)鑫生產(chǎn)過程所有數(shù)據(jù)；

通過大數(shù)據(jù)分析，建立良品率預(yù)測(cè)模型；

通過大數(shù)據(jù)分析，建立關(guān)鍵參數(shù)監(jiān)控模型，對(duì)生產(chǎn)過程監(jiān)控和報(bào)警；

通過阿里云BI系統(tǒng)，對(duì)協(xié)鑫生產(chǎn)數(shù)據(jù)做多維度統(tǒng)計(jì)分析；

通過阿里云大屏技術(shù)，建立車間和事業(yè)部生產(chǎn)大屏看板等多方面內(nèi)容。

整體技術(shù)框架可以分為三大部分，車間源數(shù)據(jù)、大數(shù)據(jù)存儲(chǔ)分析區(qū)，以及業(yè)務(wù)區(qū)。具體包括數(shù)據(jù)上云、關(guān)鍵參數(shù)

監(jiān)控模型、關(guān)鍵及全量參數(shù)標(biāo)準(zhǔn)曲線模型、生產(chǎn)過程監(jiān)控報(bào)警、良品率預(yù)測(cè)、備件損耗分析、大屏看板、BI分析。

客戶收益

經(jīng)過項(xiàng)目一期的實(shí)施，每年節(jié)省成本數(shù)千萬。

通過阿里云的大數(shù)據(jù)分析算法，協(xié)鑫光伏可以對(duì)生產(chǎn)過程中采集到的全部變量進(jìn)行分析，找出與良品率最為相關(guān)的關(guān)鍵變量?！案鶕?jù)這些關(guān)鍵變量為協(xié)鑫光伏搭建生產(chǎn)的參數(shù)監(jiān)控模型，在生產(chǎn)過程中對(duì)這些變量進(jìn)行分析處理，一旦變量超出模型范圍，協(xié)鑫光伏的監(jiān)測(cè)系統(tǒng)就會(huì)及時(shí)預(yù)警?！?/p>

協(xié)鑫光伏作為追求卓越的制造業(yè)企業(yè)代表，為同類企業(yè)轉(zhuǎn)型升級(jí)摸索出了一條道路。大數(shù)據(jù)作為企業(yè)的重要資產(chǎn)，借助于云計(jì)算等新技術(shù)，可以實(shí)現(xiàn)企業(yè)的智能改造和升級(jí)，完成提升生產(chǎn)效率和產(chǎn)品品質(zhì)的最后一公里。

協(xié)鑫與阿里云合作的模式可以直接復(fù)制，利用制造業(yè)企業(yè)的生產(chǎn)經(jīng)驗(yàn)，和云計(jì)算、大數(shù)據(jù)分析提供的穩(wěn)定高效的大數(shù)據(jù)存儲(chǔ)、分析能力，打造企業(yè)級(jí)數(shù)據(jù)分析平臺(tái)。

上海鷗新

客戶簡(jiǎn)介

上海鷗新軟件有限公司專注于室內(nèi)定位技術(shù)和客流統(tǒng)計(jì)與分析的研發(fā)，如室內(nèi)定位引擎、客流統(tǒng)計(jì)與分析系統(tǒng)。在用戶導(dǎo)入客流系統(tǒng)的同時(shí)，為商業(yè)零售實(shí)體店提供了覆蓋微信上網(wǎng)、定時(shí)定地點(diǎn)向客戶推快遞精準(zhǔn)化商業(yè)信息等一體化解決方案。

業(yè)務(wù)需求

實(shí)時(shí)熱力圖，通過實(shí)時(shí)客流分析系統(tǒng)，制作每個(gè)樓層的實(shí)時(shí)熱力圖，不同顏色代表客流人數(shù)的密集程度。

實(shí)時(shí)客流統(tǒng)計(jì)圖，實(shí)時(shí)客流分析產(chǎn)品主要服務(wù)于商場(chǎng)運(yùn)營(yíng)方，提供的功能包括商場(chǎng)熱力圖、店鋪熱力圖、客流數(shù)、新老客占比、停留時(shí)間和客流時(shí)間分布等，為運(yùn)營(yíng)決策提供數(shù)據(jù)支持。

精準(zhǔn)推快遞，WiFi采集到的地址跟現(xiàn)有數(shù)據(jù)庫進(jìn)行碰撞，對(duì)碰撞出的用戶建立用戶畫像，根據(jù)來店情況可進(jìn)行更為精準(zhǔn)的推快遞。

位置定向廣告，與商場(chǎng)線下廣告屏幕打通，設(shè)定地理圍欄與規(guī)則，命中規(guī)則后個(gè)性化推薦相關(guān)廣告。

系統(tǒng)架構(gòu)

整個(gè)系統(tǒng)的數(shù)據(jù)源都是WiFi，WiFi設(shè)備的布點(diǎn)是系統(tǒng)成功的關(guān)鍵。在WiFi鋪設(shè)的過程中會(huì)預(yù)先記錄好設(shè)備的位置（所屬樓層、平面坐標(biāo)、所屬店鋪等），且根據(jù)業(yè)務(wù)情況來確認(rèn)WiFi之間是否重疊：如果要精確，需要多點(diǎn)定位，否則盡量確保WiFi的范圍不重疊，防止數(shù)據(jù)互相污染。

數(shù)據(jù)流程

使用WiFi采集設(shè)備信息。

把采集的數(shù)據(jù)經(jīng)過SLB發(fā)國(guó)際快遞接收服務(wù)器。

接受服務(wù)器把數(shù)據(jù)發(fā)國(guó)際快遞消息隊(duì)列（DataHub）。

實(shí)時(shí)計(jì)算Flink版訂閱DataHub數(shù)據(jù)。

把設(shè)備采集到的用戶信息跟設(shè)備的地理位置信息進(jìn)行關(guān)聯(lián)。

完成處理，然后把結(jié)果寫出供下游使用。

實(shí)時(shí)計(jì)算Flink版的處理邏輯：

數(shù)據(jù)清洗、去重。

維表關(guān)聯(lián)，用戶Mac地址與設(shè)備地理信息關(guān)聯(lián)，實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)關(guān)聯(lián)。

手機(jī)品牌識(shí)別、位置識(shí)別、新客識(shí)別。

計(jì)算停留時(shí)間、生成軌跡。

說明：數(shù)據(jù)收集與清洗部分是整個(gè)系統(tǒng)的基礎(chǔ)，在這些數(shù)據(jù)的基礎(chǔ)上可再進(jìn)行精準(zhǔn)推快遞和位置廣告等服務(wù)。

業(yè)務(wù)總結(jié)

鷗新商場(chǎng)實(shí)時(shí)客流分析平臺(tái)涉及多臺(tái)線下設(shè)備（2000臺(tái)設(shè)備），實(shí)時(shí)計(jì)算Flink版每秒處理輸入30K條數(shù)據(jù)，每秒輸出20K條處理后的數(shù)據(jù)，整體延遲為秒級(jí)，整體收益包括：

節(jié)省運(yùn)維成本：免運(yùn)維，阿里云提供高保障；

對(duì)接上下游：直接注冊(cè)，免開發(fā)；

降低開發(fā)成本：SQL開發(fā)，效率高，門檻低，原來單作業(yè)Java開發(fā)3天的工作量降低到1天內(nèi)，且BUG少，整個(gè)系統(tǒng)重構(gòu)只需一周。

這套系統(tǒng)打通了線下與線上，為商場(chǎng)的運(yùn)營(yíng)方提供了不同維度的數(shù)據(jù)支持，提高了運(yùn)營(yíng)活動(dòng)的效果；為在顧客打造更好的購(gòu)物體驗(yàn)的同時(shí)也提升了商場(chǎng)的整體營(yíng)收。商場(chǎng)實(shí)時(shí)客流分析系統(tǒng)是IoT技術(shù)與大數(shù)據(jù)實(shí)時(shí)處理技術(shù)結(jié)合起來的典型案例。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。