前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇大數據技術范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
關鍵詞:大數據 數據挖掘 營銷
中圖分類號:F49 文獻標識碼:A 文章編號:1007-9416(2015)030-0209-01
近幾年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,并命名與之相關的技術發展與創新。2012 年3 月,奧巴馬公布了美國《大數據研究和發展計劃》,標志著大數據已經成為國家戰略,上升為國家意志。從硅谷到北京,大數據的話題傳播迅速。
1 大數據時代
隨著計算機技術全面融入社會生活,經過半個多世紀的發展,信息爆炸已經積累到了一個開始引發變革的程度。它不僅使世界充斥著比以往更多的信息,而且其增長速度也在加快。最先經歷信息爆炸的學科,如天文學和基因學,創造出了“大數據”這個概念。
1.1 大數據時代產生的背景
最早提出“大數據”時代到來的是全球知名咨詢公司麥肯錫,麥肯錫稱:“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。”大規模生產、分享和應用海量數據的時代之所以能夠開啟,源于信息科技的進步、互聯網與云計算技術和物聯網的發展。
(1)信息科技的進步。信息處理、信息存儲和信息傳遞是信息科技的三個主要支撐,存儲設備性價比不斷提升、網絡帶寬的持續增加,為大數據的存儲和傳播提供了物質基礎。
(2)互聯網與云計算技術。互聯網時代,電子商務、社交網絡和移動通信產生了大量結構化和非結構化的數據,以云計算為基礎的信息存儲、分享和挖掘手段,可以便宜、有效地將這些大量、高速、多變化的終端數據存儲下來,并隨時進行分析與計算。互聯網領域的公司最早重視數據資產的價值,他們從大數據中淘金,并且引領著大數據的發展趨勢。
(3)物聯網的發展。眾所周知,物聯網時代所創造的數據不是互聯網時代所能比擬的,而且物聯網的數據是異構的、多樣性的、非結構和有噪聲的,最顯著的特點是是它的高增長率。大數據是物聯網中的關鍵技術,物聯網對大數據技術的要求更高,它的發展離不開大數據。
1.2 大數據與數據挖掘
Google、Amazon、Facebook、Twitter,這些稱霸全球互聯網的企業,它們的成功都具備一個共同的因素,就是收集分析海量的各種類型的數據,并能夠快速獲取影響未來的信息的能力。“購買了此商品的顧客還購買了這些商品”,這恐怕是世界上最廣為人知的一種商品推薦系統了,而創造出這個系統的正是Amazon。Amazon 通過分析商品的購買記錄、瀏覽歷史記錄等龐大的用戶行為歷史數據,并與行為模式相似的其他用戶的歷史數據進行對照,提供出最適合的商品推薦信息。Facebook 可以為用戶提供類似“也許你還認識這些人”的提示,這種提示可以準確到令人恐怖的程度,而這正是對龐大的數據進行分析而得到的結果。這種以數據分析為核心的技術就是數據挖掘(data mining)。
從技術角度看,數據挖掘是從大量的、復雜的、不規則的、隨機的、模糊的數據中獲取隱含的、人們事先沒有發覺的、有潛在價值的信息和知識的過程。從商業角度來說,數據挖掘是從龐大的數據庫中抽取、轉換、分析一些潛在規律和價值,從中獲取輔助商業決策的關鍵信息和有用知識。大數據概念的提出,將為數據挖掘技術的發展和應用帶來一個很大的機遇。
2 數據挖掘
數據挖掘旨在從大數據中提取隱藏的預測性信息,用便于理解和觀察的方式反映給用戶,作為決策的依據。
2.1 數據挖掘原理
數據挖掘又稱為數據庫中的知識發現(Knowledge Diseoveryin Databases,KDD),是一個從數據庫或數據倉庫中發現并抽取隱含的、明顯未知的、具有潛在用處的信息的過程。數據挖掘一般流程主要包括三個階段:數據準備、數據挖掘、結果解釋和評價。在數據挖掘的處理過程中,數據挖掘分析方法是最為關鍵的。
(1)數據準備。數據準備是從海量數據源得到數據挖掘所用的數據,將數據集成到一起的過程。由于數據收集階段得到的數據可能有一定的污染,即數據可能存在不一致,或有缺失數據、臟數據的存在,因此需通過數據整理,對數據進行清洗及預處理。
(2)數據挖掘。是數據挖掘中最關鍵的一步,使用智能的方法提取數據模式,例如決策樹、分類和聚類、關聯規則和神經網絡等。首先決定要提取什么樣的模型,然后選取相應的算法參數,分析數據從而得到可能形成知識的模式模型。
(3)結果解釋和評價。數據挖掘后的結果需要轉換成用戶能夠理解的規則或模式,并根據其是否對決策問題具有實際意義進行評價。
2.2 數據挖掘技術在營銷中的應用
無差別的大眾媒體營銷已經無法滿足零和的市場環境下的競爭要求。精準營銷是企業現在及未來的發展方向,在精準營銷領域,最常用的數據挖掘分析方法包括分類、聚類和關聯三類。
(1)關聯規則。挖掘關聯規則就是發現存在于大量數據集中的關聯性或相關性,例如空間關聯挖掘出啤酒與尿布效應;時間關聯挖掘出孕嬰用品與家居裝修關系;時間關聯挖掘出調味品、紙巾與化妝品的消費等。
此外,關聯規則發現也可用于序列模式發現。序列模式發現的側重點在于分析數據項集在時間上或序列上的前后(因果)規律,可以看作是一種特定的關聯規則。例如顧客在購買了打印機后在一段時間內是否會購買墨盒。
(2)分類分析。分類是假定數據庫中的每個對象屬于一個預先給定的類,從而將數據庫中的數據分配到給定的類中。它屬于預測性模型,例如在銀行業,事先定義用戶的信用狀況分為兩類:信用好和信用壞,對于一個信用狀態未知的用戶,如果需要確定其信用度,可以采用“決策樹”法構建一個分類模型,決策樹方法著眼于從一組無次序、無規則的客戶數據庫中推理出決策樹表現形式的分類規則。決策樹的非葉子節點均是客戶的一些基本特征,葉子節點是客戶分類標識,由根節點至上而下,到每個葉子節點,就生成了一條規則,由該決策樹可以得到很多規則,構成了一個規則集合,從而進行數據分析。
(3)聚類分析。聚類是將物理或抽象對象的集合進行分組,然后組成為由類似或相似的對象組成的多個分類的分析過程,其目的就是通過相似的方法來收集數據分類。為品牌找客戶,回答品牌“誰來賣”是精準營銷首先要解決的問題,科學細分客戶是解決這一問題的有效手段。聚類可以將目標客戶分成多個類,同一個類中的客戶有很大的相似性,表現在購買行為的高度一致,不同類間的客戶有很大的相異性,表現在購買行為的截然不同。
3 結語
大數據時代背景下“數據成為資產”,數據挖掘技術作為支撐精準營銷的重要手段,將它應用于營銷行業的決策中,不僅拓展了數據挖掘技術的應用范圍,而且大數據時代的數據挖掘技術可以幫助企業獲得突破性回報。
參考文獻
[1]維克托?邁爾―舍恩伯格;肯尼思?庫克耶.大數據時代:生活、工作與思維的大變革[M].周濤譯.杭州:浙江人民出版社,2013.
[2]王偉玲.大數據產業的戰略價值研究與思考.技術經濟與管理研究[J],2015(1).
[3]俞立平.大數據與大數據經濟學[J].中國軟科學,2013(7):177-183.
現狀
“檢察大數據”的概念厘定
“大數據”的生產與運用是一個“人人為我,我為人人”的互通、共享、多贏過程。檢察機關在整合應用其他政府機構、企事業單位、社會組織提供的信息數據服務司法辦案的同時,也在辦案中生產“大數據”。這些數據既可作為檢察機關校準后續辦案的內部參照系,同時部分數據亦可對外輸出服務社會。前者如在刑事檢察中整合同類案件形成案例數據庫,用以提升公訴量刑精準度,后者以當前檢察機關向社會公眾提供的行賄犯罪檔案查詢服務最為典型。顯然作為數據運用者,檢察機關“大數據”包括檢察工作所涉及的一切有用信息數據。其中,相當一部分數據并非檢察機關在司法辦案中產出的“原生”數據。如職務犯罪偵查辦案中反貪部門調用房產、銀行、公安行政機關的信息數據庫進行初查;相關業務部門在審查、出庭公訴、訴訟監督、參與社會治理等方面運用信息化、數字化新技術等。
“檢察大數據”與上述檢察機關運用的“大數據”有本質區別。“檢察大數據”專指檢察機關司法辦案大數據,是檢察機關在司法辦案中的“原生”案件信息數據,其最核心的特征是相關數據是關于檢察業務辦案的信息數據。目前,在檢察司法辦案大數據的擷取、管理、應用方面,最高人民檢察院推進的“統一業務應用系統”是國家層面“檢察大數據”生成的最重要平臺;同時各地檢察機關亦多有創新,如北京市人民檢察院開發應用的“檢立方”系統、上海市閔行區人民檢察院試運行的“檢察官執法辦案全程監控考核系統”、浦東新區人民檢察院試運行的“綜合管理信息平臺一期”、湖北省人民檢察院研發的“互聯網檢務辦公室”,南京市鼓樓區人民檢察院研發的辦公辦案軟件“移動檢務通”等。上述系統平臺通過案件管理部門案件受理信息輸入及辦案人員在辦案過程中的流程信息輸入,生成、存儲、管理與檢察機關司法辦案相關的各項信息數據,并通過對大數據不同子系統數據的深度分析,進而服務領導決策與司法辦案。
當前檢察工作中的大數據運用
無論是檢察機關的“原生”大數據,還是第三方生成的關聯大數據,在當前的檢察辦案與司法管理工作中都有著極為廣闊的應用前景。作為檢察機關大數據的核心內容,“原生”大數據即“檢察大數據”,在輔助檢察辦案、服務司法管理中發揮著極為重要的作用。
在“檢察大數據”輔助檢察辦案方面,目前較為典型的如貴州省人民檢察機關的“大數據司法辦案輔助系統”。司法辦案輔助系統運用“實體識別”“數學建模”等大數據技術,通過繪制“犯罪構成知識”圖譜,建立各罪名案件數學模型的司法辦案輔助系統,為辦案提供案件信息智能采集、“要素―證據”智能關聯和風險預警、證據材料甄別,以及類案推送、量刑建議計算等智能化服務。目前,貴州省人民檢察機關的大數據司法辦案輔助系統已進行了三次迭代升級,正在貴州全省4個市(州)院和31個基層院試點運行。
在“檢察大數據”服務司法管理方面,上海市閔行區人民檢察院的檢察官執法辦案全程監控考核系統非常具有代表性。該院通過對各職能部門受理、立案(項)、辦理的案件以及不依附于自偵、批捕、等主要辦案業務的,有完整流程、審查結論及相關法律文書的訴訟監督、社會治理、維護穩定、預防犯罪等檢察業務進行梳理,對檢察建議、糾正違法等共性的檢察業務指標進行歸并,形成了較為規范的檢察機關司法辦案大數據目錄和工作指標w系。通過對檢察官在執法辦案中產生的“原生”大數據的深度挖掘和研判分析,將案件統計、質量監控、專題研判、績效分析有機融為一體,進而使辦案監督管理者能夠及時準確找出檢察官在辦案中存在的司法不規范問題,有效強化對司法辦案的績效考評與內部監控。
除了重視對“原生”大數據的收集整理與挖掘應用,如何發揮好“他山之石”的作用,在檢察辦案中運用好第三方關聯大數據,也是大數據技術與檢察辦案深度融合的重要內容。除了上述在職務犯罪案件偵查中對房產、銀行、公安行政機關等提供的關聯數據的常規運用外,當前一些地方檢察機關正在進行創新運用第三方大數據方面的積極探索。如江蘇省無錫市錫山區人民檢察院對接社會治理公共服務管理平臺和民情APP,推出檢察民情APP的創新做法。自對接平臺以來,錫山區人民檢察院已查閱近6000條民情信息,從海量數據中了解掌握群眾訴求,立足檢察職能,從中發現老百姓對征地拆遷、環境保護、社會保障等方面的民生需求,聚焦群眾關注的熱點民生問題深入挖掘職務犯罪案件線索、訴訟監督線索、執行監督線索及公益訴訟線索,使第三方大數據真正成為輔助檢察辦案,拓展監督案源的新渠道。
短板
檢察大數據系統的提升點
目前,檢察大數據系統在建設與應用方面存在的主要問題:
關鍵詞:大數據;智能交通;數據技術
隨著國民經濟的不斷發展,人們生活水平的不斷提高,居民購買汽車能力加強。我國的汽車保有量隨之增加,在一些大城市機動車擁有量以超過10%的速度加速,機動車成為每個家庭代步的交通工具,在有限的交通資源配置下,機動車的增加縮短了道路使用周期,城市主干道路超負荷使用,違法停車致使道路不能合理使用、行車不文明、乘車環境不良等現象有增無減。大數據時代,如何改善當前的交通狀況是本文闡述的核心內容。文章從以下幾個方面來闡述:大數據的現狀、大數據的概述、大數據的應用、智能交通的需求、智能交通體系的建立、數據技術。
1 大數據的現狀
據權威數據顯示,大數據應用在我國還處在起步階段。但在未來三年,通信、金融領域將在大數據市場突破100億元。市場規模在2012年有望達到4.7億元,到2013年增至11.2億元,增長率高達138%,2014年,保持了與2013年基本持平的增速,增長率為114.38%,市場規模達到24.1億元,未來三年內有望突破150億元,2016年有望達到180億規模。自從2014年以來,各界對大數據的誕生都備加關注,已滲透到各個領域:交通行業、醫療行業、生物技術、零售行業、電商、農牧業、個人位置服務等行業,由此也正在不斷涌現大數據的新產品、新技術、新服務。
大數據行業“十三五”規劃主要目標:在2020年,將大數據打造成為國民經濟新興支柱產業并在社會各領域廣泛應用,推動我國大數據產業穩步快速發展,基本健全大數據產業體系,推動制定一批相關大數據的國標、行標和地方標準,引進具備大數據條件的企業,建設大數據產業孵化基地,提高全國信息化總體水平,以躋身世界先進水平。
2 大數據的概述
2.1 大數據定義
大數據即巨量數據集合,目前還沒有一個統一的定義。大數據的概念最早是由全球著名的管理咨詢公司麥肯錫提出,2011年Mckinsey研究稱,大數據通常是指信息爆炸時代產生的海量數據,在各個行業和業務領域,數據已經滲透到行業中并逐漸成為重要的要素,人們能夠從海量數據中挖掘出有用的數據并加以應用。對大數據定義的另一說法是利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。
隨著信息時代的高速發展,大數據已經成為社會生產力發展的又一推動力。大數據被稱為是繼云計算、物聯網之后信息時代的又一大顛覆性的技術革命。大數據的數據量巨大,一般10TB規模左右,但在實際應用中,多個數據集放在一起,已經形成了PB級的數據量,甚至EB、ZB、TB的數據量。
2.2 大數據的特點
2.2.1 數據量巨大
數據量級別從TB級別躍升到PB級別。隨著可穿戴設備、物聯網和云計算、云存儲等技術的發展,用戶的每一個動作都可以被記錄,由此每天產生大量的數據信息。據有關人士估算:1986~2007年,全球數據的存儲能力每年提高23%,雙向通信能力每年提高28%,通用計算能力每年提高58%;2007年,人類大約存儲了超過300EB
的數據;到2013年,世界上存儲的數據能達到約1.2ZB。
2.2.2 數據類型多樣化
即數據類型繁多,產生了海量的新數據集,新數據集可以是關系數據庫和數據倉庫數據這樣的結構化數據到半結構化數據和無結構數據,從靜態的數據庫到動態的數據流,從簡單的數據對象到時間數據、生物序列數據、傳感器數據、空間數據、超文本數據、多媒體數據、軟件程序代碼、Web數據和社會網絡數據[1]。各種數據集不僅產生于組織內部運作的各個環節,也來自于組織外部。
2.2.3 數據的時效性高
所謂的數據時效性高指以實時數據處理、實時結果導向為特征的解決方案,數據的傳輸速度、響應、反應的速度不斷加快。數據時效性為了去偽存真,采用非結構化數據剔除數據中無用的信息,而當前未有真正的解決方法,只能是人工承擔其中的智能部分。有些專員負責數據分析問題并提出分析后的解決方案。
2.2.4 數據真實性低
即數據的質量。數據的高質量是大數據時代重要的關注點。但在生活中,“臟數據”無處不在,例如,一些低劣的偽冒產品被推上市場,由于營銷手段的成功,加之其他因素的影響導致評分很高。但是這并不是真實的數據,如果對數據不加分析和鑒別而直接使用,即使計算的結果精度高,結果都是無意義的,因為數據本身就存在問題出現。
2.2.5 價值密度低
指隨著物聯網的廣泛應用,信息巨大,信息感知存在于客觀事物中,有很多不相關的信息。由于數據采集的不及時,數據樣本不全面,數據可能不連續等等,數據可能會失真,但當數據量達到一定規模,可以通過更多的數據達到更真實全面的反饋。
2.3 大數據的應用
2.3.1 醫療大數據
利用大數據平臺收集患者原先就醫的病例和治療方案,根據患者的體征,建立疾病數據庫并對患者的病例分類數據庫。一旦患者在哪個醫院就醫,憑著醫保卡或就診卡,醫生就可以從疾病數據庫中參考病人的疾病特征、所做的檢查報告結果快速幫助患者確診。同時擁有的數據也有利于醫藥行業開發出更符合治療疾病的醫療器械和藥物的研發。
2.3.2 傳統農牧業大數據
因為傳統農牧業主要依賴于天氣、土壤、空氣質量等客觀因素,因此利用大數據可以收集客觀因素的數據以及作物成熟度,甚至是設備和勞動力的成本及可用性方面的實時數據,能夠幫助農民選擇正確的播種時間、施肥和收割作物的決策。當農民遇到技術市場問題可以請教專業人員,專業人員根據實時數據做出科學的指導,制定合理的優化決策,降低農民的損失成本,提高產品的產量,從而為轉向規模化經營打下良好基礎。
2.3.3 輿情大數據
利用大數據技術收集民眾訴求的數據,降低社會,有利管理犯罪行為。通過大數據收集在微博的尋找走失的親人或提供可能被拐賣人口的信息,來幫助別人。
3 智能交通的需求
隨著城市一體化的快速發展,新時代農民工涌入大城市,促使城市人口的增大不斷給城市交通帶來問題。究其原因主要有:一是機動車的迅猛發展導致城市主次干道的流量趨于飽和,大量機動車的通行和停放占據主干道路。二是城市交通的道路基礎設施供給不平衡導致路網承擔能力差。三是停車泊位數量不足導致機動車使用者不得不過多依賴道路停車。四是公共設施的公交車分擔率不高導致交通運輸效率降低。五是城市的土地開發利用與道路交通發展不均衡。六是行人和機動車主素質不文明導致道路通行效率降低。為此,智能交通的出現是改善當前城市交通的必要需求,能夠在一定程度上有效的解決城市交通問題。
大數據是如何在智能交通的應用呢?可以從兩個方面說明:一是對交通運行數據的收集。由于每天道路的通行機動車較多,能夠產生較大的數據,數據的采集并發數高,利用大數據使機動車主更好的了解公路上的通行密度,有效合理對道路進行規劃,可規定個別道路為單行線。其二是可以利用大數據來實現主干道根據道路的運行狀況即時調度信號燈,提高已有線路運行能力,可以保障交通參與者的生命和提高有關部門的工作效率,降低成本。對于機動車主可以根據大數據隨時的了解當前的交通狀況和停車位數量。如果交通擁堵,車主則可選擇另一路線,節約了車主的大量時間。
4 智能交通體系的建立
4.1 智能交通建立的框架
主要包括感知數據層、軟件應用平臺及分析預測和優化管理的應用。物理感知層主要是采集交通的運行狀況和對交通數據的及時感知;軟件應用平臺主要整合每個感知終端的信息、將信息進行轉換和處理,達到支撐分析并做出及時的預警措施。比如:對主要交通干進行規劃,對頻發交通事故進行監控。同時還應進行應用系統建設的優化管理。比如:對機動車進行智能誘導、智能停車。
智能交通系統需要在各道路主干道上安裝高清攝像頭,采用先進的視頻監控、智能識別和信息技術手段,來增加可管理的維度,從空間的廣度、時間的深度、范圍的精細度來管理。整個系統的組成包括信息綜合應用平臺、信號控制系統、視頻監控系統、智能卡口系統、電子警察系統、信息采集系統、信息系統。每個城市建立智能交通并進行聯網,則會產生越來越多的視頻監控數據、卡口電警數據、路況信息、管控信息、營運信息、GPS定位信息、射頻識別信息等數據,每天產生的數據量將可以達到PB級別,并且呈現指數級的增長。
4.2 智能交通數據處理體系的構成
主要包括交通的數據輸入、車輛信息、道路承載能力等的數據處理、數據存儲、數據檢索。其中交通數據輸入可以是靜態數據或者是動態數據。數據處理是針對實時數據的處理。數據主要存儲的是每天采集的巨大數據量。為了從中獲取有用的數據,則需要進行數據查詢和檢索,還要對數據進行規劃。
5 大數據技術
5.1 數據采集與預處理
數據采集與預處理主要對交通領域全業態數據的立體采集與處理來支撐交通建設、管理、運行決策。采集的數據主要是車輛的實時通行數據,以實現實時監控、事先預測、及時預警,完成道路網流量的調配、控。這些數據獲取可以采用安裝的傳感器、識別技術并完成對已接收數據的辨析、轉換、抽取、清洗等操作。
5.2 數據存儲與管理
大數據的存儲與管理是把采集到的數據存放在存儲器,并建立相應的數據庫,如關系數據庫、Not Only SQL即對關系型SQL數據系統的補充。利用數據庫采用更簡單的數據模型,并將元數據與應用數據分離,從而實現管理和調用。
5.3 數據分析與挖掘
數據分析及挖掘技術是大數據的核心技術。從海量數據中,提取隱含在其中,人們事先未知的,但又可能有用的信息和知識的過程。從復雜數據類型中挖掘,如文本、圖片、視頻、音頻。該技術主要從數據中自動地抽取模式、關聯、變化、異常和有意義的結構,可以預測模型、機器學習、建模仿真。從而實現一些高級別數據分析的需求。
5.4 數據展現與應用
數據技術能夠將每天所產生的大量數據從中挖掘出有用的數據,應用到各個領域有需要的地方以提高運行效率。
6 結束語
大數據時代,能對智能交通信息資源進行優化配置,能夠改善傳統的交通問題。對非機動車主而言,利用大數據可以更好的規劃線路,更好的了解交通狀況,在一定程度上可以對問題預先提出解決方案,起到節省大量時間、額外的開支。同時對交管部門而言,能夠在限的警力情況下合理配置人員資源和交通設備,主干道路在高峰期出現的問題能夠合理利用大數據信息配置資源,在刑事案件偵查中也能發揮更重要的作用。
全國要實現智能交通的聯網,依然有問題需要突破,這都是大數據的數據技術應用所在。
關鍵詞:電力運營 數據處理 資源整合
中圖分類號: TP311 文獻標識碼:A 文章編號1672-3791(2016)07(b)-0000-00
通過對電力系統動態性和實時性監測可以掌握大量的實時數據,它是電力系統動態運行的具體體現,但這也嚴重制約了電力系統的長期發展。現代電力運營監測員應充分利用電力運營監測平臺,提升系統數據利用率,建立以供電部門基礎數據處理,做好各項數據的銜接、處理,協同各部門協同問題,促進國家電網數據系統的高效運轉。
1大數據時代相關內容概述
1.1大數據時代整體發展形勢
從我國互聯網技術的快速發展,各行業企業在大數據時代中均積累了大量的經營數據,它決定了企業的長期健康發展。為了更好的完成我國電力企業在大數據時代下的發展任務,本文筆者主要從以下四方面進行了大數據時展形勢加以概括,進一步實現對電力企業數據共享,實現多種資源的優化整合:
一,促進電力各部門數據的優化整合與共享,提升企業各種資源的整體利用率;二,加快電力數據資源開放力度,擴大資源利用面;三,進行大數據基礎設施的統籌規劃,提升數據資源利用的合理性;四,構建科學的宏觀調控數據體系,進一步實現電力運營監控的宏觀調控。
1.2充分發揮大數據平臺業務優勢,進行管理短板定位
綜合考量電力運營業務流程績效指標,對業務流程整體執行效率進行綜合評價;進行執行效率較低業務流程環節的準確定位,全面分析業務流程設計的科學性與合理性,并提出綜合性流程改進建議;我們應當在整體業務流程績效指標和詳細數據的基礎上,作出有關于業務流程制度、崗位績效、職責及標準的整體改進意見和建議;提升各部門、不同業務之間的協同性,進行管理短板的準確定位。
1.3加強數據資源安全保障
數據資源的有效利用離不開數據體系的健全和完善,它是加強大數據環境網絡技術研究和安全的關鍵,只有構建大數據時代下的電力運營監測安全評估體系,才能夠使企業在大數據安全基礎上,提升電力運營監測和預警工作質量,提升電力企業服務水平。
2做好大數據時代電力運營監測系統數據處理
2.1監測數據類型
電力運營監測數據類型主要分為基礎型數據、電力企業運營數據以及電力企業管理數據幾種,基礎型數據是以電力企業生產數據為主,它包含了電壓穩定性、發電量、電能質量等,業務部門和業務系統要確保基礎數據的完整性和準確性;電力企業運營數據指的是電力企業在生產過程中所產生的數據,通過對上述數據進行分析、處理,它能夠為公司整體運營決策指明方向。電力企業管理數據僅限于特定環境下的共享和使用,它主要指協同辦公、ERP及一體化平臺等方面數據,做好該方面數據分析、處理有利于推進各部門工作的開展。
2.2監測移動數據處理
針對運營監測信息支撐系統來講,異動產生、處理、統計是異動管理的主要內容,異動類型又可分為數據質量異動、接口異動和數據質量異動三種,業務異動就是通過業務數據分析出生產運營情況,業務異動又可詳細劃分為指標異動、流程異動和明細數據異動;而數據質量異動就是要分析出接入數據的準確性、完整性和及時性,并作出相關異動數據信息分析、處理。接口異動就是因接口問題產生的異動情況。
3.大數據時代下電力運營監控數據應用
3.1電力生產環節中大數據的具體應用
由于電力系統管理項目眾多,想要單純依靠人力來完成數據的分析和整體難度極大,只有充分利用現代化信息技術手段和多種業務模型才能夠不斷提升輸電線路可靠性和在線計算輸送功率,更好的完成電力生產相關技術指標,促進電壓質量管理工作的發展。常態化低電壓監測有利于實現用戶和低電壓電臺之間的協同合作,實現對低電壓運行情況的跟蹤治理。因此,電力系統相關部門應在大數據環境下,按期做好停復電監測和電壓質量分析報告。
3.2大數據在電力系統營銷中的具體應用
遠程視頻技術應用能夠幫助電力運營工作人員進行相關業務的巡查,是運營監測中心針對高壓電力作業實施的重要舉措。通過遠程視頻技術的幫助能夠極大的縮短營業窗口情況的巡視,進一步提升電力營業窗口整體服務質量,降低用戶投訴率,提升電力用戶的滿意度。積極開展工業電量預測,更好的滿足用電需求管理,促進用電系統稽查監控業務,更好的挖掘線損治理工作成效挖掘及典型案例提煉。
3.3大數據在電力檢修中的具體應用
電力系統運營中心通過大數據運營監控平臺的利用,充分實現了對電網設備運維、資產壽命周期以及資金收支等情況,并將其上報于上級在線監測分析系統中,保證電網系統的正常穩定運行,進一步完成電網設備運維績效分析。我們應當綜合利用大數據時代數據挖掘手段,做好電網生產運營過程中的操作票、工作票及缺陷記錄等相關明細的分析和靜態數據流程匹配工作,做好配電網絡設備的日常巡視、檢修處理等工作,促進各部門之間的協同,提升電網運維管理工作發展,盡早發現電網運營過程中存在的不足,全面掌握巡視、檢修、缺陷發現等流程績效分析,做好各環節定量診斷調度和檢修,進一步實現電網系統的縱向貫通和橫向協同,不斷提升我國電網運維管理水平。據相關數據統計,我國大數據時代下電力運營監控線路消缺原因、消缺時長如下圖1所示:
4結束語
經上述分析,我們可以了解到數據信息維護、處理對于電力自動化系統運用意義重大,只有充分利用大數據時代所帶來的數據分析、處理、應用方面的優勢,做好不同數據類型的準備工作,進行電力自動化系統數據準確性、快速性整合,采用科學合理的策略指導,促進大數據時代電力系統數據的長期可持續發展。
參考文獻
[1]崔希廣;高速公路電力自動化系統信息平臺的研究與應用[J];科協論壇(下半月);2012年10期
關鍵詞:大數據;云計算;智能電網;數據集成;數據分析;數據處理;數據展現
一、智能電網、云計算和大數據的關系
(一)智能電網與大數據的關系
智能電網的理念是通過獲取用戶如何用電、怎樣用電的信息,來優化電的生產、分配及消耗,利用現代網絡、通信和信息技術進行信息海量交互,來實現電網設備間信息交換,并自動完成信息采集、測量、控制、保護、計量和監測等基本功能,可根據需要支持電網實時自動化控制、智能調節、在線分析決策和協同互動等高級功能。可以抽象的認為,智能電網就是大數據這個概念在電力行業中的應用。
(二)大數據與云計算的關系
云計算是一種利用互聯網實現隨時、隨地、按需、便捷地訪問共享資源池(如計算設施、應用程序、存儲設備等)的計算模式。大數據根植于云計算,云計算的數據存儲、管理與分析方面的技術是大數據技術的基礎,云計算使大數據應用成為可能,但是沒有大數據的信息沉淀,云計算的功能將得不到完全發揮,所以大數據與云計算是相輔相成的。
(三)智能電網、云計算、大數據的相互關系
云計算能夠整合智能電網系統內部計算處理和存儲資源,提高電網處理和交互能力,成為電網強有力的技術組成;大數據技術立足于業務服務需求,根植于云計算,以云計算技術為基礎;所以三者是彼此交互的關系。
二、電力大數據關鍵技術
(一)電力大數據的集成管理技術
電力企業集成管理技術是為解決電力企業內部各系統間的數據冗余和信息孤島而產生的。電力大數據的數據集成管理技術,包含關系型和非關系型數據庫技術、數據融合和集成技術、數據抽取技術、過濾技術和數據清洗等。大數據的一個重要特點就是多樣性,這就意味著數據來源極其廣泛,數據類型極為繁雜,這種復雜的數據環境給大數據的處理帶來極大的挑戰,要想處理大數據,首先必須對數據源的數據進行抽取和集成,從中提取出實體和關系,經過關聯和聚合之后采用統一的結構來存儲這些數據,在數據集成和提取時需要對數據進行清洗,保證數據質量及可靠性。大數據存儲管理中一個重要的技術是NoSQL數據庫技術,它采用分布式數據存儲方式,去掉了關系型數據庫的關系型特性,數據存儲被簡化且更加靈活,具有良好的可擴展性,解決了海量數據的存儲難題。
(二)電力大數據的數據分析技術
大數據技術的根本驅動力是將信號轉化為數據,將數據分析為信息,將信息提煉為知識,以知識促成決策和行動。借助電力大數據的分析技術可以從電力系統的海量數據中找出潛在的模態與規律,為決策人員提供決策支持。
(三)電力大數據的數據處理技術
電力大數據的數據處理技術包括分布式計算技術,內存計算技術,流處理技術等。分布式計算技術解決大規模數據的分布式存儲與處理,適用于電力系統信息采集領域的大規模分散數據源。內存計算技術解決數據的高效讀取和處理在線的實時計算,解決大數據實時分析和知識挖掘的難題。流處理技術處理實時到達的、速度和規模不受控制的數據,應用于電力系統為決策者提供即時依據,滿足實時在線分析需求。
(四)電力大數據的數據展現技術
電力大數據的數據展現技術包括可視化技術、空間信息流展示技術、歷史流展示技術等。可視化技術廣泛應用于電網狀態的實時監控,顯著提高了電力系統的自動化水平。空間信息流展示技術主要體現在電網參數與已有地理信息系統的結合上,有利于電網管理人員直觀地了解設備情況,從而為其決策提供最新的地理信息。歷史流展示技術體現在對電網歷史數據的管理與展示上,可以繪制出數據的發展趨勢并預測出未來的數據走勢,可以模擬歷史重大事件發生、演變,挖掘歷史事件潛在的知識與規律。
三、大數據在智能電網中的應用
電力大數據的應用場合涵蓋發、輸、變、配、用、調等電力行業的各個環節,在電場選址、降低網損、光伏并網、電網安全監測、大災難預警、電力企業精細化運營、電力設備狀態監測等領域有非常強的可實現性。隨著智能電網建設的進一步推進,大數據技術在智能電網中將發揮越來越大的作用。
四、結論與展望
本文探討了大數據、云計算、智能電網三者之間的相互關系,闡述了電力大數據平臺中四個核心的關鍵技術,即集成管理技術、分析技術、處理技術、展現技術。文章最后的典型應用,對電力企業開展相關研究具有參考價值。大數據技術在商業領域已經獲得較為廣泛的應用并創造出巨大的商業價值,但是在電力系統中的應用才剛剛起步,因此結合大數據的技術優勢和電力系統的應用需求,發揮電力大數據的價值,將為智能電網的建設帶來新的發展契機。電力企業應該牢牢抓住這個契機,從數據政策、人才培養、關鍵技術研發等層面,全面促成電力大數據技術的發展。
參考文獻:
[1]孫柏林.“大數據”技術及其在電力行業中的應用[J].電氣時代,2013(8):18-23.
[2]羅軍舟,金嘉暉,宋愛波,等.云計算:體系架構與關鍵技術[J].通信學報,2011,32(7):3-21.
[3]姚宏宇.大數據與云計算[J].信息技術與標準化,2013(5):21-22.
[4]饒威,丁堅勇,路慶凱.智能電網云計算平臺構建[J].華東電力,2011,39(9):1493-1496.