国产综合久久久久-狠狠色噜噜狠狠狠狠av-国产女人乱人伦精品一区二区-亚洲a∨国产av综合av下载-爱做久久久久久

首頁 > 期刊 > 自然科學與工程技術 > 信息科技 > 計算機軟件及計算機應用 > 科研信息化技術與應用 > 一種基于層次分割和聚合的大數據流水線任務處理方法 【正文】

一種基于層次分割和聚合的大數據流水線任務處理方法

陳天樂; 蒲軍; 朱小杰; 崔文娟; 馮偉華; 王銳; 杜一; 周園春 中國科學院計算機網絡信息中心; 北京100190; 中國科學院大學; 北京100049; 中國煙草總公司鄭州煙草研究院; 河南鄭州450001
  • 大數據
  • 流水線
  • 批處理
  • 流處理

摘要:近年來,互聯網各類型的數據不斷增長,數據的應用場景也越來越廣泛。如何將各種類型數據自動整合后接入不同的場景平臺成為了各界關心的問題。業界通常采用流水線工具進行任務調度,然而大多數流水線工具都無法將任務分割為多個子任務并行執行。因此本文提出一種基于層次分割和聚合的大數據流水線任務處理方法:首先在分割模塊中將流水線中的任務分割為多個子任務,然后在合并程序中等待各子任務全部完成,合并結果,最終獲得整個任務的完成事件。實現了利用流處理框架處理有限數據集,擴展了流處理系統的使用場景,提升了流水線工具的代碼重用性。實驗表明,本文方法極大減少了數據庫I/O次數,使得本文方法處理DBLP[1]數據的速率是Apache NiFi[2]傳統處理方法的7倍多。

注:因版權方要求,不能公開全文,如需全文,請咨詢雜志社

投稿咨詢 文秘咨詢

科研信息化技術與應用

  • 預計1個月內 預計審稿周期
  • 計算機 快捷分類
  • 雙月刊 出版周期

主管單位:中國科學院;主辦單位:中國科學院計算機網絡信息中心

我們提供的服務

服務流程: 確定期刊 支付定金 完成服務 支付尾款 在線咨詢
主站蜘蛛池模板: 亚洲中文字幕久久无码| 男人的天堂在线视频| 野花社区在线观看视频| 99精品人妻少妇一区二区| 一本大道精品视频在线| 亚洲中文字幕久久无码| 欧美牲交a欧美牲交aⅴ免费| 131美女爱做视频| 黄色小说视频| 免费中文熟妇在线影片| 亚洲中文字幕无码永久在线| 国产精品高清视亚洲中文| 麻豆一区二区99久久久久| 成人久久久久久久久久久| 欧美国产一区二区三区激情无套 | 天天澡天天揉揉av无码| 亚洲欧美日韩国产成人精品影院| 无码国模国产在线观看免费| 97精品人人妻人人| 天天色影网| 国产成人精品亚洲午夜麻豆| 3d动漫精品啪啪一区二区免费 | 中文天堂在线www| 少妇人妻大乳在线视频不卡| 亚洲成色在线综合网站| 1000部拍拍拍18勿入免费视频| 波多野结衣av在线观看| 三上悠亚网站在线观看一区二区 | 又大又长粗又爽又黄少妇视频| 国产精品天天看天天狠| 中文字幕乱偷无码av先锋蜜桃| 国产亚洲综合视频在线| 久久99精品九九九久久婷婷 | 国产农村熟妇videos| 国产成人无码av在线影院| 少妇大叫好爽受不了午夜视频| 香港三级日本三级妇三级| 色偷偷噜噜噜亚洲男人| 国产又爽又黄又不遮挡视频| 欧美老妇牲交videos| 自拍偷在线精品自拍偷无码专区|