資料載入處理中...
圖書館首頁
|
網站地圖
|
首頁
|
本站說明
|
聯絡我們
|
相關資源
|
台聯大論文系統
|
操作說明
|
English
簡易查詢
進階查詢
論文瀏覽
熱門排行
我的研究室
上傳論文
建檔說明
常見問題
帳號:guest(18.219.86.191)
離開系統
字體大小:
詳目顯示
第 1 筆 / 共 1 筆
/1
頁
以作者查詢圖書館館藏
、
以作者查詢臺灣博碩士論文系統
、
以作者查詢全國書目
論文基本資料
摘要
外文摘要
論文目次
參考文獻
電子全文
作者(中文):
陳致宏
作者(外文):
Chen, Zhi-Hung
論文名稱(中文):
針對感測資料之即時查詢資料壓縮方法與其在GPU環境的實作
論文名稱(外文):
A Live Data Compression Method for Sensor Data and Its GPU Implementation
指導教授(中文):
李哲榮
指導教授(外文):
Lee, Che-Rung
口試委員(中文):
李哲榮
林俊淵
吳尚鴻
口試委員(外文):
Lee, Che-Rung
Lin, Chun-Yuan
Wu, Shan-Hung
學位類別:
碩士
校院名稱:
國立清華大學
系所名稱:
資訊工程學系
學號:
100062597
出版年(民國):
102
畢業學年度:
101
語文別:
英文
論文頁數:
78
中文關鍵詞:
資料壓縮
、
即時查詢
、
資料庫
外文關鍵詞:
data compression
、
GPU
、
database
相關次數:
推薦:0
點閱:345
評分:
下載:3
收藏:0
一個智慧電網系統—In-Snergy,它搜集使用者的電器用電資料並將其儲存在資料庫中。資料庫中搜集來的感測資料每天不斷增加。這些資料的儲存對伺服器造成不小的負荷。
本論文提出一個對感測資料的壓縮方法。首先我們把感測資料分割成很多區段,然後我們壓縮這些區段並將壓縮後的區段存在資料庫中。那些儲存在資料庫中的壓縮檔可以用特定的SQL查詢。
本論文提出三種方法來壓縮這些區段,分別為字典法、平移法以及漸增法。我們依據這些區段的資料特性,選擇適合的壓縮法來壓縮。
在我們的實作中,壓縮後的資料表只有原本資料表29.44%的大小,而壓縮後資料表的索引所佔體積只有原本索引的3.87%.
由於本論文提出的壓縮方法太耗時,因此我們使用CUDA來加速它。在我們使用四張GPU的實作中,各個部份的執行速度為CPU版本的22到191倍。
In-Snergy, a type of smart grid system, collects the electricity usage of the users’ appliances. The collected sensor data stored in the database increases day by day. These data becomes a huge load of the server storage.
We propose a compression method for the sensor data. First, we divide the massive sensor data into many segments. Then we compress these segments and store the compressed segments in the database. The compressed data in the database can be queried by specific SQL.
To compress the segments of the sensor data, we propose three kinds of compression methods—the dictionary method, the shift method and the incremental method. Based on the property of the segments, we choose the appropriate method to compress the segments.
In our implementation, the size of compressed table is 29.44% of the size of the original table. The size of the database index of the compressed table is 3.87% of the index size of the original table.
Because the process of compression is time-consuming, we use CUDA to accelerate the compression process. The speedup of each part of the process is 22 to 191 times in a 4-GPU environment.
Abstract
Contents
List of figures
List of tables
1. Introduction
1.1. In-Snergy
1.2. Motivation
1.3. Proposed Compression Method
1.4. GPU Implementation
1.5. Contributions
1.6. Outline
2. Background
2.1. Internet of Things
2.2. Smart Grid
2.3. In-Snergy
2.4. Oracle Database
2.4.1. Oracle Advanced Compression:
2.5. Database Schema
3. Algorithms of Compression
3.1. Overall
3.2. Properties of Metering Data
3.3. Dictionary Method
3.3.1. Learning Stage
3.3.2. Compression Stage
3.4. Shift Method
3.5. Incremental method
3.6. Compression of Residuals
3.7. Database Schema of Compression
3.7.1. Codebook table:
3.7.2. Compressed table:
3.8. Decompression
4. GPU Implementation
4.1. Single GPU Implementation
4.1.1. Dictionary Method
4.1.2. Shift Method & Incremental Method
4.2. Multi-GPU Implementation
4.2.1. Compression Stage of the Dictionary Method, the Shift Method, and the Incremental Method
4.2.2. Learning Stage of the Dictionary Method (multi-codebook)
5. Experiments
5.1. Test Data
5.2. Convergence of Codes in the Codebook
5.3. Space Savings
5.3.1. Space Savings for Different Code Length and Threshold
5.3.2. Space Savings for Meter Data
5.3.3. Space Savings for Index Size
5.3.4. Space Savings for different codebooks
5.4. Query Time
5.5. Speedup of GPU Implementation
5.5.1. Learning Stage of the Dictionary Method (multi-codebook)
6. Conclusion
6.1. Summary
6.2. Future Work
7. References
A. Appendix
A.1 Oracle Advanced Compression
[1] In-Snergy. Retrieved from Intelligent Energy Management System: http://dehp.iii.org.tw/html/home.jsp
[2] Smart grid. Retrieved from Wikipedia:
http://en.wikipedia.org/wiki/Smart_grid
[3] Institute for Information Industry(財團法人資訊工業策進會):
http://www.iii.org.tw/Default.aspx?AspxAutoDetectCookieSupport=1
[4] WinZip Retrieved from WinZip:
http://www.winzip.com/win/en/index.htm
[5] Oracle Database:
http://www.oracle.com/us/products/database/overview/index.html
[6] Databse Index. Retrieved from Wikipedia:
http://en.wikipedia.org/wiki/Database_index
[7] Internet of Things. Retrieved from Wikipedia: http://en.wikipedia.org/wiki/Internet_of_Things
[8] Advanced Compression White Paper. Retrieved from Oracle:
http://www.oracle.com/technetwork/database/performance/aco11gr2twp0112-1455545.pdf
[9] 電表資料ER-DIAGRAM&Schema. Retrieved from Institute for Information Industry.
[10] gzip Retrieved from gzip:
http://www.gzip.org/
[11] R. F. Rice and R. Plaunt, , “Adaptive Variable-Length Coding for Efficient Compression of Spacecraft Television Data,” IEEE Transactions on Communications, vol. 16(9), pp. 889–897, Dec. 1971.
[12] CUDA:
http://www.NVIDIA.com.tw/object/cuda_home_new_tw.html
[13] Cloud computing:
http://en.wikipedia.org/wiki/Cloud_computing
[14] Cloud database:
http://en.wikipedia.org/wiki/Cloud_database
[15] Google App Engine Datastore:
http://developers.google.com/appengine/docs/python/datastore/
電子全文
摘要
推文
當script無法執行時可按︰
推文
推薦
當script無法執行時可按︰
推薦
評分
當script無法執行時可按︰
評分
引用網址
當script無法執行時可按︰
引用網址
轉寄
當script無法執行時可按︰
轉寄
top
相關論文
1.
在GPU上實作平行處理Bzip2資料壓縮演算法
2.
針對確定性多核心指令集模擬之關鍵區間層級的時間同步方法
3.
在GPU上增進排序演算法的效能
4.
多GPU架構之Strassen矩陣乘法
5.
利用MapReduce實作分散式協同推薦系統
6.
以CUDA實作並分析Isomap演算法於非線性之降維問題
7.
雲端運算虛擬資源配置演算法模擬平台
8.
雲端平台之自動化效能評估工具
9.
基於聯邦雲端儲存系統的資源仲介機制
10.
以可分離濾波器增進卷積神經網路的效能
11.
QEMU/KVM 虛擬機之透通虛擬機監視器的 InfiniBand 虛擬化
12.
虛擬機器蟲洞遷移與應用
13.
以雲端平台實作瘦長QR分解及其應用
14.
硬體線程級投機效能分析
15.
分析與實作應用GPU的Graph Coloring演算法
簡易查詢
|
進階查詢
|
論文瀏覽
|
熱門排行
|
管理/審核者登入