一种新的数据无损压缩编码方法
第36卷第4期电子与信息学报 Vol.36 No.4 2014年4月Journal of Electronics & Information Technology Apr. 2014
一种新的数据无损压缩编码方法
蔡明乔文孝*鞠晓东车小花卢俊强贾安学
(中国石油大学油气资源与探测国家重点实验室北京102249)
(北京市地球探测与信息技术重点实验室北京102249)
摘要：为了降低数据存储和传输的成本，对数据进行压缩处理是一种有效的手段。该文针对具有较小均方值特征的整型数据序列提出了一种新的可用于数据无损压缩的位重组标记编码方法。该方法首先对整型数据序列进行位重组处理，以提高部分数据出现的概率；然后根据数据流中局部数据的概率分布特点自适应地选择合适的编码方式对数据流进行编码。运用实际具有较小均方值特征的整型数据序列对该文方法和其它几种无损压缩方法进行了压缩解压测试，并对比分析了各种压缩算法的压缩效果。测试结果表明，新方法可以实现数据的无损压缩与解压，且其压缩效果优于LZW编码，经典的算术编码，通用的WinRAR软件和专业音频数据压缩软件FLAC的压缩效果，具有良好的应用前景。
关键词：数据传输；编码；无损压缩；整型数据；位重组；标记
中图分类号：TN919.6+4 文献标识码：A 文章编号：1009-5896(2014)04-1008-05 DOI:10.3724/SP.J.1146.2013.00863
A New Coding Method for Lossless Data Compression
Cai Ming Qiao Wen-xiao Ju Xiao-dong Che Xiao-hua Lu Jun-qiang Jia An-xue (State Key Laboratory of Petroleum Resources and Prospecting, China University of Petroleum, Beijing 102249, China) (Earth Explorer and Information Technology Laboratory, Beijing 102249, China) Abstract: Data compression is an effective measure to save the costs of data transmission and storage. A new and effective bit-recombination mark coding method that can be used to lossless data compression is proposed for the integer data sequence which has a small mean squared value. In the new method, the bit-recombination process is firstly applied to the integer data sequence to increase the occurrence probabilities of some data; then, the correct coding format is adaptively selected to encode the data stream according to the occurrence probability distribution characteristics of local data. Integer data sequences that have small mean squared values are applied to test the proposed method with several other lossless compression methods, and the compression effects are compared and analyzed. Test results show that, the integer data sequences can be compressed and decompressed losslessly by the proposed method. Moreover, the compression effect of the proposed method is superior to that of the classical arithmetic coding method, the LZW method, the universal WinRAR software, and the professional audio data compression software FLAC. The experimental results demonstrate the proposed method has a good application prospect.
Key words: Data transmission; Coding; Lossless compression; Integer; Bit-recombination; Mark
1 引言
数据压缩是一种消除原始数据之间的冗余性，并通过特殊的编码方式将原始数据文件转化为另一个占用存储空间更小的数据文件的技术[15] 。数据
2013-06-19收到，2013-10-25改回
国家自然科学基金(11204380, 11374371, 11134011, 61102102)，国家油气重大科技专项(2011ZX05020-009)，中国石油天然气集团公司项目(2011A-3903,2011B-4001)和中国石油科技创新基金(2013D- 5006-0304)资助课题
*通信作者：乔文孝 qiaowx@https://www.wendangku.net/doc/123036677.html, 压缩技术在过去20年里得到了快速的发展[5,6]。目前，它已广泛应用于数字通信、数字存储、计算机、数字出版及智能控制等众多领域[612]
。编码是所有数据压缩方法的关键组成部分，且不同的编码方法对不同类型的数据序列有效[2]。如果采用一种专门为图像或音频数据设计的压缩程序(或编码方式)对文本文件进行压缩，则压缩后的文件大小可能大于甚至远大于原始数据文件。因此，针对不同类型的数据文件，选择或设计合适的编码方式是压缩成功的关键。