微信读书

随着计算机计算能力的日益增强和存储容量的增长，数据量呈几何级数的增长。尤其是在近年来，高维结构化数据呈现明显增长势头，如图像、视频等数据。大规模高维数据的获取和使用带来了很多新的问题：一方面数据的计算、存储、传输给计算机硬件和网络造成极大的压力，甚至可能造成“维数灾难”，为人类社会带来了负面影响和潜在危机；另一方面是不能被人的感知直接理解及发现数据集内在的规律。　　目前数据处理可以分为两大类。一方面不断发展硬件技术，缓解当前数据增长对硬件造成的压力。设计更强大的计算结构，如分布式计算、多核处理器和超级计算机等。但不断增长的数据量和数据复杂度似乎超出了计算能力的增长。另一方面利用原始数据常常包含很多冗余信息甚至是干扰信息，从数据本身出发，借助数据分析方法，对高维数据集采用某种维数约简方法进行降维处理，在降低数据复杂度的同时，保持数据的有用信息。