大数据处理：采集、导入/预处理、统计/分析、挖掘 大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。
大数据时代处理数据的三大转变 大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。
大数据时代人们分析信息、理解世界的三大转变是什么？ 样本=总体。大数据时代，要分析与某事物相关的更多的数据，分析甚至是处理和某个特别现象相关的所有数据，而不再依赖于分析随机采样的少量的数据样本。 接受数据的混杂性。人们乐于接受数据的纷繁复杂，而不再一味追求其精确性。
在大数据领域最后的几个攻坚战之一就是提升用户的体用体验了。以现在的趋势看来，使用自然语言处理分析现有数据是个不错的办法，例如在社交媒体上的进行情感分析，会比较容易抓取到用户的好恶，从而进行产品的改进。
DCCI 互联网数据中心在今天的 Adworld2012 互动营销大会上总结了这样几个转变，我们可以结合其发布的数据报告一起来看看。以人为中心，互联网生态结构发生转变截止 2012年6月，中国有网民 38 亿，其中手机网民达到 88 亿。
降低外放媒体音量或使用耳机：按音量下键降低外放音量能降低扬声器功耗，或使用耳机播放声音可以有效减少发热。在游戏设置中适当降低游戏特效、分辨率等：游戏的特效越高，分辨率越高，功耗越大，适当降低后可减少发热。
尽量避免充电时玩游戏，充电时手机本身会发热，如果充电同时玩游戏，手机发热量会增加。当环境温度较高时，比如在夏天室外环境，尤其是太阳直射或高温环境，手机散热较慢，热感会更加明显。建议在适宜的温度下玩游戏，比如开放空调的室内环境。检查手机设置或游戏设置，并进行适当调节。
降低外放媒体音量或使用耳机：按音量下键降低外放音量能降低扬声器功耗，或使用耳机播放声音可以有效减少发热。（3）在游戏设置中适当降低游戏特效、分辨率等：游戏的特效越高，分辨率越高，功耗越大，适当降低后可减少发热。
先用数据透视表+切片器来实现吧。如果速度还不理想，用powerquery+powerpivot来处理就行了。当数据量达到几十万上百万级别，临时筛选肯定不是最佳解决办法。
自动筛选：打开需要筛选的表格excel文件，使用鼠标点击单元格定位到含有数据的随意一单元格区域，点击菜单栏-数据-筛选-自动筛选 下拉箭头：选择自动筛选后数据栏目出现下拉箭头，点击下拉箭头出现筛选菜单。
Excel表格怎么筛选内容自动筛选：打开需要筛选的表格excel文件，使用鼠标点击单元格定位到含有数据的随意一单元格区域，点击菜单栏-数据-筛选-自动筛选。下拉箭头：选择自动筛选后数据栏目出现下拉箭头，点击下拉箭头出现筛选菜单。选中单元格在Excel中，单击鼠标左键拖动，选中需要筛选的单元格。
删除多余的行：选中需要删除的行范围，可以使用快捷键Shift + Spacebar来选择整行，然后按下Ctrl + - （减号）键或右键点击选择删除，将多余的行删除。请注意，在删除行之前，确保已经保存了需要保留的数据。
以下为源数据例：源数据 需要提取以下2个人的信息：需查询人员信息 选择“数据”选项卡下的高级筛选：数据选项卡-高级筛选 点击高级，如下图，列表区域为源数据区域，条件区域为你要查询的人员名单：输入源数据区域和条件区域 点击确定，效果如下图：高级筛选结果 有重名的话后续再核对一下。
打开需要操作的Excel表格，准备工作表，并编辑好筛选条件，如：培训费、办公耗材、出差费。选中表格，依次点击—数据—高级。选择将筛选结果复制到其他位置—验证，列表区域是否为选中区域，否则需重新选择。选择条件区域。复制到任意单元格——确定。选中原工作表——格式刷。
另外，如果你不会用spss，觉得学起来麻烦，那就用excel吧，其实excel的功能也是很强大的，处理数据很方便。我一般是先用excel对数据做一些初级的处理，比如排序啊，求和统计，平均数之类的，如果要做回归分析或者聚类分析等等，我就会用spss来做，这个用起来很方便。
①根据某些特定的标准剔除过多的数据，比如：spss，SAS，EXCEL；②对余下的数据进行处理，；③数据过多的时候，把相类似的数据看作是一个数据群，再基于这些群进行研究；④可以尝试一下SPSs里面的聚类分析之类的功能。补充：数学建模是利用数学方法解决实际问题的一种实践。
方法二：均值与众数填补 对于定量数据，如身高和年龄，可以利用整体的平均数（均值）填补缺失值。而对于定性数据，如性别或满意度调查，众数——出现次数最多的值，便是合适的替代。这种方法适用于数据量庞大且对个体精度要求不高的情况，如人口数量和经济产业数据。
TOPSIS法： 简洁的顺序选优技术，通过对比理想解，确定最优和最劣方案，进行权重加权。熵权TOPSIS： 结合熵权法与TOPSIS，强化了数据权重对决策的影响。模糊综合评价法： 通过模糊数学，处理模糊信息，适用于不易定量的评价场景，如服装款式接受度评估。