数据计算量大用什么编程比较好

❶ 大量数据计数用什么软件，有比EXCEL表格好的吗

EXCEL可以管理100万以内的数据，20万完全没问题。
使用COUNTIF去统计数据效率很低，一般上万的数据建议使用VBA的字典编程，20万的数据完全可以秒出结果。
比EXCEL删除大数据管理的软件非常多，例如SPSS，以及SQL SERVER、ORACLE等各种数据库，还有R、PYTHON等语言自己编程统计也不错。根据自己的特长，选择合适自己的工具。

❷ c语言中怎么处理一个特别大的数据的运算

最简单的办法是将大数当作字符串进行处理，也就是将大数用10进制字符数组进行表示，

然后模拟人们手工进行“竖式计算”的过程编写其加减乘除函数。但是这样做效率很低，

因为1024位的大数其10进制数字个数就有数百个，对于任何一种运算，都需要在两个有

数百个元素的数组空间上做多重循环，还需要许多额外的空间存放计算的进位退位标志

及中间结果。其优点是算法符合人们的日常习惯，易于理解。

❸ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

❹ 大数据应该学习什么语言

一般来说来大家很多都是从java开始的，源Java编程是大数据开发的基础，大数据中很多技术都是使用Java编写的，如Hadoop、Spark、maprece等，因此，想要学好大数据，Java编程是必备技能！
Java的方向也有很多，如JavaSE、JavaEE等，但是我们不是完全都要掌握的，一般大数据来说，我们只需要掌握Java的标准版本JavaSE就行。像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了。

❺ 大数据处理需要用到的编程语言有哪些

R语言:为统计人员开来发的一种语言，可自以用R语言构建深奥的统计模型、数据探索以及统计分析等
Python语言：Python是数据分析利器，使用Python进行科学计算可以提高效率，Python可以替代Excel进行更高效的数据处理
java语言：Java是一门很适合大数据项目的编程语言，Hadoop、Spark、Storm、Flink、Flume、Kafka、Sqoop等大数据框架和工具都是用Java编写的，因此，大数据会不可避免的使用到Java。
Scala语言:Scala是一门轻松的语言，在JVM上运行，成功地结合了函数范式和面向对象范式

❻ 大数据专业学什么编程

大数据需要的语言

Java

java可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的（当然也不是绝对我甚至见过产品转岗大数据开发的，逆了个天）。

• 一是因为大数据的本质无非就是海量数据的计算，查询与存储，后台开发很容易接触到大数据量存取的应用场景

• 二就是java语言本事了，天然的优势，因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入学习，填上生产环境中踩到的各种坑，必须得先学会java然后去啃源码。

说到啃源码顺便说一句，开始的时候肯定是会很难，需要对组件本身和开发语言都有比较深入的理解，熟能生巧慢慢来，等你过了这个阶段，习惯了看源码解决问题的时候你会发现源码真香。

Scala

scala和java很相似都是在jvm运行的语言，在开发过程中是可以无缝互相调用的。Scala在大数据领域的影响力大部分都是来自社区中的明星Spark和kafka,这两个东西大家应该都知道（后面我会有文章多维度介绍它们），它们的强势发展直接带动了Scala在这个领域的流行。

Python和Shell

shell应该不用过多的介绍非常的常用，属于程序猿必备的通用技能。python更多的是用在数据挖掘领域以及写一些复杂的且shell难以实现的日常脚本。