數據計算量大用什麼編程比較好

❶ 大量數據計數用什麼軟體，有比EXCEL表格好的嗎

EXCEL可以管理100萬以內的數據，20萬完全沒問題。
使用COUNTIF去統計數據效率很低，一般上萬的數據建議使用VBA的字典編程，20萬的數據完全可以秒出結果。
比EXCEL刪除大數據管理的軟體非常多，例如SPSS，以及SQL SERVER、ORACLE等各種資料庫，還有R、PYTHON等語言自己編程統計也不錯。根據自己的特長，選擇合適自己的工具。

❷ c語言中怎麼處理一個特別大的數據的運算

最簡單的辦法是將大數當作字元串進行處理，也就是將大數用10進制字元數組進行表示，

然後模擬人們手工進行「豎式計算」的過程編寫其加減乘除函數。但是這樣做效率很低，

因為1024位的大數其10進制數字個數就有數百個，對於任何一種運算，都需要在兩個有

數百個元素的數組空間上做多重循環，還需要許多額外的空間存放計算的進位退位標志

及中間結果。其優點是演算法符合人們的日常習慣，易於理解。

❸ 大數據處理軟體用什麼比較好

常見的數據處理軟體有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。

數據分析與處理方法：

採集

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。

並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。

統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的大量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等。

而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些大量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。

也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

❹ 大數據應該學習什麼語言

一般來說來大家很多都是從java開始的，源Java編程是大數據開發的基礎，大數據中很多技術都是使用Java編寫的，如Hadoop、Spark、maprece等，因此，想要學好大數據，Java編程是必備技能！
Java的方向也有很多，如JavaSE、JavaEE等，但是我們不是完全都要掌握的，一般大數據來說，我們只需要掌握Java的標准版本JavaSE就行。像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術在大數據技術里用到的並不多，只需要了解就可以了。

❺ 大數據處理需要用到的編程語言有哪些

R語言:為統計人員開來發的一種語言，可自以用R語言構建深奧的統計模型、數據探索以及統計分析等
Python語言：Python是數據分析利器，使用Python進行科學計算可以提高效率，Python可以替代Excel進行更高效的數據處理
java語言：Java是一門很適合大數據項目的編程語言，Hadoop、Spark、Storm、Flink、Flume、Kafka、Sqoop等大數據框架和工具都是用Java編寫的，因此，大數據會不可避免的使用到Java。
Scala語言:Scala是一門輕松的語言，在JVM上運行，成功地結合了函數範式和面向對象範式

❻ 大數據專業學什麼編程

大數據需要的語言

Java

java可以說是大數據最基礎的編程語言，據我這些年的經驗，我接觸的很大一部分的大數據開發都是從Jave Web開發轉崗過來的（當然也不是絕對我甚至見過產品轉崗大數據開發的，逆了個天）。

• 一是因為大數據的本質無非就是海量數據的計算，查詢與存儲，後台開發很容易接觸到大數據量存取的應用場景

• 二就是java語言本事了，天然的優勢，因為大數據的組件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然後去啃源碼。

說到啃源碼順便說一句，開始的時候肯定是會很難，需要對組件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看源碼解決問題的時候你會發現源碼真香。

Scala

scala和java很相似都是在jvm運行的語言，在開發過程中是可以無縫互相調用的。Scala在大數據領域的影響力大部分都是來自社區中的明星Spark和kafka,這兩個東西大家應該都知道（後面我會有文章多維度介紹它們），它們的強勢發展直接帶動了Scala在這個領域的流行。

Python和Shell

shell應該不用過多的介紹非常的常用，屬於程序猿必備的通用技能。python更多的是用在數據挖掘領域以及寫一些復雜的且shell難以實現的日常腳本。