Hadoop之类的去看一下，还有大数据只是个概念具体技术还是要分的
❷ java大数据量分批处理怎么实现
读取数据估计是没办法了，重点可以放在写入的操作上，粗略的认为，你使用框架进行数版据库写权入操作还不如用使用java原生的jdbc进行操作然后使用jdbc 的原生的批处理，我觉得肯定比框架快。我记得我当时插入10w条数据，只用了3秒，不过用的是oracle数据库。进行边读取边插入，这样占用的内存也相对小一些
❸ Java大数据处理问题
每条一行只能一行一行的来了
把文件分段，用多线程处理
❹ 处理Java大数据有什么技巧
java在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法。
❺ 有哪些 java 解决大数据量同步的优选方案
建议采用缓存处理，按照你说的这种数据量，基于redis的缓存完全可以专满足，存取速属度可以10W+的，另外，拟采用的hashMap 是ConcurrentHashMap还是其他，页面展示是增量查询还是直接所有的再查询一次，socket数据接收你是用的netty还是mina，这都需要经过仔细的斟酌考虑设计的。有这么大的并发的需求，完全可以考虑做分布式集群的，估计这只是领导想要的目标吧
❻ Java如何处理大数据的
文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库操作，清空集合，再接着读取。
//读取文件内容
while((s = br.readLine())!=null){
//判断是否达到单次处理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//将读取到的内容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过来，会出现蹦死的情况。例如200万数据，我开了20个线程，单个线程处理600条。
//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//当正在执行的线程数达到最大执行线程数的时候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查询一次
int c = threadPool.getActiveCount();//线程池中活动中的线程数量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000);用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率
❼ 什么是java大数据
大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
❽ 怎样使用Java 开发大数据
未来10年将是大数据，人工智能爆发的时代，到时将会有大量的企业需要借助大数据，而Java最大的优势就是它在大数据领域的地位，目前很多的大数据架构都是通过Java来完成的。
在这个Android、iOS相继没落，PHP相继饱和的时候，只有Java大数据保持着旺盛的需求。那么，Java大数据需要学习什么技术呢？
首先我们要学习Java语言和Linux操作系统。很多人入门编程语言就是Java，你或许还不知道Java的方向有JavaSE、JavaEE、JavaME，学习Java大数据需要学习JavaSE、JavaEE。了解Java怎么连接数据库，掌握JDBC，学习Hibernate/Mybatis的原理，以及API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
接下来就需要学习Linux操作系统，因为大数据相关软件都是在Linux上运行的，学好Linux对你快速掌握大数据相关技术有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本，这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
最后当然是Hadoop的学习，这几乎已经成为大数据的代名词，Hadoop里面包括组件HDFS、MapRece和YARN，HDFS是存储数据的地方，就像电脑的硬盘一样，文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快，所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件，有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源，比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。
学了这些，可以胜任初级Java工程师了，当然还是有很有可以提高的地方，比如学习下python，可以用它来编写网络爬虫。这样我们就可以自己造数据了，网络上的各种数据你高兴都可以下载到你的集群上去处理。
❾ 如何处理java web项目中大数据量处理问题
既然是异步处理，那就是不和客户的请求同时进行，所以也和session无关了。异步处理也版和EJB没关系。权
1。当客户请求数据操作的时候，你的javabean把请求存放到文件里面，然后就可以返回response给客户了。
2。自己做一个application program，是thread，隔一段时间监听那个文件（或者一个目录），如果发现有新的文件，就读取出来，根据要求进行长时间操作。操作完毕，更新一个flag A（可在数据库，可在文件），并且把操作的文件remove（以免重复对此文件操作）。
3。客户总会不定时刷新页面或者发新页面请求，这时候就察看flag A，如果完成，就在页面上提示用户，就如msdn的“你有短消息“
❿ java如何快速处理大数据
文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库操作，清空集合，再接着读取。
//读取文件内容
while((s = br.readLine())!=null){
//判断是否达到单次处理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//将读取到的内容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过来，会出现蹦死的情况。例如200万数据，我开了20个线程，单个线程处理600条。
//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//当正在执行的线程数达到最大执行线程数的时候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查询一次
int c = threadPool.getActiveCount();//线程池中活动中的线程数量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000);用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率