前端页面处理大数据库

① 如何通过前端生成的页面插入到数据库

用jdbc连接数据库，然后将获取的数据拼装到sql语句里，执行sql就可以插入数据了。

② 前端处理较大数据量防止页面卡死的方法

把数组分割一下，然后把数据一段一段的显示到页面，可利用 window.requestAnimationFrame或者setInterval不断填充数据；

window.requestAnimationFrame() 告诉浏览器——你希望执行一个动画，并且要求浏览器在 下次重绘之前 调用指定的回调函数更新动画。该方法需要传入一个回调函数作为参数，该回调函数会在浏览器下一次重绘之前执行；

原文

③ 如何数据库数据到前端

• 首先你需要掌握的是数据库查询语句，这里使用最简单的数据库查询语句：SELECT * FROM sys_role，表示从角色表中查询出所有的信息，下面展示的是查询结果，这个结果需要展示到前端页面则需要代码调用这个sql语句

  

④ 大数据处理要遵循什么流程

数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程，也是标准化流程的构建过程。

根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。

1.理：梳理业务流程，规划数据资源

对于企业来说，每天的实时数据都会超过TB级别，需要采集用户的哪些数据，这么多的数据放在哪里，如何放，以什么样的方式放？

这些问题都是需要事先进行规划的，需要有一套从无序变为有序的流程，这个过程需要跨部门的协作，包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。

2.采：ETL采集、去重、脱敏、转换、关联、去除异常值

前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，目的是将散落和零乱的数据集中存储起来。

3.存：大数据高性能存储及管理

这么多的业务数据存在哪里？这需要有一高性能的大数据存储系统，在这套系统里面将数据进行分门别类放到其对应的库里面，为后续的管理及使用提供最大的便利。

4.用：即时查询、报表监控、智能分析、模型预测

数据的最终目的就是辅助业务进行决策，前面的几个流程都是为最终的查询、分析、监控做铺垫。

这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析，甚至是模型的预测。