大数据表拷贝方法

㈠ Oracle 上千万大数据量表的表复制问题

不明白为什么这么做。如果是同样的数据.你直接COPY表就完了么或者直接把数据库文件复制了 然后附加上去就OK了啊。

㈡ 数据库复制技术的关键技术

如何获得源库的重做日志，在源库交易成功后迅速同步到备库，并且考虑并发机制，对不冲突表的交易进行并发装载，保证最大限度的复制效率，目前数据库复制技术已经从数据库同步热备、容灾领域向应用系统总、分数据分发与集中，重要业务数据查询系统进行扩展，目前提供数据库同步复制技术的公司及产品大体如下：
1、ORACLE DATAGUARD
优点：
企业版本下自带
不用另外付费
逻辑模式可以实现实时同步
有逻辑和物理保护两种方式
能够进行主备库的切换
支持断点续传
缺点：
物理模式目的库不可用
逻辑模式不支持大对象、物理模式不够实时
源和目的不能是不同的操作系统和不同的版本
重新同步非常的复杂
对带宽要求较高，同时需要打开归档模式
需要DBA在生产库上操作， 风险很高
如果用户对备库的查询需要24小时使用,11G版本之前均无法满足

2、HVR
优点：
支持多种传统关系型数据库， 例如Oracle，SQL Sever，DB2，Ingres，PostgreSQL
支持到Taradata，Greenplum， Hadoop HDFS等大数据平台的复制
支持AWS， Azure，Salesforce等云平台
同时还支持文件（目录/ftp/sharepoint）复制
支持基于日志的数据捕获，也支持基于触发器的数据捕获
目标端数据可用
源端系统和目标端系统异构
可选择复制内容
数据传输过程支持压缩和加密
提供在线初始化同步
支持数据在线比较和修复
可以实现一对多、多对一等复杂的场景
支持断点续传
支持数据转换
图形化管理和监控界面，统一管理所有肤质链路
缺点：
单独付费LICENSE
在主、备库均要安装listener，对业务系统影响较小
需要开启归档模式

3、ORACLE GOLDEN GATE
优点：
目标端数据可用
源端系统和目标端系统异构
可选择复制内容
节约带宽
无中断初始化
保护时间在秒级
可以实现一对多、多对一
变化数据经过压缩，占用空间小
支持断点续传
缺点：
单独付费LICENSE
在主、备库均要安装程序，影响业务系统
需要开启归档模式
4、QUEST SHAREPLEX
优点：
目标端数据可用
源端系统和目标端系统异构
可选择复制内容
节约带宽
无中断初始化
保护时间在秒级
缺点：
建表语句复制需要修改配置文件
不能支持事务的查看
无本地服务并且价格昂贵
维护工作量比DATAGUARD还大
5、WOXINTECH PAC
优点：
目标端数据可用
源端系统和目标端系统异构
节约带宽，带宽最小支持卫星56K
无中断初始化，业务系统无需停机
断点续传
单独服务器模式，不在主、备库安装任何程序
保护时间在秒级
支持事务的查看
安装简单，不影响主、备机软、硬件性能
支持大多数DDL和DML语句
支持大对象，支持OIT表
支持同步日志审计
缺点：
非国际品牌
目前不支持一对多和多对一
需要单独购买
6、Beep
优点：
目标端数据可用
源端系统和目标端系统异构
无中断初始化，业务系统无需停机
断点续传
单独服务器模式，不在主、备库安装任何程序
保护时间在秒级
支持基于用户、表及其它对象的复制过滤
支持一对多、多对一、双向复制
安装简单，不影响主、备机软、硬件性能
支持主库事务审计
缺点：
非国际品牌
需要单独购买

㈢ 两台笔记本电脑之间传输大数据文件用什么方式最快

最块的方法就是硬抄盘之间拷贝资料!袭 对于新的笔记本来说 不推荐这个方法! 两台电脑间传文件最快的方式有： 1、两台电脑之间如果有网络可以使用腾讯聊天软件进行文件互传。 2、可以使用电脑的文件共享功能进行文件共享拷贝。 3、如果只有局域网可以又不会设置共享，可以使用软件进行文件互传。 4、可以通过U盘等数据盘对文件进行拷贝。

㈣ oracle 如何复制大数据量的数据

Oracle 9/10
可以使用 exp 导出 Imp 导入

===== 导出、导入 单个表的情况。

导出 TEST_MAIN,TEST_SUB 这2个表
EXP test/test@源数据库 file=test.dmp tables=(TEST_MAIN,TEST_SUB)

导入 TEST_MAIN,TEST_SUB 这2个表
IMP test2/test2@目标数据库 file=test.dmp tables=(TEST_MAIN,TEST_SUB)

==============================

Oracle 10g 开始， 新增数据泵工具 导出导入 的工具.

前面需要一些 环境配置

数据泵工具导出的步骤：
1、创建DIRECTORY
create directory dir_dp as 'C:/OracleData'

2、授权
Grant read,write on directory dir_dp to obpos;

EXPDP 按表导出：

EXPDP obpos/obpos tables="OBPOS"."ROOM","OBPOS"."ROOMBOOKD" mpfile=expdp_Room.dmp logfile=expdp_Room.log directory=dir_dp job_name=my_job

授权
Grant read,write on directory dir_dp to test;

IMPDP 按表导入:
impdp obpos/obpos mpfile=obpos.dmp logfile=obpos.log directory=dir_dp tables=MR_USER job_name=my_job

㈤ excel中复制大量数据，除了用鼠标拖动选择再复制以外还有没有其他方法

方法1、双击填充柄,可填充,如果前一列连续多行,则相同多行。

方法2、先输入要填充的公式,按下SHIFT+CTRL+方向键下,再按下CTRL+D。

方法3、按下SHIFT+CTRL+方向键下,再在编辑栏里输入公式,再按下CTRL+回车。

方法4、名称框输入需要填充的范围 (比如 A1:A54000) 回车 公式编辑栏输入要复制的公式后,同时按 CTRL+回车键输入。

方法5、选中要填充的格子,按CTRL+C(复制第一个带公式的单元格),然后鼠标移到名称框，直接输入列区间，如B3:B10000，回车，之后按CTRL+V(点中该位置--右键粘贴)。

㈥ EXcel 表格如何快速批量复制粘贴的方法

1、选中你要复制到的单元格，假如我们要复制李星到A4单元格，那么就要选中A4单元格。

㈦ 数据库 大数据操作

下面以关系数据库系统为例，介绍改善用户查询计划的方法。 1．合理使用索引 索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下： ●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。 ●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引。 ●在条件表达式中经常用到的不同值较多的列上建立检索，在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值，因此就无必要建立索引。如果建立索引不但不会提高查询效率，反而会严重降低更新速度。 ●如果待排序的列有多个，可以在这些列上建立复合索引（compound index）。 ●使用系统工具。如Informix数据库有一个tbcheck工具，可以在可疑的索引上进行检查。在一些数据库服务器上，索引可能失效或者因为频繁操作而使得读取效率降低，如果一个使用索引的查询不明不白地慢下来，可以试着用tbcheck工具检查索引的完整性，必要时进行修复。另外，当数据库表更新大量数据后，删除并重建索引可以提高查询速度。 2．避免或简化排序 应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时，优化器就避免了排序的步骤。以下是一些影响因素： ●索引中不包括一个或几个待排序的列； ●group by或order by子句中列的次序与索引的次序不一样； ●排序的列来自不同的表。 为了避免不必要的排序，就要正确地增建索引，合理地合并数据库表（尽管有时可能影响表的规范化，但相对于效率的提高是值得的）。如果排序不可避免，那么应当试图简化它，如缩小排序的列的范围等。 3．消除对大型表行数据的顺序存取 在嵌套查询中，对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略，一个嵌套3层的查询，如果每层都查询1000行，那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如，两个表：学生表（学号、姓名、年龄……）和选课表（学号、课程号、成绩）。如果两个表要做连接，就要在“学号”这个连接字段上建立索引。 还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引，但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作： SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008 虽然在customer_num和order_num上建有索引，但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合，所以应该改为如下语句： SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>1001 UNION SELECT ＊ FROM orders WHERE order_num=1008 这样就能利用索引路径处理查询。 4．避免相关子查询 一个列的标签同时在主查询和where子句中的查询中出现，那么很可能当主查询中的列值改变之后，子查询必须重新查询一次。查询嵌套层次越多，效率越低，因此应当尽量避免子查询。如果子查询不可避免，那么要在子查询中过滤掉尽可能多的行。 5．避免困难的正规表达式 MATCHES和LIKE关键字支持通配符匹配，技术上叫正规表达式。但这种匹配特别耗费时间。例如：SELECT ＊ FROM customer WHERE zipcode LIKE “98_ _ _” 即使在zipcode字段上建立了索引，在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT ＊ FROM customer WHERE zipcode >“98000”，在执行查询时就会利用索引来查询，显然会大大提高速度。 另外，还要避免非开始的子串。例如语句：SELECT ＊ FROM customer WHERE zipcode[2，3]>“80”，在where子句中采用了非开始子串，因而这个语句也不会使用索引。 6．使用临时表加速查询 把表的一个子集进行排序并创建临时表，有时能加速查询。它有助于避免多重排序操作，而且在其他方面还能简化优化器的工作。例如： SELECT cust.name，rcvbles.balance，……other columns FROM cust，rcvbles WHERE cust.customer_id = rcvlbes.customer_id AND rcvblls.balance>0 AND cust.postcode>“98000” ORDER BY cust.name 如果这个查询要被执行多次而不止一次，可以把所有未付款的客户找出来放在一个临时文件中，并按客户的名字进行排序： SELECT cust.name，rcvbles.balance，……other columns FROM cust，rcvbles WHERE cust.customer_id = rcvlbes.customer_id AND rcvblls.balance>0 ORDER BY cust.name INTO TEMP cust_with_balance 然后以下面的方式在临时表中查询： SELECT ＊ FROM cust_with_balance WHERE postcode>“98000” 临时表中的行要比主表中的行少，而且物理顺序就是所要求的顺序，减少了磁盘I/O，所以查询工作量可以得到大幅减少。 注意：临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下，注意不要丢失数据。 7．用排序来取代非顺序存取 非顺序磁盘存取是最慢的操作，表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况，使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。 有些时候，用数据库的排序能力来替代非顺序的存取能改进查询。 实例分析 下面我们举一个制造公司的例子来说明如何进行查询优化。制造公司数据库中包括3个表，模式如下所示： 1．part表 零件号?????零件描述????????其他列 （part_num）?（part_desc）??????（other column） 102，032???Seageat 30G disk?????…… 500，049???Novel 10M network card??…… …… 2．vendor表 厂商号??????厂商名??????其他列 （vendor _num）?（vendor_name） （other column） 910，257?????Seageat Corp???…… 523，045?????IBM Corp?????…… …… 3．parven表 零件号?????厂商号?????零件数量 （part_num）?（vendor_num）?（part_amount） 102，032????910，257????3,450,000 234，423????321，001????4，000，000 …… 下面的查询将在这些表上定期运行，并产生关于所有零件数量的报表： SELECT part_desc，vendor_name，part_amount FROM part，vendor，parven WHERE part.part_num=parven.part_num AND parven.vendor_num = vendor.vendor_num ORDER BY part.part_num 如果不建立索引，上述查询代码的开销将十分巨大。为此，我们在零件号和厂商号上建立索引。索引的建立避免了在嵌套中反复扫描。关于表与索引的统计信息如下： 表?????行尺寸???行数量?????每页行数量???数据页数量 （table）?(row size)?（Row count）?（Rows/Pages）?（Data Pages） part????150?????10，000????25???????400 Vendor???150?????1，000???? 25???????40 Parven???13????? 15，000????300?????? 50 索引?????键尺寸???每页键数量???页面数量 （Indexes）?(Key Size)?（Keys/Page)???(Leaf Pages） part?????4??????500???????20 Vendor????4??????500???????2 Parven????8??????250???????60 看起来是个相对简单的3表连接，但是其查询开销是很大的。通过查看系统表可以看到，在part_num上和vendor_num上有簇索引，因此索引是按照物理顺序存放的。parven表没有特定的存放次序。这些表的大小说明从缓冲页中非顺序存取的成功率很小。此语句的优化查询规划是：首先从part中顺序读取400页，然后再对parven表非顺序存取1万次，每次2页（一个索引页、一个数据页），总计2万个磁盘页，最后对vendor表非顺序存取1.5万次，合3万个磁盘页。可以看出在这个索引好的连接上花费的磁盘存取为5.04万次。

㈧ 如何复制大数据量的sqlserver

可考虑sql bulk ，用程序控制数据
“将更新数据同步到B” 可用SQL Server集成服务中的功能回(数据导入导出答)
专注于.NET ERP/CRM开发框架，C/S架构，SQL Server + ORM(LLBL Gen Pro) + Infragistics WinForms

㈨ excel大数据粘贴问题

先粘贴到一列，然后点击菜单：
数据--分列，步骤一，选择分隔符号，步骤二，勾选逗号，步骤三，可以每一列设置单元格格式，然后点击完成。

㈩ 如何快速，多个同时复制拷贝2T硬盘大数据

如果两个硬盘不能拆下来，就只能通过USB接口连接电脑，在电脑上操作，速度只能根据USB接口版本来定。
如果能把硬盘单独拆下来，则可以把硬盘直接装在电脑主机上，通过GHOST来复制：
装好硬盘，最好是把有数据的硬盘sata1上面。这样进入ghost了就可以区分主次。
进入ghost后，按一下上的键盘上的【回车键】。
用键盘上的上下左右键依次选【local】---【disk】---【to disk】---【回车键】。
进入【to disk】后可以识别到主板所有存储设器，序号1就是启动的那个盘。后面分别是硬盘上的sata1 sata2。
用键盘上的上下键选择有资料硬盘再点回车键或用【tab键】切换到【ok】按回车。
ghost跳转到一个和刚刚的界面是一样的界面。区别不一样的就是有一个项是灰色的，灰色的那一项是克隆盘。可以要克隆到的硬盘上。用键盘上的上下键选择有资料硬盘再点回车键或用【tab键】切换到【ok】按回车。
用键盘上的上下键选择有资料硬盘再点回车键或用【tab键】切换到【ok】按回车。
用键盘上的上下键选择有资料硬盘再点回车键或用【tab键】切换到【ok】按回车。
【ok】进行磁盘克隆。完成后退出即可。
把硬盘拆下，重新装好移动硬盘。