大數據表拷貝方法

㈠ Oracle 上千萬大數據量表的表復制問題

不明白為什麼這么做。如果是同樣的數據.你直接COPY表就完了么或者直接把資料庫文件復制了 然後附加上去就OK了啊。

㈡ 資料庫復制技術的關鍵技術

如何獲得源庫的重做日誌，在源庫交易成功後迅速同步到備庫，並且考慮並發機制，對不沖突表的交易進行並發裝載，保證最大限度的復制效率，目前資料庫復制技術已經從資料庫同步熱備、容災領域向應用系統總、分數據分發與集中，重要業務數據查詢系統進行擴展，目前提供資料庫同步復制技術的公司及產品大體如下：
1、ORACLE DATAGUARD
優點：
企業版本下自帶
不用另外付費
邏輯模式可以實現實時同步
有邏輯和物理保護兩種方式
能夠進行主備庫的切換
支持斷點續傳
缺點：
物理模式目的庫不可用
邏輯模式不支持大對象、物理模式不夠實時
源和目的不能是不同的操作系統和不同的版本
重新同步非常的復雜
對帶寬要求較高，同時需要打開歸檔模式
需要DBA在生產庫上操作， 風險很高
如果用戶對備庫的查詢需要24小時使用,11G版本之前均無法滿足

2、HVR
優點：
支持多種傳統關系型資料庫， 例如Oracle，SQL Sever，DB2，Ingres，PostgreSQL
支持到Taradata，Greenplum， Hadoop HDFS等大數據平台的復制
支持AWS， Azure，Salesforce等雲平台
同時還支持文件（目錄/ftp/sharepoint）復制
支持基於日誌的數據捕獲，也支持基於觸發器的數據捕獲
目標端數據可用
源端系統和目標端系統異構
可選擇復制內容
數據傳輸過程支持壓縮和加密
提供在線初始化同步
支持數據在線比較和修復
可以實現一對多、多對一等復雜的場景
支持斷點續傳
支持數據轉換
圖形化管理和監控界面，統一管理所有膚質鏈路
缺點：
單獨付費LICENSE
在主、備庫均要安裝listener，對業務系統影響較小
需要開啟歸檔模式

3、ORACLE GOLDEN GATE
優點：
目標端數據可用
源端系統和目標端系統異構
可選擇復制內容
節約帶寬
無中斷初始化
保護時間在秒級
可以實現一對多、多對一
變化數據經過壓縮，佔用空間小
支持斷點續傳
缺點：
單獨付費LICENSE
在主、備庫均要安裝程序，影響業務系統
需要開啟歸檔模式
4、QUEST SHAREPLEX
優點：
目標端數據可用
源端系統和目標端系統異構
可選擇復制內容
節約帶寬
無中斷初始化
保護時間在秒級
缺點：
建表語句復制需要修改配置文件
不能支持事務的查看
無本地服務並且價格昂貴
維護工作量比DATAGUARD還大
5、WOXINTECH PAC
優點：
目標端數據可用
源端系統和目標端系統異構
節約帶寬，帶寬最小支持衛星56K
無中斷初始化，業務系統無需停機
斷點續傳
單獨伺服器模式，不在主、備庫安裝任何程序
保護時間在秒級
支持事務的查看
安裝簡單，不影響主、備機軟、硬體性能
支持大多數DDL和DML語句
支持大對象，支持OIT表
支持同步日誌審計
缺點：
非國際品牌
目前不支持一對多和多對一
需要單獨購買
6、Beep
優點：
目標端數據可用
源端系統和目標端系統異構
無中斷初始化，業務系統無需停機
斷點續傳
單獨伺服器模式，不在主、備庫安裝任何程序
保護時間在秒級
支持基於用戶、表及其它對象的復制過濾
支持一對多、多對一、雙向復制
安裝簡單，不影響主、備機軟、硬體性能
支持主庫事務審計
缺點：
非國際品牌
需要單獨購買

㈢ 兩台筆記本電腦之間傳輸大數據文件用什麼方式最快

最塊的方法就是硬抄盤之間拷貝資料!襲 對於新的筆記本來說 不推薦這個方法! 兩台電腦間傳文件最快的方式有： 1、兩台電腦之間如果有網路可以使用騰訊聊天軟體進行文件互傳。 2、可以使用電腦的文件共享功能進行文件共享拷貝。 3、如果只有區域網可以又不會設置共享，可以使用軟體進行文件互傳。 4、可以通過U盤等數據盤對文件進行拷貝。

㈣ oracle 如何復制大數據量的數據

Oracle 9/10
可以使用 exp 導出 Imp 導入

===== 導出、導入 單個表的情況。

導出 TEST_MAIN,TEST_SUB 這2個表
EXP test/test@源資料庫 file=test.dmp tables=(TEST_MAIN,TEST_SUB)

導入 TEST_MAIN,TEST_SUB 這2個表
IMP test2/test2@目標資料庫 file=test.dmp tables=(TEST_MAIN,TEST_SUB)

==============================

Oracle 10g 開始， 新增數據泵工具 導出導入 的工具.

前面需要一些 環境配置

數據泵工具導出的步驟：
1、創建DIRECTORY
create directory dir_dp as 'C:/OracleData'

2、授權
Grant read,write on directory dir_dp to obpos;

EXPDP 按表導出：

EXPDP obpos/obpos tables="OBPOS"."ROOM","OBPOS"."ROOMBOOKD" mpfile=expdp_Room.dmp logfile=expdp_Room.log directory=dir_dp job_name=my_job

授權
Grant read,write on directory dir_dp to test;

IMPDP 按表導入:
impdp obpos/obpos mpfile=obpos.dmp logfile=obpos.log directory=dir_dp tables=MR_USER job_name=my_job

㈤ excel中復制大量數據，除了用滑鼠拖動選擇再復制以外還有沒有其他方法

方法1、雙擊填充柄,可填充,如果前一列連續多行,則相同多行。

方法2、先輸入要填充的公式,按下SHIFT+CTRL+方向鍵下,再按下CTRL+D。

方法3、按下SHIFT+CTRL+方向鍵下,再在編輯欄里輸入公式,再按下CTRL+回車。

方法4、名稱框輸入需要填充的范圍 (比如 A1:A54000) 回車 公式編輯欄輸入要復制的公式後,同時按 CTRL+回車鍵輸入。

方法5、選中要填充的格子,按CTRL+C(復制第一個帶公式的單元格),然後滑鼠移到名稱框，直接輸入列區間，如B3:B10000，回車，之後按CTRL+V(點中該位置--右鍵粘貼)。

㈥ EXcel 表格如何快速批量復制粘貼的方法

1、選中你要復制到的單元格，假如我們要復制李星到A4單元格，那麼就要選中A4單元格。

㈦ 資料庫 大數據操作

下面以關系資料庫系統為例，介紹改善用戶查詢計劃的方法。 1．合理使用索引 索引是資料庫中重要的數據結構，它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處，其使用原則如下： ●在經常進行連接，但是沒有指定為外鍵的列上建立索引，而不經常連接的欄位則由優化器自動生成索引。 ●在頻繁進行排序或分組（即進行group by或order by操作）的列上建立索引。 ●在條件表達式中經常用到的不同值較多的列上建立檢索，在不同值少的列上不要建立索引。比如在雇員表的「性別」列上只有「男」與「女」兩個不同值，因此就無必要建立索引。如果建立索引不但不會提高查詢效率，反而會嚴重降低更新速度。 ●如果待排序的列有多個，可以在這些列上建立復合索引（compound index）。 ●使用系統工具。如Informix資料庫有一個tbcheck工具，可以在可疑的索引上進行檢查。在一些資料庫伺服器上，索引可能失效或者因為頻繁操作而使得讀取效率降低，如果一個使用索引的查詢不明不白地慢下來，可以試著用tbcheck工具檢查索引的完整性，必要時進行修復。另外，當資料庫表更新大量數據後，刪除並重建索引可以提高查詢速度。 2．避免或簡化排序 應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時，優化器就避免了排序的步驟。以下是一些影響因素： ●索引中不包括一個或幾個待排序的列； ●group by或order by子句中列的次序與索引的次序不一樣； ●排序的列來自不同的表。 為了避免不必要的排序，就要正確地增建索引，合理地合並資料庫表（盡管有時可能影響表的規范化，但相對於效率的提高是值得的）。如果排序不可避免，那麼應當試圖簡化它，如縮小排序的列的范圍等。 3．消除對大型錶行數據的順序存取 在嵌套查詢中，對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略，一個嵌套3層的查詢，如果每層都查詢1000行，那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如，兩個表：學生表（學號、姓名、年齡……）和選課表（學號、課程號、成績）。如果兩個表要做連接，就要在「學號」這個連接欄位上建立索引。 還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引，但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作： SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008 雖然在customer_num和order_num上建有索引，但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合，所以應該改為如下語句： SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>1001 UNION SELECT ＊ FROM orders WHERE order_num=1008 這樣就能利用索引路徑處理查詢。 4．避免相關子查詢 一個列的標簽同時在主查詢和where子句中的查詢中出現，那麼很可能當主查詢中的列值改變之後，子查詢必須重新查詢一次。查詢嵌套層次越多，效率越低，因此應當盡量避免子查詢。如果子查詢不可避免，那麼要在子查詢中過濾掉盡可能多的行。 5．避免困難的正規表達式 MATCHES和LIKE關鍵字支持通配符匹配，技術上叫正規表達式。但這種匹配特別耗費時間。例如：SELECT ＊ FROM customer WHERE zipcode LIKE 「98_ _ _」 即使在zipcode欄位上建立了索引，在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT ＊ FROM customer WHERE zipcode >「98000」，在執行查詢時就會利用索引來查詢，顯然會大大提高速度。 另外，還要避免非開始的子串。例如語句：SELECT ＊ FROM customer WHERE zipcode[2，3]>「80」，在where子句中採用了非開始子串，因而這個語句也不會使用索引。 6．使用臨時表加速查詢 把表的一個子集進行排序並創建臨時表，有時能加速查詢。它有助於避免多重排序操作，而且在其他方面還能簡化優化器的工作。例如： SELECT cust.name，rcvbles.balance，……other columns FROM cust，rcvbles WHERE cust.customer_id = rcvlbes.customer_id AND rcvblls.balance>0 AND cust.postcode>「98000」 ORDER BY cust.name 如果這個查詢要被執行多次而不止一次，可以把所有未付款的客戶找出來放在一個臨時文件中，並按客戶的名字進行排序： SELECT cust.name，rcvbles.balance，……other columns FROM cust，rcvbles WHERE cust.customer_id = rcvlbes.customer_id AND rcvblls.balance>0 ORDER BY cust.name INTO TEMP cust_with_balance 然後以下面的方式在臨時表中查詢： SELECT ＊ FROM cust_with_balance WHERE postcode>「98000」 臨時表中的行要比主表中的行少，而且物理順序就是所要求的順序，減少了磁碟I/O，所以查詢工作量可以得到大幅減少。 注意：臨時表創建後不會反映主表的修改。在主表中數據頻繁修改的情況下，注意不要丟失數據。 7．用排序來取代非順序存取 非順序磁碟存取是最慢的操作，表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況，使得我們在寫應用程序時很容易寫出要求存取大量非順序頁的查詢。 有些時候，用資料庫的排序能力來替代非順序的存取能改進查詢。 實例分析 下面我們舉一個製造公司的例子來說明如何進行查詢優化。製造公司資料庫中包括3個表，模式如下所示： 1．part表 零件號?????零件描述????????其他列 （part_num）?（part_desc）??????（other column） 102，032???Seageat 30G disk?????…… 500，049???Novel 10M network card??…… …… 2．vendor表 廠商號??????廠商名??????其他列 （vendor _num）?（vendor_name） （other column） 910，257?????Seageat Corp???…… 523，045?????IBM Corp?????…… …… 3．parven表 零件號?????廠商號?????零件數量 （part_num）?（vendor_num）?（part_amount） 102，032????910，257????3,450,000 234，423????321，001????4，000，000 …… 下面的查詢將在這些表上定期運行，並產生關於所有零件數量的報表： SELECT part_desc，vendor_name，part_amount FROM part，vendor，parven WHERE part.part_num=parven.part_num AND parven.vendor_num = vendor.vendor_num ORDER BY part.part_num 如果不建立索引，上述查詢代碼的開銷將十分巨大。為此，我們在零件號和廠商號上建立索引。索引的建立避免了在嵌套中反復掃描。關於表與索引的統計信息如下： 表?????行尺寸???行數量?????每頁行數量???數據頁數量 （table）?(row size)?（Row count）?（Rows/Pages）?（Data Pages） part????150?????10，000????25???????400 Vendor???150?????1，000???? 25???????40 Parven???13????? 15，000????300?????? 50 索引?????鍵尺寸???每頁鍵數量???頁面數量 （Indexes）?(Key Size)?（Keys/Page)???(Leaf Pages） part?????4??????500???????20 Vendor????4??????500???????2 Parven????8??????250???????60 看起來是個相對簡單的3表連接，但是其查詢開銷是很大的。通過查看系統表可以看到，在part_num上和vendor_num上有簇索引，因此索引是按照物理順序存放的。parven表沒有特定的存放次序。這些表的大小說明從緩沖頁中非順序存取的成功率很小。此語句的優化查詢規劃是：首先從part中順序讀取400頁，然後再對parven表非順序存取1萬次，每次2頁（一個索引頁、一個數據頁），總計2萬個磁碟頁，最後對vendor表非順序存取1.5萬次，合3萬個磁碟頁。可以看出在這個索引好的連接上花費的磁碟存取為5.04萬次。

㈧ 如何復制大數據量的sqlserver

可考慮sql bulk ，用程序控制數據
「將更新數據同步到B」 可用SQL Server集成服務中的功能回(數據導入導出答)
專注於.NET ERP/CRM開發框架，C/S架構，SQL Server + ORM(LLBL Gen Pro) + Infragistics WinForms

㈨ excel大數據粘貼問題

先粘貼到一列，然後點擊菜單：
數據--分列，步驟一，選擇分隔符號，步驟二，勾選逗號，步驟三，可以每一列設置單元格格式，然後點擊完成。

㈩ 如何快速，多個同時復制拷貝2T硬碟大數據

如果兩個硬碟不能拆下來，就只能通過USB介面連接電腦，在電腦上操作，速度只能根據USB介面版本來定。
如果能把硬碟單獨拆下來，則可以把硬碟直接裝在電腦主機上，通過GHOST來復制：
裝好硬碟，最好是把有數據的硬碟sata1上面。這樣進入ghost了就可以區分主次。
進入ghost後，按一下上的鍵盤上的【回車鍵】。
用鍵盤上的上下左右鍵依次選【local】---【disk】---【to disk】---【回車鍵】。
進入【to disk】後可以識別到主板所有存儲設器，序號1就是啟動的那個盤。後面分別是硬碟上的sata1 sata2。
用鍵盤上的上下鍵選擇有資料硬碟再點回車鍵或用【tab鍵】切換到【ok】按回車。
ghost跳轉到一個和剛剛的界面是一樣的界面。區別不一樣的就是有一個項是灰色的，灰色的那一項是克隆盤。可以要克隆到的硬碟上。用鍵盤上的上下鍵選擇有資料硬碟再點回車鍵或用【tab鍵】切換到【ok】按回車。
用鍵盤上的上下鍵選擇有資料硬碟再點回車鍵或用【tab鍵】切換到【ok】按回車。
用鍵盤上的上下鍵選擇有資料硬碟再點回車鍵或用【tab鍵】切換到【ok】按回車。
【ok】進行磁碟克隆。完成後退出即可。
把硬碟拆下，重新裝好移動硬碟。