如何将xml导入数据库

㈠ 使用MySQL解析和处理XML文件的方法与技巧mysqlxml文件

MySQL作为一种关系型数据库管理系统，被广泛应用于各个领域中，同时，XML作为一种表示和传输数据的标准格式，也得到了广泛的运用。在实际应用中，有时需要将XML文件中的数据进行解析和处理后，存储到MySQL数据库中。本文将介绍使用MySQL解析和处理XML文件的方法与技巧。
1. XML文件的解析
XML文件的解析是将XML文件中的数据提取出来，并转换为可操作的数据类型，例如json、字典等。MySQL提供了解析XML文件的函数，主要有以下两个：
LOAD XML：将XML数据装入MySQL数据库中。
SELECT … FROM XML：从XML文件中检索数据。
其中，LOAD XML语法如下：
LOAD XML [LOCAL] INFILE ‘file_name’
[REPLACE | IGNORE]
INTO TABLE tbl_name
[FIELDS
[TERMINATED BY ‘term’]
[[OPTIONALLY] ENCLOSED BY ‘enclosure’]
[ESCAPED BY ‘escape_char’]]
[LINES TERMINATED BY ‘term’]
[IGNORE number LINES]
[(col_name_or_user_var,…)]
通过该语法可以将指定的XML文件装入到指定表格中，同时可以指定一些参数来控制导入行为。
除此之外，SELECT … FROM XML语法可以实现从XML文件中检索数据的功能，SQL语句如下：
SELECT extractvalue(xml_doc, xpath_expr)
FROM table_name
WHERE [some_condition];
其中，extractvalue()函数是从XML文件中提取值的函数，xpath_expr是XPath表达式，通过该语法我们可以轻松地从XML文件中查询所需的数据。
2. XML文件处理
XML文件处理是将XML文件中的数据转换成需要的格式，例如json、csv、Excel等。在处理XML文件时，我们可以使用一些开源的工具库，例如Python中的xmltodict、lxml等库。
xmltodict是Python中用于将XML文件转换为字典的库，可以简化XML文件的解析和处理工作。下面是一个简单的示例代码：
import xmltodict
# 将XML文件转换为字典
with open(‘example.xml’) as fd:
doc = xmltodict.parse(fd.read())
# 取得XML文件中的数据
print(doc[‘data’])
在以上代码中，我们通过xmltodict库将XML文件解析成字典，然后就可以非常方便地进行数据的提取和处理。
3. 将XML文件数据存储到MySQL数据库中
将XML文件中的数据存储到MySQL数据库中是常见的需求之一。下面是一个简单的Python代码示例，用于将XML文件中的数据读取后存储到MySQL数据库中。
import xml.etree.ElementTree as ET
import MySQLdb
# 解析XML文件
xml_tree = ET.parse(‘example.xml’)
xml_root = xml_tree.getroot()
# 配置MySQL连接信息
db = MySQLdb.connect(host=’localhost’, user=’root’, passwd=’test’, db=’test’, charset=’utf8′)
cursor = db.cursor()
# 递归解析XML并将数据存入MySQL数据库中
def parse_xml(elem, parent_id=None):
for node in elem:
# 如果该节点为叶子节点，将其存储到数据库中
if node.getchildren() == []:
cursor.execute(“INSERT INTO xml_test (parent_id, name, value) VALUES (%s, %s, %s)”, (parent_id, node.tag, node.text))
print(node.tag, node.text)
else:
cursor.execute(“INSERT INTO xml_test (parent_id, name, value) VALUES (%s, %s, null)”, (parent_id, node.tag))
print(node.tag)
parse_xml(node, cursor.lastrowid)
# 从根节点开始解析XML文件
parse_xml(xml_root)
# 提交事务
db.commit()
在以上代码中，我们使用了Python库xml.etree.ElementTree来解析XML文件，然后将数据存储到MySQL数据库中。解析的过程是递归的，从根节点开始，如果当前节点为叶子节点，则将其存储到数据库中，否则执行递归操作，直至所有节点都被处理完毕。
总结
本文介绍了使用MySQL解析和处理XML文件的方法和技巧。MySQL提供了从XML文件中提取数据和将XML数据装入MySQL数据库中的函数，可以方便地完成XML文件的解析和处理，同时，Python的xmltodict库也可以简化XML文件的解析过程。对于将XML文件中的数据存储到MySQL数据库中，我们可以使用Python库xml.etree.ElementTree递归解析XML文件，并使用MySQLdb库将解析后的数据存储到MySQL数据库中。

㈡ 如何将JSON，Text，XML，CSV 数据文件导入 MySQL

将外部数据导入(import)数据库是在数据库应用中一个很常见的需求。其实这就是在数据的管理和操作中的ETL (Extract, transform, load)的L (Load)部分，也就是说，将特定结构(structure)或者格式(format)的数据导入某个目的地(比如数据库，这里我们讨论MySQL)。

ETL Process

本文要讨论的内容，是如何方便地将多种格式(JSON, Text, XML, CSV)的数据导入MySQL之中。

本文大纲：

将Text文件（包括CSV文件）导入MySQL
将XML文件导入MySQL
将JSON文件导入MySQL
使用MySQL workbench的Table Data Export and Import Wizard进行JSON或CSV文件的导入导出

1. 将Text文件（包括CSV文件）导入MySQL

这里我们的讨论是基于一个假定，Text file和CSV file是有着比较规范的格式的(properly formatted)，比如说每行的每个数据域(field)之间是由一个共同的分隔符（比如tab: \t）分隔的。

那么首先，你需要根据你的数据的格式（有哪些域），来设计好数据库的对应的表 （的Schema）。

举个例子，要处理的Text文件或者CSV文件是以\t作为分隔符的，每行有id, name, balance这么三个数据域，那么首先我们需要在数据库中创建这个表：

CREATE TABLE sometable(id INT, name VARCHAR(255), balance DECIMAL(8,4));

创建成功以后就可以导入了。操作方式很简单：

LOAD DATA LOCAL INFILE '你的文件路径（如~/file.csv）' INTO TABLE sometable FIELDS TERMINATED BY '\t' [ENCLOSED BY '"'(可选)] LINES TERMINATED BY '\n' (id, name, balance)

这里要注意的是，我们需要开启local-infile这个MySQL的配置参数，才能够成功导入。究其原因，从MySQL的Manual中可以看到这么一段话：

LOCAL works only if your server and your client both have been configured to permit it. For example, if mysqld was started with --local-infile=0, LOCAL does not work. See Section 6.1.6, “Security Issues with LOAD DATA LOCAL”.

这是MySQL出于安全考虑的默认配置。因此，我们需要在配置文件my.cnf中（以Debian发行版的Linux, 如Ubuntu为例， 即是在/etc/my.cnf中），确保：

local-infile=1

抑或是在命令行启动MySQL时加上--local-infile这一项：

mysql --local-infile -uroot -pyourpwd yourdbname

此外，我们也可以使用MySQL的一个官方导入程序mysqlimport ，这个程序本质上就是为LOAD DATA FILE提供了一个命令行的interface，很容易理解，我们这里就不再详述。

2. 将XML文件导入MySQL

这件事的完成方式，与我们的XML的形式有着很大的关系。

举个例子说，当你的XML数据文件有着很非常规范的格式，比如：
<?xml version="1.0"?>
<row>
<field name="id">1</field>
<field name="name">Free</field>
<field name="balance">2333.3333</field>
</row>

<row>
<field name="id">2</field>
<field name="name">Niki</field>
<field name="balance">1289.2333</field>
</row>

或者
<row column1="value1" column2="value2" .../>

我们就可以很方便使用LOAD XML来导入，这里可以参见MySQL的官方手册--LOAD XML Syntax。

然而我们可能有另外一些需求，比如说，我们可能会想要将XML文件的域映射到不同名字的列(TABLE COLUMN)之中。这里要注意，MySQL v5.0.7以后，MySQL的Stored Procere中不能再运行LOAD XML INFILE 或者LOAD DATA INFILE。所以转换的程序(procere)的编写方式与在此之前有所不同。这里，我们需要使用Load_File()和ExtractValue()这两个函数。

以下是一个示例XML文件和程序：
文件：
<?xml version="1.0"?>
<some_list>
<someone id="1" fname="Rob" lname="Gravelle"/>
<someone id="2" fname="Al" lname="Bundy"/>
<someone id="3" fname="Little" lname="Richard"/>
</some_list>

程序：
DELIMITER $$
CREATE DEFINER=`root`@`localhost` PROCEDURE `import_some_xml`(path varchar(255), node varchar(255))
BEGIN
declare xml_content text;
declare v_row_index int unsigned default 0;
declare v_row_count int unsigned;
declare v_xpath_row varchar(255);

set xml_content = load_file(path);

-- calculate the number of row elements.
set v_row_count = extractValue(xml_content, concat('count(', node, ')'));

-- loop through all the row elements
while v_row_index < v_row_count do
set v_row_index = v_row_index + 1;
set v_xpath_row = concat(node, '[', v_row_index, ']/@*');
insert into applicants values (
extractValue(xml_content, concat(v_xpath_row, '[1]')),
extractValue(xml_content, concat(v_xpath_row, '[2]')),
extractValue(xml_content, concat(v_xpath_row, '[3]'))
);
end while;
END

在MySQL中，使用它进行导入：

call import_some_xml('你的XML文件路径', '/some_list/someone');

程序相当的直白，只要了解一下MySQL的脚本编写即可。

这里提一下DELIMITER $$。我们知道MySQL的命令分隔符默认为分号，然而脚本中很显然是有分号的，但是我们并不希望立即执行，所以我们需要临时更改分隔符。

3. 将JSON文件导入MySQL

如何将JSON文件导入MySQL中，是一个很有趣的话题。JSON是一种现在相当常用的文件结构，所以掌握它的导入具有比较广泛的意义。

很多时候，我们处理的JSON数据是以如下形式出现的：
{"name":"Julia","gender":"female"}
{"name":"Alice","gender":"female"}
{"name":"Bob","gender":"male"}
{"name":"Julian","gender":"male"}

而并不是规整的[{},{},{},{}]（一些NoSQL数据库的Export）。

这样的形势对于载入有一个好处：因为每一行是一个JSON Object，所以我们便可以按行处理此文件，而不需要因为JSON的严格结构将整个文件（比如一个许多G的.json文件）全部载入。

方式一 使用common-schema

common-schema是一个应用很广泛的MySQL的框架，它有着很丰富的功能和详细的文档。我们可以使用它的JSON解析的功能。（它还具有JSON转换成XML等等方便的功能）

具体说来，将common-schema导入之后，使用它的extract_json_value函数即可。源码中：
create function extract_json_value(
json_text text charset utf8,
xpath text charset utf8
) returns text charset utf8

该函数接受两个参数，一个是json_text，表示json文件的内容，另一个是xpath，表示数据的结构（这里可以类比XML文件的处理）。很多读者应该知道，XPath是用来对XML中的元素进行定位的，这里也可以作一样的理解。

以本段开始的几行JSON为例，这里common-schema的使用如下例：
select common_schema.extract_json_value(f.event_data,'/name') as name, common_schema.extract_json_value(f.event_data,'/gender') as gender, sum(f.event_count) as event_count from json_event_fact f group by name, gender;

关于event_data，我们需要先理解LOAD DATA INFILE是一个event，不同的event type对应不同的event data。这部分知识可以参看Event Data for Specific Event Types

如果感兴趣，可以参看其源码。参看一个受到广泛使用的项目的源码，对于自身成长是很有益的。

当然了，我们也可以像之前处理XML文件导入一样，自己编写程序。这里便不再给出实例程序，有兴趣的读者可以自行编写或者跟笔者交流。

方式二 使用mysqljsonimport

这是Anders Karlsson的一个完成度很高的作品。这一份程序由C写成。它依赖于一个JSON Parser，Jansson。他们都有着比较好的维护和文档，所以使用上体验很好。

mysqljsonimport的下载在SourceForge上。具体使用参照其文档即可。

为了方便不熟悉源码安装的朋友，笔者在这里提一下安装流程和注意事项。
安装命令顺序如下：
$ wget http://sourceforge.net/projects/mysqljson/files/myjsonimport_1.6/mysqljsonimport-1.6.tar.gz
$ tar xvfz mysqljsonimport-1.6.tar.gz
$ cd mysqljsonimport-1.6
$ ./configure –-with-mysql=/xxx/mysql
$ make
$ make check
$ sudo make install

--with-mysql这一步不是必要的，只要你安装的mysql的路径是系统的默认路径。很关键的，而且很容易被不熟悉的朋友忽略的是，这一个C程序要成功编译和运行，是需要MySQL的C API的，所以需要安装的依赖，除了jansson，还有libmysqlclient-dev。

jansson的安装就是简单的源码安装，libmysqlclient-dev则可以使用包管理工具(比如ubuntu中使用apt-get即可；编译和安装前，建议先sudo apt-get update以避免不必要的麻烦)。

导入命令：
$ ./mysqljsonimport –-database test –-table tablename jsonfilename

还有一个parser，作者是Kazuho，感兴趣的读者可以参看一下，他的相关博文是mysql_json - a MySQL UDF for parsing JSON ，github项目是mysql_json。

4. 使用MySQL workbench

Workbench这个工具对于许多不熟悉SQL语言或者命令行的朋友还是很方便和友好的。利用它，可以方便地导入和导出CSV和JSON文件。

具体操作图例参见MySQL官方手册即可:Table Data Export and Import Wizard，这里不再赘述。

文／freenik（简书作者）
原文链接：http://www.jianshu.com/p/d330edb61fe2

㈢ Spring Batch教程（二）示例：将txt文件转成xml文件以及读取xml文件内容存储到数据库mysql

Spring Batch教程：txt文件转成xml文件以及读取xml文件内容存储到MySQL数据库

一、txt文件转换为xml

1. 使用Maven依赖：

   • 配置与Spring Batch相关的库，确保项目中包含Spring Batch的核心依赖。

2. 创建测试txt文件：

   • 创建一个名为personInfo.txt的测试文件，包含需要转换的数据。

3. 定义PersonInfo bean并创建FieldSetMapper：

   • 定义一个PersonInfo类来映射txt文件中的数据结构。
   • 创建FieldSetMapper实现类，用于将txt文件的每一行映射到PersonInfo对象。

4. 实现ItemProcessor：

   • 实现ItemProcessor接口，对PersonInfo对象进行处理，例如过滤salary字段，将大于等于100的值设置为100×0.8。

5. 添加JobExecutionListener：

   • 添加JobExecutionListener监听job的执行状态，以便在job开始和结束时执行自定义逻辑。

6. 配置job：

   • 在springbatchcontext2.xml中配置job，包括步骤、reader、processor和writer等组件。

7. 运行main类并验证输出：

   • 编写main类来运行job，并验证控制台输出和生成的personInfo.xml文件。

二、读取xml文件写入MySQL

1. 创建测试xml文件：

   • 创建一个名为PersonInfo.xml的测试文件，包含需要读取的数据。

2. PersonInfo bean设置和ItemProcessor处理：

   • 定义PersonInfo类。
   • 实现ItemProcessor接口，对PersonInfo对象进行处理，例如将salary小于75的值设置为1.5倍。

3. 增加JobExecutionListener：

   • 同txt转xml步骤，添加JobExecutionListener监听job的执行状态。

4. 创建数据转换器：

   • 实现数据转换器，将PersonInfo对象的属性映射到数据库表的字段。

5. 配置job和数据源：

   • 在springbatchcontext3.xml中配置job，包括步骤、reader、processor和writer。
   • 配置数据源，包括数据库连接信息、驱动和用户名密码等。

6. 运行main类并验证：

   • 编写main类来运行job，创建MySQL表，并验证控制台输出和数据库插入结果。

通过以上步骤，您可以实现txt文件到xml文件的转换，并将xml文件的内容读取后存储到MySQL数据库中。这两个示例展示了Spring Batch在文件处理和数据库操作中的强大功能。