Оператор LOAD XML. Загрузка данных в базу из XML

по состоянию на 2013 год…

единственный вариант экономии времени, на мой взгляд, для загрузки больших / огромных XML-файлов в SQL Server (как кто-то ранее кратко упоминал), чтобы использовать SQLXML 4.0 библиотека.

Это решение, которое я принял для загрузки огромных XML-файлов (7Гб в размере) на ежедневной основе. Предыдущий процесс, который использовал манипуляции C# в задаче скрипта, занял несколько часов. Использование sqlxml 4.0 занимает 15-20 минут. Как установить SQLXML 4.0. шаг за шагом!—15—>здесь. Для практических примеров в том, как это сделать end to end следуйте по этой ссылке MSDN.

мой XML также имеет вложенные элементы, поэтому он довольно сложный, в результате получается 10 таблиц с 2,5 до 4 миллионами строк каждая (ежедневный файл иногда больше 7 ГБ). Моя работа была основана исключительно на информации, которую я узнал из двух ссылок выше.

• преимущества:

  • быстро
  • это Microsoft (http://www.microsoft.com/en-gb/download/details.aspx?id=30403)
  • пакет SSIS будет очень упрощен
  • вам не нужно тратить часы и часы, чтобы изменить пакет служб SSIS, если ваша схема XML изменяется. SQLXML может создавать таблицы в SQL Server для вас каждый раз при запуске пакета на основе об отношениях XSD, которые вы предоставляете.

• недостатки

  • создание XSD может занять некоторое время и требует некоторых знаний. Когда я сделал это, я узнал что-то новое, так что это не было настоящим недостатком для меня.
  • видя, насколько прост пакет служб SSIS, ваш менеджер будет иметь впечатление, что вы не сделали никакой работы.

для просмотра больших файлов использовать Просмотр Больших Текстовых Файлов, милый маленький драгоценный камень.

Примечание: вопрос довольно старый, но «проблема» остается горячей. Я добавил этот пост для разработчиков, которые Google, как массовая загрузка XML-файлов в SSIS и земли здесь.

Я широко тестировал синтаксический анализатор MSSQL xml, bcp.exe утилита отлично работает для этого. Трюк придумывает правый Терминатор строки, так как это должно быть значение, которое не может возникнуть в вашем документе. Например, вы можете сделать следующее:

create table t1(x xml)

Ceate простой текстовый файл, содержащий только выбранный разделитель. Например, поместите эту строку в delim.txt:

-++++++++-

затем объедините это до конца экземпляра документа, из командной строки:

копировать myFile.xml + delim.txt вне.xml / b

после этого вы можете BCP его в базу данных, как:

bcp.тест ехе.dbo.Т1 из.в XML -Т-с-с — r -++++++++-

Если документ UTF-16, то замените переключатель-c на-w

первое, что я сделал, это получить первые X байтов (например, первый 1 МБ) XML-файлов, чтобы я мог взглянуть на них с помощью редактора по моему выбору.

Если у вас Cygwin установлен у вас уже есть хорошая утилита GNU, чтобы достичь этого:глава

head.exe -c1M comments.xml > comments_small.xml

кроме того, можно найти родной порт самой утилиты GNU здесь: http://unxutils.sourceforge.net/

для просмотра очень больших файлов, я нашел V просмотрщик файлов чтобы быть отличным.

Я использовал его для файлов размером до 8 ГБ. Для файлов с фиксированной длиной записи очень легко перемещаться по размеру блока, поскольку он основан на диске.

обратите внимание, что нет возможности редактирования.

сказав это, одна из трудностей с XML заключается в том, что это не очень хороший формат для больших «потоков», так как он имеет общее начало и конец структура и синтаксический анализатор, который не может держать весь файл в памяти, могут сделать некоторые довольно причудливые трюки, чтобы убедиться, что он соответствует DTD или схеме.

вы пробовали использовать OPENROWSET импортировать большие XML-файлы в таблицу SQL Server?

CREATE TABLE XmlTable( ID INT IDENTITY, XmlData XML)INSERT XmlTable(XmlData) SELECT * FROM OPENROWSET(BULK ‘(your path)xmldata.xml’, SINGLE_BLOB) AS X

поскольку у меня нет файлов 5GB под рукой, я не могу проверить это сам.

есть еще один способ решить эту проблему: потоковая передача Linq-to-Xml. Проверьте это блоге где Джеймс Ньютон-Кинг показывает, как читать XElement один за другим, и серия из двух частей здесь и здесь по той же теме командой Microsoft XML блог.

Марк

1

Shnugo 10 Июл 2020 в 21:34

1

Yitzhak Khabinsky 10 Июл 2020 в 15:13

Предположим, что таблица создана следующим образом:

Предположим, что данная таблица пуста.

Далее предположим, что существует простой XML-файл person.xml, который содержит следующие данные:

Для импорта данных в person.xml в таблицу person можно воспользоваться следующим оператором:

Считается, что person.xml находится в каталоге данных MySQL.

В ситуации, когда файл не может быть найден, появится следующее сообщение об ошибке:

Пункт ROWS IDENTIFIED BY » ставит в соответствие каждый элемент в XML-файле строке таблицы, в которую импортируются данные. В данном примере это таблица person в базе данных test.

В результате будут импортированы 6 строк в таблицу test.person. Проверить результат можно с помощью простого оператора SELECT:

Предположим, что существует файл address.xml, содержащий следующий XML:

Можно снова воспользоваться таблицей test.person, очистить все существующие записи и показать ее структуру:

Далее создадим таблицу address в базе данных test при использовании оператора CREATE TABLE:

Для импорта данных из XML-файла в таблицу person выполним следующий оператор LOAD XML, определяющий строки в виде элементов :

Проверить импорта записей выполняется с помощью оператора SELECT:

У элементов в XML-файле, начиная с , нет никаких соответствующих столбцов в таблице person , поэтому их пропускают.

Для импорта данных из элементов в таблицу address используем оператор LOAD XML, как показано на рисунке:

С помощью оператора SELECT можно проверить, были ли данные импортированы.

Данные из элемента не импортируется. Однако, столбец person_id в таблице address, значение атрибута person_id от родительского элемента для каждого импортируется в таблицу address.