Если есть многосточный текстовый файл, который нужно разделить на части - быстро и не вручную, то есть несколько вариантов для этого.

Как разделить текстовый файл построчно

В порядке предпочтения/простоты использования и убывания приоритета:

 

1. С помощью Windows Powershell

Команда в одну строчку:

 

gc file.txt -readcount 1000 | ForEach-Object { $i=0 } { $_ | Out-File "new_file${i}.txt"; $i++}

 

gc - сокращенный вариант команды GetContent (чтение файла);

file.txt - исходный многострочный файл, который нужно разделить на несколько с меньшим количеством строк;

1000 - число строк в каждом файле на выходе;

new_file${i}.txt - маска для имени файлов на выходе, вместо ${i} будет инкремент числа от 0 и далее.

Как разделить текстовый файл построчно

Это самый простой и быстрый вариант, причем Powershell легко справится с большими файлами (2 миллиона строк и более).

Условие: пользователь должен хоть чуть-чуть дружить с командной строкой.

Дальше можно не читать :)

 




  

 

2. С помощью BAT-файла

Создать текстовый файл со следующим содержимым:

Как разделить текстовый файл построчно

Сохранить его с расширением BAT в пустую папку. Скопировать в эту же папку текстовый файл, который необходимо разделить на части, указав его название (см. 3 срочку) и нужное количество строк в финальных результирующих файлах (см. 5 срочку). Сохранить изменения в BAT-файле.

Запустить BAT-файл и дождаться окончания работы.

Чтобы вручную не набирать текст батника, его содержимое:

 

@Echo Off
SetLocal enabledelayedexpansion
Set list=big_text_file.txt
REM ## Количество строк в выходных файлах:
Set str=500

Set Num=%str%& Set File=0
For /F "tokens=* usebackq delims=" %%i In ("%list%") Do (
Set /a Num+=1
If !Num! GEQ %str% (
Set Num=0
Set /a File+=1
Set nFile=0!File!
Set nFile=!nFile:~-2!
Echo %%i>New_File!nFile!.txt
) Else Echo %%i>>New_File!nFile!.txt
)
Pause
Exit

 

 

3. С помощью Windows-приложения

Есть несколько таких программ - как бесплатных, так и платных.

Возможно, позже будут приведены примеры.

 

 

4. С помощью Web-приложения

Есть сайты, которые предлагают различные действия по форматированию и обработке файлов.

Некоторые из них при проверке совсем отказались работать, один отработал вроде бы корректно, но скачивать по-одному 30 текстовых файлов совсем не радовало - разработчики данного сервиса могли бы добавить архивирование пакета файлов в один, чтобы было удобно скачивать результат.

Как разделить текстовый файл построчно

Также при использовании больших файлов - размером 100 Мб и более может быть проблемс с загрузкой - она может оборваться в процессе из-за нестабильного или низкоскоростного интернет-соединения, или у сервера параметр "max_upload_size" установлен на меньшее значение, чем ваш файл.

Еще один минус онлайн-сервисов - не стоит загружать на непонятно чьи сайты свои важные и конфиденциальные файлы. 

 

Комментарии (3)

This comment was minimized by the moderator on the site

а куда должны сохраниться файлы ?

This comment was minimized by the moderator on the site

а куда должны сохраниться файлы ?

В исходную папку (если пробуете вариант №1). Только имя файла надо указать отличное от исходного

This comment was minimized by the moderator on the site

А сколько будет вторым вариантом обрабатываться файл на 20-30 млн строк по времени примерно ?
И как понять что процесс успешно запустился ? У меня прост cmd после запуска висит со строчкой нажать любую кнопку для выхода

Здесь не опубликовано еще ни одного комментария

Оставьте свой комментарий

  1. Опубликовать комментарий как Гость.
0 Значки
Вложения (0 / 3)
Поделитесь своим местоположением

      Debian 10 + Oracle = Любовь!
      Debian 10 + Oracle = Любовь!

      Или "Как установить и настроить Oracle Instant Client и oci8 (PECL) на Linux Debian 10" Если у вас есть задача, требующая с помощью php обращаться к базе данных ORACLE, то эта статья для вас. Мне пришлось прочитать много разных статей в интернете (из которых ни одна не дала результата), кучу технической документации от ORACLE и по php, провести много экспериментов, потом откатить сервер в...




      Cовершенствование методов сбора и анализа статистических данных по факторам риска
      Cовершенствование методов сбора и анализа статистических данных по факторам риска

      Межгосударственный авиационный комитет 16 ноября 2011 года, Бексаев Введение Необходимость сбора больших объёмов данных, связанных с безопасностью полётов, и обработки этих массивов в кратчайшие сроки всё больше диктует необходимость использования компьютерных технологий при передаче/приёме и обработке данных. В настоящее время всё чаще для сбора и анализа данных используются электронный документооборот, что...




      Оптимизация и Настройка операционной системы Windows 7
      Оптимизация и Настройка операционной системы Windows 7

      Не смотря на то, что маркетологи Microsoft рвут на своих попах волосы, уверяя пользователей, что их очередная новая операционная система просто суперская и не имеет ни одного изъяна и косяка и совершенно не требует абсолютно никакой дополнительной настройки, им мало кто верит. Тем более, что практика показывает, что операционные системы Windows - как российские автомобили: чтоб нормально поехать на нем...




      Невозможно прочитать файл iTunes.Library.itl
      Невозможно прочитать файл iTunes.Library.itl

      Пользователи операционной системы Windows могут попасть в ситуацию, когда при запуске программы iTunes, программа не запустится, а только отобразит сообщение о невозможности своего запуска: Файл «iTunes Library.itl» невозможно прочитать, так как он был создан более новой версией программы iTunes. Основная причина подобного нежелания программы iTunes не запускаться состоит в том, что кто-то удалил программу iTunes, затем...




      Что такое UDID и как его узнать для своего устройства?
      Что такое UDID и как его узнать для своего устройства?

      UDID (Unique Device Identifier) - уникальный идентификатор устройства, состоящий из 40 символов. Он есть у каждого мобильного i-устройства: iPad, iPhone или iPod Touch. UDID может использоваться, например, для бета-тестирования программ. Вы предоставляете разработчику программы свой UDID, он же, в свою очередь, предоставляет вам приложение для бета-тестирования.




      Advego Plagiatus - проверка уникальности текстов
      Advego Plagiatus - проверка уникальности текстов

      Advego Plagiatus - замечательная программа с интуитивно понятным интерфейсом, предназначенная для поиска в Интернете частичных или полных копий текста. Например, написал ты статью - а, оказывается, она уже давным-давно размещена в Интернете на каком-то сайте и написана практически такими же словами :) И, так вот, чтобы не ударить "грязью в лицо", статью эту нужно предварительно проверить на...




      Apple MDM - использование iOS-устройств на предприятии
      Apple MDM - использование iOS-устройств на предприятии

      Устройства iPad и iPhone способны трансформировать бизнес компании и методы работы сотрудников организации. Эти устройства могут существенно повысить продуктивность, дать свободу действий и дополнительный запас гибкости, позволив работать по-новому, не так, как раньше. Новый подход к выполнению рабочих обязанностей идёт на пользу всей организации.



Яндекс.Метрика
Сайт работает на быстром VPS/VDS хостинге от FASTVPS