Если есть многосточный текстовый файл, который нужно разделить на части - быстро и не вручную, то есть несколько вариантов для этого.

Как разделить текстовый файл построчно

В порядке предпочтения/простоты использования и убывания приоритета:

 

1. С помощью Windows Powershell

Команда в одну строчку:

 

gc file.txt -readcount 1000 | ForEach-Object { $i=0 } { $_ | Out-File "new_file${i}.txt"; $i++}

 

gc - сокращенный вариант команды GetContent (чтение файла);

file.txt - исходный многострочный файл, который нужно разделить на несколько с меньшим количеством строк;

1000 - число строк в каждом файле на выходе;

new_file${i}.txt - маска для имени файлов на выходе, вместо ${i} будет инкремент числа от 0 и далее.

Как разделить текстовый файл построчно

Это самый простой и быстрый вариант, причем Powershell легко справится с большими файлами (2 миллиона строк и более).

Условие: пользователь должен хоть чуть-чуть дружить с командной строкой.

Дальше можно не читать :)

 




  

 

2. С помощью BAT-файла

Создать текстовый файл со следующим содержимым:

Как разделить текстовый файл построчно

Сохранить его с расширением BAT в пустую папку. Скопировать в эту же папку текстовый файл, который необходимо разделить на части, указав его название (см. 3 срочку) и нужное количество строк в финальных результирующих файлах (см. 5 срочку). Сохранить изменения в BAT-файле.

Запустить BAT-файл и дождаться окончания работы.

Чтобы вручную не набирать текст батника, его содержимое:

 

@Echo Off
SetLocal enabledelayedexpansion
Set list=big_text_file.txt
REM ## Количество строк в выходных файлах:
Set str=500

Set Num=%str%& Set File=0
For /F "tokens=* usebackq delims=" %%i In ("%list%") Do (
Set /a Num+=1
If !Num! GEQ %str% (
Set Num=0
Set /a File+=1
Set nFile=0!File!
Set nFile=!nFile:~-2!
Echo %%i>New_File!nFile!.txt
) Else Echo %%i>>New_File!nFile!.txt
)
Pause
Exit

 

 

3. С помощью Windows-приложения

Есть несколько таких программ - как бесплатных, так и платных.

Возможно, позже будут приведены примеры.

 

 

4. С помощью Web-приложения

Есть сайты, которые предлагают различные действия по форматированию и обработке файлов.

Некоторые из них при проверке совсем отказались работать, один отработал вроде бы корректно, но скачивать по-одному 30 текстовых файлов совсем не радовало - разработчики данного сервиса могли бы добавить архивирование пакета файлов в один, чтобы было удобно скачивать результат.

Как разделить текстовый файл построчно

Также при использовании больших файлов - размером 100 Мб и более может быть проблемс с загрузкой - она может оборваться в процессе из-за нестабильного или низкоскоростного интернет-соединения, или у сервера параметр "max_upload_size" установлен на меньшее значение, чем ваш файл.

Еще один минус онлайн-сервисов - не стоит загружать на непонятно чьи сайты свои важные и конфиденциальные файлы. 

 

Комментарии (3)

This comment was minimized by the moderator on the site

а куда должны сохраниться файлы ?

This comment was minimized by the moderator on the site

а куда должны сохраниться файлы ?

В исходную папку (если пробуете вариант №1). Только имя файла надо указать отличное от исходного

This comment was minimized by the moderator on the site

А сколько будет вторым вариантом обрабатываться файл на 20-30 млн строк по времени примерно ?
И как понять что процесс успешно запустился ? У меня прост cmd после запуска висит со строчкой нажать любую кнопку для выхода

Здесь не опубликовано еще ни одного комментария

Оставьте свой комментарий

  1. Опубликовать комментарий как Гость.
0 Значки
Вложения (0 / 3)
Поделитесь своим местоположением

      Как узнать IP-адрес сайта
      Как узнать IP-адрес сайта

      В сети интернет есть несколько сервисов, которые могут сообщить IP-адрес сайта. Зачастую, эти сайты кроме ввода имени домена требуют ввести капчу, иногда имя и адрес электронной почты... - вот такая бюрократия! Для того, чтобы определить IP-адрес DNS-сервера, к которому относится сайт, точнее его доменное имя, и без ввода всяких дополнительных даных, существует несколько способов. Самый простой - это через...




      Как скрыть покупки AppStore
      Как скрыть покупки AppStore

      В процессе использования iPad мы устанавливаем различные приложения, тестируем их. Некоторые оставляем надолго и пользуемся ими, а некоторые - всякий мусор - без жалости удаляем, осознав их дальнейшую ненадобность или просто несостоятельность, бесполезность, тупость или др. Первый довод: Яблочная система так устроена (через одно место), что даже удалив с планшета приложение, информация о нем остается в системе и, открыв...




      Многофункциональный авиационный калькулятор
      Многофункциональный авиационный калькулятор

      Некоторым авиационным специалистам (пилотам, штурманам), а также курсантам авиационных училищ в определенный момент времени может понадобиться инструмент для выполнения некоторых инженерных расчетов. В качестве такого инструмента может выступать навигационная линейка НЛ-10, или компьютерная программа.




      Фразы про ЛИЦО (FACE)
      Фразы про ЛИЦО (FACE)

      Выражения, в которых используется слово ЛИЦО (face), использование их в повседневной речи и сравнение с русскими аналогами.   1. FACE THE MUSIC (досл.: «встретить музыку») По-русски это означает: держать ответ за что-либо, расплачиваться, "расхлёбывать кашу".Пример: You’ve made a mistake; now you’ll have to face the music.Ты совершил ошибку, теперь тебе придется за нее расплачиваться.




      Henry Emery & Andy Roberts - Aviation English
      Henry Emery & Andy Roberts - Aviation English

      Aviation English by Henry Emery & Andy Roberts - новый курс английского языка, предназначенный для подготовки летных специалистов (пилотов, борт-радистов, штурманов и авиадиспетчеров) к 4-му уровню владения английским языком по шкале ИКАО. Материал Aviation English by Henry Emery & Andy Roberts отвечает всем требованиям, предъявляемым к языковой подготовке авиаперсонала (DOC 9825 ИКАО – «ICAO...




      Программа для офисного бездельника
      Программа для офисного бездельника

      "Ура!" - воскликнут дружно все офисные лодыри и бездельники. Ведь для них создана специальная программа для имитации бурной деятельности (ИБД). То есть теперь можно, запустив эту программу, сидеть перед компьютером и ничего не делать. Отмазка по поводу безделья есть: "Осуществляется важный процесс, который нельзя прерывать!".




      URL-encoding & ASCII Characters
      URL-encoding & ASCII Characters

      Современные web-технологии поддерживают не только якобы сложные русские тексты (по сравнению с попсовой латиницей), но и всякие китайские и японские иероглифы и другие непонятные загогулины. Но раньше такого счастья не было, и web-разработчикам приходилось использовать специальные комбинации знаков для кодирования специальных символов, таких как вопросительный знак, восклицательный знак,...



Яндекс.Метрика
Сайт работает на быстром VPS/VDS хостинге от FASTVPS