Что такое CSV

CSV (Comma-Separated Values) представляет собой файл текстового формата, который предназначен для отображения табличных данных. При этом колонки разделяются запятой и точкой с запятой. Узнаем, с помощью каких приложений можно открыть данный формат.

Программы для работы с CSV

Как правило, для корректного просмотра содержимого CSV используются табличные процессоры, а для их редактирования можно применять и текстовые редакторы. Давайте подробнее рассмотрим алгоритм действий при открытии различными программами данного типа файлов.

Способ 1: Microsoft Excel

Рассмотрим, как запустить CSV в популярном текстовом процессоре Эксель, который входит в пакет Microsoft Office.

1. Запустите Excel. Перейдите во вкладку «Файл».



2. Перейдя в эту вкладку, нажимайте «Открыть».

   

   Вместо этих действий можно прямо находясь на листе применить Ctrl+O.

3. Появляется окошко «Открытие документа». С его помощью переместитесь туда, где размещен CSV. Обязательно выберете из списка форматов значение «Текстовые файлы» или «Все файлы». Иначе искомый формат просто не отобразится. Затем отметьте данный объект и нажимайте «Открыть», что вызовет «Мастер текстов».

Существует ещё один метод перехода в «Мастер текстов».

1. Переместитесь в раздел «Данные». Нажимайте на объект «Из текста», размещенный в блоке «Получение внешних данных».



2. Появляется инструмент «Импорт текстового файла». Так же, как и в окошке «Открытие документа», тут требуется перейти в область расположения объекта и отметить его. Выбирать форматы не нужно, так как при использовании этого инструмента объекты, содержащие текст, будут отображаться. Кликайте «Импорт».



3. Запускается «Мастер текстов». В первом его окошке «Укажите формат данных» ставьте радиокнопку в положение «С разделителями». В области «Формат файла» должен стоять параметр «Юникод (UTF-8)». Нажимайте «Далее».



4. Теперь необходимо выполнить очень важный шаг, от которого будет зависеть корректность отображения данных. Требуется указать, что именно считается разделителем: точка с запятой (;) или запятая (,). Дело в том, что в разных странах в этом плане применяются различные стандарты. Так, для англоязычных текстов чаще применяется запятая, а для русскоязычных – точка с запятой. Но бывают и исключения, когда разделители применяются наоборот. Кроме того, в очень редких случаях в качестве разделителей используются другие знаки, например волнистая линия (~).

   Поэтому пользователь сам должен установить, служит ли в данном случае конкретный символ разделителем или является обычным знаком пунктуации. Это он может сделать, взглянув на текст, который отображается в области «Образец разбора данных» и основываясь на логике.

   

   После определения пользователем того, какой именно знак является разделителем, в группе «Символом-разделителем является» следует установить флажок около пункта «Точка с запятой» или «Запятая». Со всех остальных пунктов флажки следует убрать. Затем нажимайте «Далее».



5. После этого открывается окно, в котором, выделив конкретный столбец в области «Образец разбора данных», можно назначить ему формат для корректности отображения информации в блоке «Формат данных столбца» путем переключения радиокнопки между следующими положениями:
   • пропустить столбец;
   • текстовый;
   • дата;
   • общий.

   После выполнения манипуляций нажимайте «Готово».



6. Появляется окошко, в котором спрашивается, где именно расположить на листе импортируемые данные. Путем переключения радиокнопки это можете сделать на новом или уже имеющемся листе. В последнем случае также можно задать точные координаты расположения в соответствующем поле. Чтобы не вписывать их вручную, достаточно поставить курсор в это поле, а затем выделить на листе ту ячейку, которая станет левым верхним элементом массива, где будут добавлены данные. После установки координат жмите «OK».



7. Содержимое объекта отобразится на листе Эксель.

Урок: Как запустить CSV в Экселе

Способ 2: LibreOffice Calc

Запускать CSV умеет и другой табличный процессор – Calc, входящий в сборку LibreOffice.

1. Запустите LibreOffice. Щелкайте «Открыть файл» или воспользуйтесь Ctrl+O.

   

   Также можете произвести переход через меню, нажав «Файл» и «Открыть…».

   

   Кроме того, в окно открытия можно попасть и непосредственно через интерфейс Calс. Для этого, находясь в LibreOffice Calc, щелкайте по значку в виде папки или наберите Ctrl+O.

   

   Ещё один вариант предусматривает последовательный переход по пунктам «Файл» и «Открыть…».



2. Использование любого из множества перечисленных вариантов приведет к появлению окна «Открыть». Переместитесь в нем в место нахождения CSV, отметьте его и жмите «Открыть».

   

   Но можно даже обойтись без запуска окна «Открыть». Для этого следует перетянуть CSV из «Проводника» в ЛибреОфис.



3. Появляется инструмент «Импорт текста», являющийся аналогом «Мастера текстов» в Экселе. Преимущество состоит в том, что в этом случае не придется перемещаться между различными окнами, выполняя настройки импорта, так как все необходимые параметры расположены в одном окошке.

   Сразу перейдите к группе настроек «Импорт». В области «Кодировка» выбирайте значение «Юникод (UTF-8)», если там отображается иное. В области «Язык» выберите язык текста. В области «Со строки» нужно указать, с какой именно строчки следует начинать импорт содержимого. В большинстве случаев в этот параметр изменение вносить не нужно.

   Далее переходим к группе «Параметры разделителя». Прежде всего, необходимо установить радиокнопку в позицию «Разделитель». Далее по такому же принципу, который был рассмотрен при использовании Эксель, нужно указать, установив флажок напротив определенного пункта, что именно будет играть роль разделителя: точка с запятой или запятая.

   «Другие параметры» оставляем без изменений.

   Предварительно увидеть, как именно выглядит импортируемая информация при изменении тех или иных настроек, можно в нижней части окна. После введения всех необходимых параметров нажимайте «OK».



4. Содержимое отобразится через интерфейс ЛибреОфис Кальк.

Способ 3: OpenOffice Calc

Просмотреть CSV можете с помощью ещё одного табличного процессора — OpenOffice Calc.

1. Запустите ОупенОфис. В главном окне нажимайте «Открыть…» или используйте Ctrl+O.

   

   Также можете использовать меню. Для этого перейдите по пунктам «Файл» и «Открыть…».

   

   Как и при использовании метода с предыдущей программой, добраться до окна открытия объекта можно прямо через интерфейс Кальк. В этом случае нужно нажать на иконку в образе папки или применить все то же Ctrl+O.

   

   Также можете использовать меню, перейдя в нем по позициям «Файл» и «Открыть…».



2. В появившемся окне открытия перейдите в область размещения CSV, выделите этот объект и жмите «Открыть».

   

   Можно обойтись и без запуска этого окна, просто перетянув CSV из «Проводника» в ОупенОфис.



3. Любое из множества описанных действий приведет к активации окошка «Импорт текста», которое очень похоже и по внешнему виду, и по функционалу на инструмент с аналогичным наименованием в LibreOffice. Соответственно и действия производите точно такие же. В полях «Кодировка» и «Язык» выставляйте «Юникод (UTF-8)» и язык текущего документа соответственно.

   В блоке «Параметра разделителя» ставьте радиокнопку около пункта «Разделитель», после чего отметьте флажком тот пункт («Точка с запятой» или «Запятая»), который соответствует типу разделителя в документе.

   После выполнения указанных действий, если данные в отображаемой в нижней части окна форме для предварительного просмотра отображаются корректно, нажимайте «OK».



4. Данные будут успешно отображены через интерфейс ОупенОфис Кальк.

Способ 4: Блокнот

Для редактирования можно применять обычный Блокнот.

1. Запустите Блокнот. В меню щелкайте «Файл» и «Открыть…». Или можете применить Ctrl+O.



2. Появляется окно открытия. Перейдите в нем в область нахождения CSV. В поле отображения форматов установите значение «Все файлы». Отметьте искомый объект. Затем жмите «Открыть».



3. Объект будет открыт, но, конечно, не в табличном виде, который мы наблюдали в табличных процессорах, а в текстовом. Тем не менее, в блокноте очень удобно редактировать объекты данного формата. Нужно просто учесть, что каждой строке таблицы соответствует строка текста в Блокноте, а столбцы разделены разделителями в виде запятых или точек с запятыми. Учитывая эти сведения, можно с легкостью вносить любые коррективы, меня текстовые значения, добавляя строки, убирая или добавляя разделители там, где это нужно.

Способ 5: Notepad++

Открывать можно и с помощью более продвинутого текстового редактора — Notepad++.

1. Включите Notepad++. Щелкните в меню «Файл». Далее выбирайте «Открыть…». Также можете применить Ctrl+O.

   

   Ещё один вариант предполагает нажатие на панели по иконке в виде папки.



2. Появляется окно открытия. В нем необходимо переместиться в ту область файловой системы, где расположен нужный CSV. После его выделения жмите «Открыть».



3. Содержимое отобразится в Notepad++. Принципы редактирования те же, что и при применении Блокнота, но Нотепад++ предоставляет намного большее количество инструментов для различных манипуляций с данными.

Способ 6: Safari

Просмотреть содержимое в текстовом варианте без возможности его редактирования можно в браузере Safari. Большинство других популярных браузеров такую возможность не предоставляют.

1. Запустите Сафари. Щелкайте «Файл». Далее жмите на «Открыть файл…».



2. Появляется окошко открытия. В нем требуется произвести перемещение в то место, где расположен CSV, который пользователь желает просмотреть. В обязательном порядке переключатель форматов в окошке необходимо установить в положение «Все файлы». Затем произведите выделение объекта с расширением CSV и нажимайте «Открыть».



3. Содержимое объекта откроется в новом окошке Сафари в текстовом виде, как это было в Блокноте. Правда, в отличие от Блокнота, редактировать данные в Safari, к сожалению, не получится, так как можно будет только осуществлять просмотр.

Способ 7: Microsoft Outlook

Некоторые объекты CSV представляют собой экспортированные из почтового клиента электронные письма. Их можно просматривать с помощью программы Microsoft Outlook, произведя процедуру импортирования.

1. Запустите Аутлук. После открытия программы перейдите во вкладку «Файл». Затем щелкните «Открыть» в боковом меню. Далее жмите «Импорт».



2. Запускается «Мастер импорта и экспорта». В представленном перечне выбирайте «Импорт из другой программы или файла». Нажимайте «Далее».



3. В следующем окне следует выбрать тип объекта для импорта. Если мы собираемся импортировать CSV, то необходимо выбрать позицию «Значения, разделенные запятыми (Windows)». Жмите «Далее».



4. В следующем окошке жмите «Обзор…».



5. Появляется окно «Обзор». В нем следует перейти в то место, где находится письмо в формате CSV. Обозначьте этот элемент и нажимайте «OK».



6. Происходит возврат в окошко «Мастера импорта и экспорта». Как можете заметить, в области «Файл для импорта» был добавлен адрес на место расположения объекта CSV. В блоке «Параметры» настройки можно оставить по умолчанию. Жмите «Далее».



7. Затем нужно отметить ту папку в почтовом ящике, в которую вы хотите поместить импортируемую корреспонденцию.



8. В следующем окне отобразится наименование действия, которое будет выполнено программой. Тут достаточно нажать «Готово».



9. После этого, чтобы просмотреть импортированные данные переместитесь во вкладку «Отправка и получение». В боковой области интерфейса программы выделите ту папку, куда было импортировано письмо. Затем в центральной части программы появится список писем, находящихся в данной папке. Достаточно щелкнуть по нужному письму дважды левой кнопкой мыши.



10. Импортированное из объекта CSV письмо будет открыто в программе Аутлук.

Стоит, правда, заметить, что данным способом можно запустить далеко не все объекты формата CSV, а только письма, структура которых отвечает определенному стандарту, а именно содержащие поля: тема, текст, адрес отправителя, адрес получателя и др.

Как видим, существует довольно много программ для открытия объектов формата CSV. Как правило, лучше всего просматривать содержимое таких файлов в табличных процессорах. Редактирование можно выполнять в виде текста в текстовых редакторах. Кроме того, существуют отдельные CSV с определенной структурой, с которыми работают специализированные программы, например почтовые клиенты.

lumpics.ru

CSV является стандартом де-факто для связи между собой разнородных систем, для передачи и обработки объемных данных с «жесткой», табличной структурой. Во многих скриптовых языках программирования есть встроенные средства разбора и генерации, он хорошо понятен как программистам, так и рядовым пользователям, а проблемы с самими данными в нем хорошо обнаруживаются, как говорится, на глаз.

История этого формата насчитывает не менее 30 лет. Но даже сейчас, в эпоху повального использования XML, для выгрузки и загрузки больших объемов данных по-прежнему используют CSV. И, несмотря на то, что сам формат довольно неплохо описан в RFC, каждый его понимает по-своему.

В этой статье я попробую обобщить существующие знания об этом формате, указать на типичные ошибки, а также проиллюстрировать описанные проблемы на примере кривой реализации импорта-экспорта в Microsoft Office 2007. Также покажу, как обходить эти проблемы (в т.ч. автоматическое преобразование типов Excel-ом в DATETIME и NUMBER) при открытии .csv.

Начнем с того, что форматом CSV на самом деле называют три разных текстовых формата, отличающихся символами-разделителями: собственно сам CSV (comma-separated values — значения, разделенные запятыми), TSV (tab-separated values — значения, разделенные табуляциями) и SCSV (semicolon separated values — значения, разделенные точкой с запятой). В жизни все три могут называться одним CSV, символ-разделитель в лучшем случае выбирается при экспорте или импорте, а чаще его просто «зашивают» внутрь кода. Это создает массу проблем в попытке разобраться.

Как иллюстрацию возьмем казалось бы тривиальную задачу: импортировать в Microsoft Outlook данные из таблицы в Microsoft Excel.

В Microsoft Excel есть средства экспорта в CSV, а в Microsoft Outlook — соответствующие средства импорта. Что могло быть проще — сделал файлик, «скормил» почтовой программе и — дело сделано? Как бы не так.

Создадим в Excel тестовую табличку:

… и попробуем экспортировать ее в три текстовых формата:

Какой вывод мы делаем из этого?.. То, что здесь Microsoft называет «CSV (разделители — запятые)», на самом деле является форматом с разделителями «точка с запятой». Формат у Microsoft — строго Windows-1251. Поэтому, если у вас в Excel есть Unicode-символы, они на выходе в CSV отобразятся в вопросительные знаки. Также то, что переводами строк является всегда пара символов, то, что Microsoft тупо берет в кавычки все, где видит точку с запятой. Также то, что если у вас нет Unicode-символов вообще, то можно сэкономить на объеме файла. Также то, что Unicode поддерживается только UTF-16, а не UTF-8, что было бы сильно логичнее.

Теперь посмотрим, как на это смотрит Outlook. Попробуем импортировать эти файлы из него, указав такие же источники данных. Outlook 2007: Файл -> Импорт и экспорт… -> Импорт из другой программы или файла. Далее выбираем формат данных: «Значения, разделенные запятыми (Windows)» и «Значения, разделенные табуляцией (Windows)».

Два майкрософтовских продукта не понимают друг друга, у них напрочь отсутствует возможность передать через текстовый файл структурированные данные. Для того, чтобы все заработало, требуются «пляски с бубном» программиста.

Мы помним, что Microsoft Excel умеет работать с текстовыми файлами, импортировать данные из CSV, но в версии 2007 он делает это очень странно. Например, если просто открыть файл через меню, то он откроется без какого-либо распознавания формата, просто как текстовый файл, целиком помещенный в первую колонку. В случае, если сделать дабл-клик на CSV, Excel получает другую команду и импортирует CSV как надо, не задавая лишних вопросов. Третий вариант — вставка файла на текущий лист. В этом интерфейсе можно настраивать разделители, сразу же смотреть, что получилось. Но одно но: работает это плохо. Например, Excel при этом не понимает закавыченных переводов строк внутри полей.

Более того, одна и та же функция сохранения в CSV, вызванная через интерфейс и через макрос, работает по-разному. Вариант с макросом не смотрит в региональные настройки вообще.

Стандарта CSV как такового, к сожалению, нет, но, между тем, существует т.н. memo. Это RFC 4180 2005-го года, в котором описано все довольно толково. За неимением ничего большего, правильно придерживаться хотя бы RFC. Но для совместимости с Excel следует учесть его собенности.

Вот краткая выжимка рекомендаций RFC 4180 и мои комментарии в квадратных скобках:

• между строками — перевод строки CRLF [на мой взгляд, им не стоило ограничивать двумя байтами, т.е. как CRLF (0×0D, 0×0A), так и CR 0×0D]
• разделители — запятые, в конце строки не должно быть запятой,
• в последней строке CRLF не обязателен,
• первая строка может быть строкой заголовка (никак не помечается при этом)
• пробелы, окружающие запятую-разделитель, игнорируются.
• если значение содержит в себе CRLF, CR, LF (символы-разделители строк), двойную кавычку или запятую (символ-разделитель полей), то заключение значения в кавычки обязательно. В противном случае — допустимо.
• т.е. допустимы переводы строк внутри поля. Но такие значения полей должны быть обязательно закавычены,
• если внутри закавыченной части встречаются двойные кавычки, то используется специфический квотинг кавычек в CSV — их дублирование.

Вот в нотации ABNF описание формата:

  file = [header CRLF] record *(CRLF record) [CRLF]  header = name *(COMMA name)  record = field *(COMMA field)  name = field  field = (escaped / non-escaped)  escaped = DQUOTE *(TEXTDATA / COMMA / CR / LF / 2DQUOTE) DQUOTE  non-escaped = *TEXTDATA  COMMA = %x2C  DQUOTE = %x22  LF = %x0A  CRLF = CR LF  TEXTDATA = %x20-21 / %x23-2B / %x2D-7E  

Также при реализации формата нужно помнить, что поскольку здесь нет указателей на число и тип колонок, поскольку нет требования обязательно размещать заголовок, здесь есть условности, о которых необходимо не забывать:

• строковое значение из цифр, не заключенное в кавычки может быть воспринято программой как числовое, из-за чего может быть потеряна информация, например, лидирующие нули,
• количество значений в каждой строке может отличаться и необходимо правильно обрабатывать эту ситуацию. В одних ситуациях нужно предупредить пользователя, в других — создавать дополнительные колонки и заполнять их пустыми значениями. Можно определиться, что количество колонок задается заголовком, а можно добавлять их динамически, по мере импорта CSV,
• Квотить кавычки через «слэш» не по стандарту, делать так не надо.
• Поскольку типизации полей нет, нет и требования к ним. Разделители целой и дробной частей в разных странах разные, и это приводит к тому, что один и тот же CSV, сгенрированный приложением, в одном экселе «понимается», в другом — нет. Потому что Microsoft Office ориентируется на региональные настройки Windows, а там может быть что угодно. В России там указано, что разделитель — запятая,
• Если CSV открывать не через меню «Данные», а напрямую, то Excel лишних вопросов не задает, и делает как ему кажется правильным. Например, поле со значением 1.24 он понимает по умолчанию как «24 января»
• Эксель убивает ведующие нули и приводит типы даже тогда, когда значение указано в кавычках. Делать так не надо, это ошибка. Но чтобы обойти эту проблему экселя, можно сделать небольшой «хак» — значение начать со знака «равно», после чего поставить в кавычках то, что необходимо передать без изменения формата.
• У экселя есть спецсимвол «равно», который в CSV рассматривается как идентификатор формулы. То есть, если в CSV встретится =2+3, он сложит два и три и результат впишет в ячейку. По стандарту он это делать не должен.

Пример валидного CSV, который можно использовать для тестов:

 Фамилия, Имя, Адрес, Город/штат, индекс, просто строка Иванов,Иван, Ленина 20, Москва, 08075, "1/3" Tyler, John,110 terrace, PA,20121, "1.24" "Петров  ""Кул""", Петя,120 Hambling St., NJ,08075, "1,24" Смирнов,Вася,"7452 Street ""Near the Square"" road", York, 91234, "3-01" ,Миша,,Ленинград, 00123, "03-01" "Джон ""Черная голова"", Клод",Рок,"", Маями бич,00111, "0000" Сергей,, 

точно такой же SCSV:

 Фамилия; Имя; Адрес; Город/штат; индекс; просто строка Иванов;Иван; Ленина 20; Москва; 08075;"1/3" Tyler; John;110 terrace; PA; 20121;"1.24" "Петров  ""Кул"""; Петя;120 Hambling St.; NJ;08075;"1,24" Смирнов;Вася;"7452 Street ""Near the Square"" road"; York; 91234;"3-01" ;Миша;;Ленинград; 00123;"03-01" "Джон ""Черная голова""; Клод";Рок;""; Маями бич;00111; "0000" Сергей;; 

Первый файлик, который реально COMMA-SEPARATED, будучи сохраненным в .csv, Excel-ом не воспринимается вообще.

Второй файлик, который по логике SCSV, экселом воспринимается и выходит вот что:

Ошибки Excel-я при импорте:

1. Учлись пробелы, окружающие разделители
2. Последний столбец вообще толком не распознался, несмотря на то, что данные в кавычках. Исключение составляет строка с «Петровым» — там корректно распозналось 1,24.
3. В поле индекс Excel «опустил» ведущие нули.
4. в самом правом поле последней строки пробелы перед кавычками перестали указывать на спецсимвол

Если же воспользоваться функционалом импорта (Данные -> Из файла) и обозвать при импорте все поля текстовыми, то будет следующая картина:

С приведением типов сработало, но зато теперь не обрабатываются нормально переводы строк и осталась проблема с ведущими нулями, кавычками и лишними пробелами. Да и пользователям так открывать CSV крайне неудобно.

Есть эффективный способ, как заставить Excel не приводить типы, когда это нам не нужно. Но это будет CSV «специально для Excel». Делается это помещением знака «=» перед кавычками везде, где потенциально может возникнуть проблема с типами. Заодно убираем лишние пробелы.

 Фамилия;Имя;Адрес;Город/штат;индекс;просто строка Иванов;Иван;Ленина 20;Москва;="08075";="1/3" Tyler; John;110 terrace;PA;="20121";="1.24" "Петров  ""Кул""";Петя;120 Hambling St.;NJ;="08075";="1,24" Смирнов;Вася;"7452 Street ""Near the Square"" road";York;="91234";="3-01" ;Миша;;Ленинград;="00123";="03-01" "Джон ""Черная голова"";Клод";Рок;"";Маями бич;="00111";="0000" Сергей;; 

И вот что случаеся, если мы открываем этот файлик в экселе:

Резюмирую.

Чтобы сгенерировать такой CSV, которым можно было бы пользоваться, пользователю нужно дать возможность сделать следующие настройки перед экспортом:

1. выбрать кодировку. Как правило, важно UTF-8, UTF-16, Windows-1251, KOI8-R. Чаще всего, других вариантов нет. Одна из них должна идти по умолчанию. В случае, если данные содержат символы, не имеющие аналогов в целевой кодировке, нужно предупреждать пользователя, что данные будут битые;
2. выбрать разделитель между полями. Варианты — табуляция, запятая, точка с запятой. По умолчанию — точка с запятой. Не забыть, что если разделитель вводится в тексте, то будет очень непросто ввести туда табуляцию, это еще и непечатный символ;
3. выбрать разделитель между строками (CRLF 0×0D 0×0A или CR 0×0D);
4. выбрать разделитель целой и дробной части для числовых данных (точка или запятая).
5. выбрать, выводить ли строку заголовка;
6. выбрать, каким образом осуществлять квотинг спецсимволов (особенно переводов строк и кавычек). В принципе, можно отступиться от стандарта и квотировать их как n и ", но нужно в этом случае не забыть квотировать сами n, если они встретятся и не забыть сделать это опцией при экспорте-импорте. Но совместимость пойдет лесом, потому что любой RFC-стандартный парсер конструкцию …,"abc«",… посчитает за ошибку;
7. совсем в идеале — поставить галочку «для Excel» и учитывать там те нестандартности, которые внесла Майкрософт. К примеру, заменять значения числовых полей, «похожих на дату», на конструкцию ="<значение поля>«.
8. определиться, нужно ли оставлять «хвост» из пустых разделителей, если он образуется. Например, из 20 полей только первое содержит данные, а остальные пустые. В итоге, в строке можно либо ставить после первого 19 разделителей, либо не ставить. Для больших объемов данных это может спасти миллисекунды обработки и уменьшить размер файла.

Чтобы построить хороший и удобный импортер CSV, необходимо помнить о следующем:

1. разбор файла нужно делать по лексемам в соответствии с грамматикой выше или пользоваться хорошо зарекомендовавшими себя готовыми библиотеками (Excel работает иначе, потому с импортом проблема);
2. предоставлять пользователю возможность выбрать кодировку (топ 4 достаточно);
3. предоставлять пользователю возможность выбрать разделитель между полями (запятая, табуляция, точка с запятой достаточно);
4. предоставлять пользователю возможность выбрать разделитель между строками, но кроме вариантов CR и CRLF нужно предусмотреть «CR или CRLF». Это связано с тем, что, например, Excel при экспорте таблицы с переводами строк внутри ячеек экспортирует эти переводы строк как CR, а остальные строки разделяет CRLF. При этом при импорте файла ему все равно, CR там или CRLF;
5. предоставлять пользователю возможность выбрать разделитель между целой и дробной частей (запятая или точка);
6. определиться с методом разбора — сначала читаем все в память, потом обрабатываем или обрабатываем строку за строкой. В первом случае может понадобиться больше памяти, во втором случае — ошибка в середине вызовет только частичный импорт, что может вызвать проблемы. Предпочительнее первый вариант.

Рауф Алиев,
заместитель технического директора Mail.Ru Group

habr.com

От автора: приветствую Вас дорогой друг. Интернет магазины в данное время очень популярны, а значит достаточно часто веб-мастера, занимаются разработкой сайтов именно этого типа. При этом любой магазин, конечно же, предполагает публикацию множества различных товаров, добавить которые вручную порой становится непосильной задачей. Потому как ее выполнение, требует огромного количества времени.

Поэтому если необходимо добавить большое количество товаров владельцы магазинов используют специальные скрипты по импорту, которые в считанные секунды или же минуты добавят в магазин несколько тысяч товаров. Конечно, разрабатываемый магазин должен поддерживать скрипты подобного рода.

Для всех современных CMS, которые используются для создания магазинов, написаны дополнительные модули или расширения по импорту/экспорту товаров, которые могут быть как встроенными, так и поставляться отдельно на платной или бесплатной основе. Но для самописного движка интернет магазина вышеуказанный функционал придется описывать самостоятельно. Поэтому в данном уроке мы с Вами напишем небольшое веб-приложение, которое реализует импорт товаров CSV.

Конечно, создаваемый скрипт будет не сложен и по сути не будет привязываться к реальному движку, потому как у каждого из Вас различные задачи и показать создание универсального инструмента в рамках парочки уроков просто невозможно. Я хотел бы рассмотреть принцип импорта товаров, то есть, что бы Вы увидели, как это можно сделать, и возможно это поможет Вам в решении некоторой реальной задачи.

Итак, в данном уроке мы будем рассматривать импорт товаров в формате CSV, то есть вся информация о добавляемых товарах будет содержаться в специальном файле с расширением .csv.

Формат CSV – это простой текстовый формат, предназначенный для представления различных табличных данных. То есть благодаря ему, сложная таблица может быть сохранена в виде простого текста, с специфическим форматированием. CSV – это аббревиатура, образованная английскими словами — Comma-Separated Values — значения, разделённые запятыми. Синтаксис указанного формата предполагает, что каждая строка файла – это одна строка таблицы. Данные, которые хранятся в колонках, разделены друг от друга знаком запятой (,).

Но согласитесь, что запятая – это символ, который конечно же может встречаться в тексте, в качестве знака пунктуации, поэтому на практике, часто используют в качестве разделителей другие знаки, к примеру – точка с запятой (;), что собственно мы с Вами и сделаем. В этом случае, правильно бы назвать формат – DSV (delimiter-separated values — значения разделённые разделителем), но на сегодняшний день под понятием CSV – понимают набор определенных текстовых значений разделенных определенным разделителем.

Как было сказано выше, создавать скрипт мы будем с чистого листа и по сути реализуем считывание данных документа CSV и запись полученной информации в таблицу “products” базы данных.

Структура таблицы следующая:

Формат CSV очень легко получить, используя в качестве исходной таблицы – таблицу Microsoft Excel. Конечно, Вы можете спросить – зачем преобразовывать таблицу в специальный формат, если можно осуществить импорт, читая содержимое каждой ячейки таблицы. И по большому счету — Да, мы можем это сделать. Но при этом придется использовать дополнительную библиотеку по работе с документами Excel. В свою очередь формат CSV – простой текстовый формат, который легко и быстро читается языком PHP, без каких либо дополнительных инструментов.

Теперь предположим, что поставщик передал нам следующий документ с информацией о доступных товарах:

Как Вы видите каждая строка таблицы – это отдельный товар. При этом в колонках, располагается информация, которая должна быть сохранена в соответствующие поля таблицы “products”.

Теперь давайте преобразуем данную таблицу в формат CSV, для этого переходим в меню “Файл”, далее выбираем пункт “Сохранить как”.

Затем при сохранении выбираем формат CSV (разделители-запятые).

Обратите внимание, что файл будет сохранен в кодировке Windows-1251, поэтому для дальнейшей работы необходимо сменить кодировку на UTF-8. Теперь можно приступать к созданию функционала будущего скрипта.

В данной части мы с Вами реализуем общую файловую структуру приложения, создадим глобальную точку входа и функцию автоматической загрузки классов, а так же опишем класс, который выполнит чтение документа формата CSV и вернет полученную информацию в виде многомерного массива, работать с которым мы будем на следующем уроке. Соответственно, как реализовать вышеуказанный функционал, детально показано в видео версии текущего урока.

Поэтому текстовая версия завершена, а значит жду Вас в видео. Всего Вам доброго и удачного кодирования!!!

webformyself.com

Программа 1: Microsoft Excel

Файл с расширением CSV хранит в себе данные, заключенные в табличный формат. Исходя из этого можно сделать вывод, что с ним взаимодействуют табличные редакторы. И это верный вывод. Именно поэтому при возникновении вопроса: «Чем открыть CSV?», большинство пользователей предлагают использовать один из самых популярных табличных редакторов — MS Excel.

Итак, перейдем непосредственно к тому, как открыть CSV в Excel:

1. Откройте приложение и на главном окне нажмите по вкладке «Файл».
2. В появившемся интерфейсе нажмите по пункту «Открыть». К слову, для вызова функции «Открыть» можно использовать сочетание горячих клавиш Ctrl+O.
3. Откроется окно файлового менеджера, в котором вам необходимо перейти в папку с файлом CSV, выделить его и нажать кнопку «Открыть».
4. Выбранный вами файл сначала запустится в «Мастере текстов», в котором необходимо будет произвести настройку некоторых параметров перед вставкой данных в книгу Excel.
5. Сначала вам необходимо поставить отметку напротив пункта «с разделителями», который находится в области «Формат исходных данных».
6. Затем вам нужно выбрать непосредственно кодировку, которая будет использоваться для расшифровки данных файла. В нашем регионе применяется кодировка «Юникод (UYF-8)». Выберите ее из списка «Формат файла».
7. Нажмите кнопку «Далее».
8. На втором этапе в Мастере текстов вам необходимо определиться с символом-разделителем, выбрав или точку с запятой, или запятую. Дело в том, что от этого будет зависеть корректность отображения добавляемой таблицы. Проще всего это сделать ориентируясь на образец, который приведен в нижней части окна. Выберите один из представленных пунктов и нажмите «Далее».
9. На третьем шаге вам будет предложено задать формат каждому столбцу отдельно. На самом деле в этом нет необходимости, так как на отображение данных это никак не повлияет, поэтому нажмите «Готово».
10. Появится новое окно, в котором вам необходимо выбрать область, в которую будет вставлена добавляемая таблица. Обычно выделяют ячейку «A1» и нажимают кнопку «OK».

После этого содержимое файла будет вставлено в таблицу. Теперь вы знаете, чем открыть CSV. Но это только одна программа, переходим к следующей.

Программа 2: LibreOffice Calc

На втором месте по популярности среди табличных редакторов программа LibreOffice Calc. Конечно, процесс открытия CSV в ней мало чем отличается от предыдущей программы, но описать его все же стоит.

1. Запустите приложение и в главном меню нажмите по кнопке «Открыть файл». Также это действие можно произвести, нажав Ctrl+O.
2. Появится окно файлового менеджера. В нем вам нужно выбрать файл CSV и нажать кнопку «Открыть».
3. Появится окно, подобное Мастеру текстов в Excel, только вместо разделения всех действий на три этапа, все действия производятся в одном окне.
4. В области «Импорт» выберите следующие параметры: «Кодировка» — «Юникод (UTF-8); «Язык» — «Русский»; «Со строки» — «1».
5. В области «Параметры разделителя» укажите пункт «Разделитель» и выберите «Запятая» или «Точка с запятой», как было рассказано выше, в зависимости от используемого разделителя в тексте файла.
6. Нажмите «ОК».

Таблица будет вставлена. Итак, вы узнали второй метод, чем открыть CSV, теперь перейдем к третьему.

Программа 3: «Блокнот»

Как бы странно это ни звучало, но формат CSV можно открыть даже в «Блокноте». Как говорилось в начале статьи, это файл текстового формата, соответственно, вы можете его открыть в текстовом редакторе. Итак, вот, что нужно сделать:

1. Запустите «Блокнот» и нажмите Ctrl+O.
2. В «Проводнике» выберите файл.
3. После этого он будет открыт в программе.

Вот так просто можно открыть CSV в обычном «Блокноте».

Заключение

Теперь вы знаете, чем открыть файл CSV — на выбор есть три программы. Ну, а в целом, можно сказать следующее: CSV-формат открывается в текстовых редакторах и табличных программах.

fb.ru

Как преобразовать CSV в Excel

Если Вам нужно вытащить какую-то информацию на лист Excel из базы данных Вашей компании, то первая же идея, что приходит на ум, – экспортировать базу данных в файл CSV, а затем импортировать файл CSV в Excel.

Существует 3 способа преобразования CSV в Excel: Вы можете открыть файл с расширением .csv непосредственно в Excel, дважды кликнуть по файлу в Проводнике Windows либо импортировать CSV в Excel, как внешний источник данных. Далее я подробно расскажу об этих трёх способах и укажу преимущества и недостатки каждого из них.

• Способ 1: Открываем файл CSV в Excel
• Способ 2: Открываем файл CSV в Excel при помощи Проводника Windows
• Способ 3: Импортируем CSV в Excel

Как открыть файл CSV в Excel

Даже если файл CSV создан в другой программе, Вы всегда можете открыть его как книгу Excel при помощи команды Open (Открыть).

Замечание: Открытие файла CSV в Excel не изменяет формат файла. Другими словами, файл CSV при этом не будет преобразован в файл Excel (формат .xls или .xlsx), он сохранит свой изначальный тип (.csv или .txt).

1. Запустите Microsoft Excel, на вкладке Home (Главная) нажмите Open (Открыть).
2. Появится диалоговое окно Open (Открытие документа), в выпадающем списке в нижнем правом углу выберите Text Files (Текстовые файлы).
3. Найдите в Проводнике Windows файл CSV и откройте его, дважды кликнув по нему.

Если Вы открываете файл CSV, то Excel откроет его сразу же вставив данные в новую книгу Excel. Если Вы открываете текстовый файл (.txt), то Excel запустит Мастер импорта текстов. Подробнее об этом читайте в разделе Импортируем CSV в Excel.

Замечание: Когда Microsoft Excel открывает файл CSV, то для того, чтобы понять, как именно импортировать каждый столбец данных, он использует настройки форматирования, заданные по умолчанию.

Если данные соответствуют хотя бы одному из следующих пунктов, то воспользуйтесь Мастером импорта текстов:

• В файле CSV использованы различные разделители;
• В файле CSV использованы различные форматы даты;
• Вы преобразуете данные, среди которых есть числа с нулём в начале, и Вы хотите сохранить этот ноль;
• Вы хотите предварительно просмотреть, как будут импортированы данные из файла CSV в Excel;
• Вам хочется большей гибкости в работе.

Чтобы заставить Excel запустить Мастер импорта текстов, Вы можете либо изменить расширение фала с .csv на .txt (прежде чем открывать файл), либо импортировать CSV в Excel так, как это будет описано далее.

Как открыть файл CSV при помощи Проводника Windows

Это самый быстрый способ открыть CSV в Excel. В Проводнике Windows дважды кликните по файлу .csv, и он откроется как новая книга Excel.

Однако, этот способ сработает только в том случае, если приложение Microsoft Excel установлено как программа, заданная по умолчанию, для открытия файлов .csv. Если это так, то Вы будете видеть знакомую иконку в Проводнике Windows рядом с именем файла.

Если Excel не является программой по умолчанию, вот как Вы можете это исправить:

1. Кликните правой кнопкой мыши по любому файлу .csv в Проводнике Windows и в открывшемся контекстном меню нажмите Open with (Открыть с помощью) > Choose default program (Выбрать программу).
2. Выберите Excel в списке рекомендованных программ, убедитесь, что стоит галочка для параметра Always use the selected program to open this kind of file (Всегда использовать выбранное приложение для такого типа файлов) и нажмите ОК.

Как импортировать CSV в Excel

Этим способом Вы можете импортировать данные из файла .csv в существующий или в новый лист Excel. В отличие от предыдущих двух способов, он не просто открывает CSV в Excel, а именно конвертирует формат .csv в .xlsx (если Вы используете Excel 2007, 2010 или 2013) или .xls (в версиях Excel 2003 и более ранних).

1. Откройте нужный лист Excel и кликните по ячейке, куда нужно импортировать данные из файла .csv или .txt.
2. На вкладке Data (Данные) в разделе Get External Data (Получение внешних данных) кликните From Text (Из текста).
3. Найдите файл .csv, который требуется импортировать, выберите его и нажмите кнопку Import (Импорт), или просто дважды кликните по нужному CSV файлу.
4. Откроется Мастер импорта текстов, Вам нужно просто выполнить его шаги.

Прежде, чем мы двинемся дальше, пожалуйста, посмотрите на снимок экрана ниже, на нем показан исходный файл CSV и желаемый результат в Excel. Надеюсь, это поможет Вам лучше понять, почему мы выбираем те или иные параметры настроек в последующем примере.

4. 
   • Шаг 1. Выберите формат данных и номер строки, с которой нужно начинать импорт. Чаще всего выбирают Delimited (С разделителями) и со строки 1. Область предварительного просмотра в нижней части диалогового окна мастера показывает первые несколько записей импортируемого файла CSV.
   • Шаг 2. На этом шаге нужно выбрать разделители и ограничитель строк. Delimiter (Разделитель) – это символ, который разделяет значения в файле CSV. Если в Вашем файле CSV использован какой-то символ, которого нет в предложенном списке, то поставьте галочку в варианте Other (Другой) и введите нужный символ. В нашем примере мы указали Tab (Знак табуляции) и Comma (Запятая), чтобы каждый товар (они разделены табуляцией) начинался с новой строки, а информация о товаре, например, ID и данные о продажах (они разделены запятыми), были помещены в разные ячейки.Text qualifier (Ограничитель строк) – это символ, в который заключены отдельные значения. Весь текст, заключённый между такими символами, например, «текст1, текст2», будет импортирован как одно значение, даже если в этом тексте содержится символ, указанный Вами как разделитель.В этом примере мы указали запятую как разделитель, и кавычки как ограничитель строк. В результате, все числа с разделителем десятичных разрядов (которым тоже в нашем случае служит запятая!) будут импортированы в одну ячейку, как это видно в области предпросмотра на рисунке ниже. Если мы не укажем кавычки как ограничитель строк, то все числа будут импортированы в разные ячейки.

     

   • Шаг 3. Посмотрите в область Data preview (Образец разбора данных). Если Вы довольны тем, как выглядят Ваши данные, тогда жмите кнопку Finish (Готово).

Совет: Если в Вашем файле CSV используется последовательно более одной запятой или другого символа-разделителя, то поставьте галочку для параметра Treat consecutive delimiters as one (Считать последовательные разделители одним), чтобы избежать появления пустых ячеек.

5. Выберите, куда вставлять импортированные данные, на существующий или на новый лист, и нажмите ОК, чтобы завершить импорт файла CSV в Excel.

Совет: Вы можете нажать кнопку Properties (Свойства), чтобы настроить дополнительные параметры, такие как обновление, разметка и форматирование для импортированных данных.

Замечание: Если Ваш файл CSV содержит численные данные или даты, Excel может преобразовать их с ошибками. Чтобы изменить формат импортированных данных, выберите столбец (столбцы), в которых возникли ошибки, кликните по ним правой кнопкой мыши и в контекстном меню выберите Format cells (Формат ячеек).

Преобразование CSV в Excel: проблемы и решения

Формат CSV используется уже более 30 лет, но несмотря на его длительную историю, он никогда не был официально задокументирован. Название CSV (Comma-Separated Values) возникло из-за использования запятых для разделения полей данных. Но это в теории. На самом деле, множество так называемых CSV-файлов используют другие символы для разделения данных, например:

• Табуляция – TSV-файлы (tab-separated values)
• Точка с запятой – SCSV-файлы (semicolon separated values)

Некоторые вариации файлов CSV разделяют поля данных одинарными или двойными кавычками, другие требуют маркер последовательности байтов из Юникода (BOM), например, UTF-8, для корректной интерпретации Юникода.

Это отсутствие стандартов порождает разнообразные проблемы, с которыми Вы можете столкнуться, пытаясь преобразовать файл Excel в CSV, и особенно, когда импортируете файл CSV в Excel. Давайте разберёмся с известными проблемами, начиная с самой распространённой.

• Файл CSV отображается в Excel неправильно (все данные помещены в первый столбец)
• Первые нули потеряны при открытии файла CSV в Excel
• Значения преобразованы в даты при импорте файла CSV в Excel

Файл CSV отображается в Excel неправильно

Признаки: Вы пытаетесь открыть файл CSV в Excel, и все данные попадают в первый столбец.

Причина: Корень проблемы кроется в том, что в Ваших региональных и языковых настройках Windows и в Вашем файле CSV установлены различные разделители. В Северной Америке и некоторых других странах разделителем полей списка по умолчанию является запятая. В то время как в Европейских странах запятая используется как разделитель десятичных разрядов, а разделителем полей списка является точка с запятой.

Решение: Есть несколько возможных решений этой проблемы. Вы можете быстро просмотреть приведённые ниже рекомендации и выбрать наиболее подходящие для конкретно Вашей задачи.

1. Укажите правильный разделитель непосредственно в файле CSV. Откройте файл CSV в любом текстовом редакторе (подойдёт даже обычный блокнот) и в первой строке вставьте следующий текст. Обратите внимание, что это должна быть отдельная строка перед любыми другими данными:
   • Чтобы установить разделитель запятую: sep=,
   • Чтобы установить разделитель точку с запятой: sep=;

   Как Вы уже догадались, таким образом можно установить в качестве разделителя любой другой символ, просто указав его сразу после знака равенства.

2. Выберите нужный разделитель в Excel. В Excel 2013 или 2010 на вкладке Data (Данные) в разделе Data Tools (Работа с данными) нажмите Text To Columns (Текст по столбцам).Когда запустится Мастер распределения текста по столбцам, на первом шаге выберите формат данных Delimited (С разделителями) и нажмите Next (Далее). На втором шаге выберите нужный разделитель и нажмите Finish (Готово).

   

3. Измените расширение с .csv на .txt. Открытие файла .txt в Excel приведёт к запуску Мастера импорта текстов, и Вы сможете выбрать нужный разделитель, как это было описано в разделе Как импортировать CSV в Excel.
4. Откройте файл CSV с точкой с запятой в качестве разделителя при помощи VBA. Вот пример кода VBA, который открывает в Excel файл CSV, где в качестве разделителя используется точка с запятой. Код был написан несколько лет назад для более ранних версий Excel (2000 и 2003), но если Вы достаточно хорошо знакомы с VBA, то у Вас не должно возникнуть проблем с его обновлением или изменением для работы с файлами CSV с запятой в качестве разделителя.

Замечание: Все показанные решения изменяют разделитель только для данного файла CSV. Если Вы хотите раз и навсегда изменить разделитель, заданный по умолчанию, то Вам подойдёт следующее решение.

5. Изменяем разделители в настройках региональных стандартов. Нажмите кнопку Start (Пуск) и запустите Control Panel (Панель управления), кликните пункт Region and Language (Региональные стандарты) > Additional Settings (Дополнительные параметры). Откроется диалоговое окно Customize Format (Настройка формата), в котором Вам нужно выбрать точку (.) для параметра Decimal symbol (Разделитель целой и дробной части), и установить запятую (,) для параметра List separator (Разделитель элементов списка).

Примечание переводчика: Данные настройки приведены для английской локализации Excel (и ряда других стран). Для русской локализации привычнее будет использовать запятую в качестве разделителя целой и дробной части и точку с запятой для разделения элементов списка.

5. Дважды нажмите ОК, чтобы закрыть диалоговые окна – всё готово! С этого момента Microsoft Excel будет открывать и отображать все файлы CSV (с разделителем запятой) корректно.

Замечание: Установка в Панели управления Windows символов-разделителей целой и дробной части и элементов списка изменит настройки символов, заданные по умолчанию, для всех программ на Вашем компьютере, а не только в Microsoft Excel.

Первые нули теряются при открытии файла CSV в Excel

Признаки: Ваш файл CSV содержит значения с первыми нулями, и эти нули теряются при открытии файла CSV в Excel.

Причина: По умолчанию, Microsoft Excel отображает файл CSV в формате General (Общий), в котором первые нули отсекаются.

Решение: Вместо того, чтобы открывать файл .csv в Excel, запустите, как мы это делали ранее, Мастер импорта текстов, чтобы конвертировать файл CSV в Excel.

На шаге 3 мастера выберите столбцы, содержащие значения с первыми нулями и измените формат этих столбцов на текстовый. Так Вы конвертируете Ваш файл CSV в Excel, сохранив нули на своих местах.

Excel преобразует некоторые значения в даты при открытии файла CSV

Признаки: Некоторые значения в Вашем файле CSV похожи на даты, и Excel автоматически преобразует такие значения из текстового формата в формат даты.

Причина: Как упоминалось выше, Excel открывает файл CSV в формате General (Общий), при этом значения, похожие на даты, преобразует из текстового формата в формат даты. Например, если Вы открываете файл CSV, содержащий логины пользователей, то запись «апр23» будет преобразована в дату.

Решение: Преобразуйте файл CSV в Excel при помощи Мастера импорта текстов. На шаге 3 мастера выберите столбцы с записями, похожими на даты, и измените формат столбца на текстовый.

Если Вам нужно достичь противоположного результата, то есть в определённом столбце преобразовать значения в даты, тогда установите формат Date (Дата) и выберите подходящий формат даты в выпадающем списке.

Как импортировать в Excel несколько файлов CSV

Думаю, Вы знаете, что Microsoft Excel позволяет открывать несколько файлов CSV при помощи команды Open (Открыть).

1. На вкладке File (Файл) нажмите Open (Открыть) и в выпадающем списке в нижней правой части диалогового окна выберите Text Files (Текстовые файлы).
2. Чтобы выделить несколько файлов подряд, кликните по первому файлу, затем нажав и удерживая клавишу Shift, кликните по крайнему файл. Оба эти файла, а также все, что находятся между ними, будут выделены.Чтобы выделить файлы, расположенные не подряд, удерживайте клавишу Ctrl и щелкайте по каждому файлу .csv, который хотите открыть.
3. Когда выделены все нужные файлы CSV, нажмите кнопку Open (Открыть).

Этот способ простой и быстрый, и мы могли бы назвать его отличным, если бы не одно обстоятельство – каждый файл CSV открывается таким образом как отдельная книга Excel. На практике переключение туда-сюда между несколькими открытыми файлами Excel может быть крайне неудобным и обременительным.

Надеюсь, теперь Вы легко сможете преобразовать любой файл CSV в Excel. Если у Вас возникают какие-либо вопросы или сложности, смело пишите мне в комментариях. И благодарю за терпение каждого, кто осилил чтение этой длинной статьи до самого конца!

office-guru.ru