Директория S3

Источник данных Директория S3 позволяет выбрать из указанной корзины в облачном хранилище файлы и поочередно передавать их для обработки в узел Цикл по элементам.

Входные данные — отсутствуют.
Выходные данные — множество файлов.

Совет

Объектное хранилище отличается от привычных дисков, папок и файлов. Объекты(файлы) физически хранятся в некоторой именованной логической куче (корзине) и уникально идентифицируются ключом, который только похож на привычный полный путь в файлу. Основное отличие в том, что никаких папок нет, разделитель является логическим и может быть представлен любым символом. По умолчанию система интерпретирует символы / и \ как разделители и позволяет работать с облачным хранилищем как с обычной папкой. См. примеры шаблонов фильтров.

Свойства узла

  • Название

Укажите название узла, которое будет отображаться на диаграмме процесса и в журнале событий.

  • Описание

Укажите произвольное описание узла.

  • Корзина
    Некоторая логическая сущность для организации общего хранения объектов (файлов). У различных поставщиков чаще всего называется бакет (bucket) или корзина. Позволяет обеспечить общую точку назначения прав или единый адрес доступа. Может быть частью адреса.

  • Префикс ключа
    Все ключи (пути к файлам см. замечание выше) должны начинаться с этой строки. Может быть не указан.

  • Шаблон файлов
    Позволяет установить условие выбора файлов из директории, по заданному шаблону.
    В шаблоне можно использовать специальные символы:
    * — обозначает любое количество любых символов в имени файла.
    ? — обозначает один любой символ в имени файла
    []— обозначает один любой символ из набора. Например *.[ct]sv выберет все файлы, оканчивающиеся на .csv или .tsv
    {}— обозначает одну любую строку из набора. Например *.{xls,xlsx,xlsm} выберет все файлы, оканчивающиеся на .xlsx, .xls или .xlsm
    [!]— обозначает НЕ один любой символ из набора. Например *.[!c][ab] выберет все файлы, оканчивающиеся на a или c, кроме тех у кого предпоследний символ будет c.
    **— позволяет искать файл без учёта части пути.

    Замечание

    Важно установить свойство префикс, чтобы уменьшить трафик. Подробнее о префиксах см. например в Amazon S3

Частые случаи использования