Difference between revisions of "Workflow:Watch Folder Ingest"

From COPTR
Jump to navigation Jump to search
Line 10: Line 10:
  
 
<!-- To add an image of your workflow, open the "Upload File" link on the left in a new browser tab and follow on screen instructions, then return to this page and add the name of your uploaded image to the line below - replacing "workflow.png" with the name of your file. Replace the text "Textual description" with a short description of your image. Filenames are case sensitive! If you don't want to add a workflow diagram or other image, delete the line below  -->
 
<!-- To add an image of your workflow, open the "Upload File" link on the left in a new browser tab and follow on screen instructions, then return to this page and add the name of your uploaded image to the line below - replacing "workflow.png" with the name of your file. Replace the text "Textual description" with a short description of your image. Filenames are case sensitive! If you don't want to add a workflow diagram or other image, delete the line below  -->
 +
 +
<img src="https://media.licdn.com/dms/image/D4E12AQGakJHfY4Vmlw/article-inline_image-shrink_1500_2232/0/1712742432090?e=1718236800&v=beta&t=fv8JNxQgpGJ-Y343AGpNSKFJBCI8SdaYXqRC4VDum0U" alt="LinkedIn Image">
 +
  
 
<br>
 
<br>
 
                              ┌──────┐                                              ┌──────┐          ┌───┐                   
 
                              │Script│                                              │Folder│          │OVP│                   
 
                              └──┬───┘                                              └──┬───┘          └─┬─┘                   
 
                                ┌┴┐              Start monitoring folder              │                │                     
 
                                │ │ ──────────────────────────────────────────────────>│                │                     
 
                                │ │                                                    │                │                     
 
                                │ │                                                    │                │                     
 
          ╔═══════╤═════════════╪═╪════════════════════════════════════════════════════╪════════════════╪═════════════════════╗
 
          ║ LOOP  │  Check for new files                                              │                │                    ║
 
          ╟───────┘            │ │                                                    │                │                    ║
 
          ║                    │ │                New file detected                  │                │                    ║
 
          ║                    │ │ <──────────────────────────────────────────────────│                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║        ╔══════╤════╪═╪════════════════════════════════════════════════════╪═════════════╗  │                    ║
 
          ║        ║ ALT  │  File is MP4 video                                        │            ║  │                    ║
 
          ║        ╟──────┘    │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Check for corresponding XML file              │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │                  XML file found                  │            ║  │                    ║
 
          ║        ║          │ │ <──────────────────────────────────────────────────│            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Extract metadata (title, description, tags)  │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ╠═══════════╪═╪════════════════════════════════════════════════════╪═════════════╣  │                    ║
 
          ║        ║ [File is XML]                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Check for corresponding MP4 file              │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │                  MP4 file found                  │            ║  │                    ║
 
          ║        ║          │ │ <──────────────────────────────────────────────────│            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Associate metadata (title, description, tags) │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ╚═══════════╪═╪════════════════════════════════════════════════════╪═════════════╝  │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║                    │ │────┐                                              │                │                    ║
 
          ║                    │ │    │ Check if file pair has already been processed │                │                    ║
 
          ║                    │ │<───┘                                              │                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║        ╔══════╤════╪═╪════════════════════════════════════════════════════╪════════════════╪═══════════╗        ║
 
          ║        ║ ALT  │  File pair not processed                                  │                │          ║        ║
 
          ║        ╟──────┘    │ │                                                    │                │          ║        ║
 
          ║        ║          │ │                  Upload video to OVP with metadata │                │          ║        ║
 
          ║        ║          │ │ ───────────────────────────────────────────────────────────────────>│          ║        ║
 
          ║        ║          │ │                                                    │                │          ║        ║
 
          ║        ║          │ │                          Upload successful        │                │          ║        ║
 
          ║        ║          │ │ <─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─│          ║        ║
 
          ║        ║          │ │                                                    │                │          ║        ║
 
          ║        ║          │ │────┐                                              │                │          ║        ║
 
          ║        ║          │ │    │ Add file pair to processed list              │                │          ║        ║
 
          ║        ║          │ │<───┘                                              │                │          ║        ║
 
          ║        ╠═══════════╪═╪════════════════════════════════════════════════════╪════════════════╪═══════════╣        ║
 
          ║        ║ [File pair already processed]                                    │                │          ║        ║
 
          ║        ║          │ │────┐                                              │                │          ║        ║
 
          ║        ║          │ │    │ Skip processing                              │                │          ║        ║
 
          ║        ║          │ │<───┘                                              │                │          ║        ║
 
          ║        ╚═══════════╪═╪════════════════════════════════════════════════════╪════════════════╪═══════════╝        ║
 
          ╚═════════════════════╪═╪════════════════════════════════════════════════════╪════════════════╪═════════════════════╝
 
                              ┌─└┬┘──┐                                              ┌──┴───┐          ┌─┴─┐                   
 
                              │Script│                                              │Folder│          │OVP│                   
 
                              └──────┘                                              └──────┘          └───┘                   
 
  
 
I want to monitor a local folder for new content. When a new file becomes available, the system will check if it's either an MP4 video file or an XML file. If it's an MP4 video, the system will then search for a corresponding XML file with the same name. Upon finding the XML file, it will extract metadata such as title, description, and tags. Subsequently, the system will upload the video file to an Online Video Platform (OVP) along with the extracted metadata. To prevent duplicates, before processing a new file pair (MP4 and XML), it will verify whether the pair has already been processed.
 
I want to monitor a local folder for new content. When a new file becomes available, the system will check if it's either an MP4 video file or an XML file. If it's an MP4 video, the system will then search for a corresponding XML file with the same name. Upon finding the XML file, it will extract metadata such as title, description, and tags. Subsequently, the system will upload the video file to an Online Video Platform (OVP) along with the extracted metadata. To prevent duplicates, before processing a new file pair (MP4 and XML), it will verify whether the pair has already been processed.

Revision as of 11:21, 10 April 2024

Watch Folder Ingest
Status:Production
Tools:
Input:Media assets and descriptive metadata in Watch Folder.
Output:Media assets and descriptive metadata in destination OVP.
Organisation:La Digitalizadora de la Memoria Colectiva

Workflow Description

LinkedIn Image



I want to monitor a local folder for new content. When a new file becomes available, the system will check if it's either an MP4 video file or an XML file. If it's an MP4 video, the system will then search for a corresponding XML file with the same name. Upon finding the XML file, it will extract metadata such as title, description, and tags. Subsequently, the system will upload the video file to an Online Video Platform (OVP) along with the extracted metadata. To prevent duplicates, before processing a new file pair (MP4 and XML), it will verify whether the pair has already been processed.

Purpose, Context and Content

Purpose: A watch folder serves as a designated directory that is monitored by a specific application or process. The primary purpose of a watch folder is to automate tasks based on the contents of that folder, facilitating Automated File Processing, Workflow Automation and Data Ingestion.

Context: In the context of digital content migration, this blueprint serves as a guide for facilitating bulk media and metadata ingests.

Evaluation/Review

Further Information