Difference between revisions of "Workflow:Watch Folder Ingest"

From COPTR
Jump to navigation Jump to search
m
 
(3 intermediate revisions by the same user not shown)
Line 10: Line 10:
  
 
<!-- To add an image of your workflow, open the "Upload File" link on the left in a new browser tab and follow on screen instructions, then return to this page and add the name of your uploaded image to the line below - replacing "workflow.png" with the name of your file. Replace the text "Textual description" with a short description of your image. Filenames are case sensitive! If you don't want to add a workflow diagram or other image, delete the line below  -->
 
<!-- To add an image of your workflow, open the "Upload File" link on the left in a new browser tab and follow on screen instructions, then return to this page and add the name of your uploaded image to the line below - replacing "workflow.png" with the name of your file. Replace the text "Textual description" with a short description of your image. Filenames are case sensitive! If you don't want to add a workflow diagram or other image, delete the line below  -->
 +
 +
<img src="https://media.licdn.com/dms/image/D4E12AQGakJHfY4Vmlw/article-inline_image-shrink_1500_2232/0/1712742432090?e=1718236800&v=beta&t=fv8JNxQgpGJ-Y343AGpNSKFJBCI8SdaYXqRC4VDum0U" alt="LinkedIn Image">
 +
  
 
<br>
 
<br>
 
                              ┌──────┐                                              ┌──────┐          ┌───┐                   
 
                              │Script│                                              │Folder│          │OVP│                   
 
                              └──┬───┘                                              └──┬───┘          └─┬─┘                   
 
                                ┌┴┐              Start monitoring folder              │                │                     
 
                                │ │ ──────────────────────────────────────────────────>│                │                     
 
                                │ │                                                    │                │                     
 
                                │ │                                                    │                │                     
 
          ╔═══════╤═════════════╪═╪════════════════════════════════════════════════════╪════════════════╪═════════════════════╗
 
          ║ LOOP  │  Check for new files                                              │                │                    ║
 
          ╟───────┘            │ │                                                    │                │                    ║
 
          ║                    │ │                New file detected                  │                │                    ║
 
          ║                    │ │ <──────────────────────────────────────────────────│                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║        ╔══════╤════╪═╪════════════════════════════════════════════════════╪═════════════╗  │                    ║
 
          ║        ║ ALT  │  File is MP4 video                                        │            ║  │                    ║
 
          ║        ╟──────┘    │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Check for corresponding XML file              │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │                  XML file found                  │            ║  │                    ║
 
          ║        ║          │ │ <──────────────────────────────────────────────────│            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Extract metadata (title, description, tags)  │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ╠═══════════╪═╪════════════════════════════════════════════════════╪═════════════╣  │                    ║
 
          ║        ║ [File is XML]                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Check for corresponding MP4 file              │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │                  MP4 file found                  │            ║  │                    ║
 
          ║        ║          │ │ <──────────────────────────────────────────────────│            ║  │                    ║
 
          ║        ║          │ │                                                    │            ║  │                    ║
 
          ║        ║          │ │────┐                                              │            ║  │                    ║
 
          ║        ║          │ │    │ Associate metadata (title, description, tags) │            ║  │                    ║
 
          ║        ║          │ │<───┘                                              │            ║  │                    ║
 
          ║        ╚═══════════╪═╪════════════════════════════════════════════════════╪═════════════╝  │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║                    │ │────┐                                              │                │                    ║
 
          ║                    │ │    │ Check if file pair has already been processed │                │                    ║
 
          ║                    │ │<───┘                                              │                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║                    │ │                                                    │                │                    ║
 
          ║        ╔══════╤════╪═╪════════════════════════════════════════════════════╪════════════════╪═══════════╗        ║
 
          ║        ║ ALT  │  File pair not processed                                  │                │          ║        ║
 
          ║        ╟──────┘    │ │                                                    │                │          ║        ║
 
          ║        ║          │ │                  Upload video to OVP with metadata │                │          ║        ║
 
          ║        ║          │ │ ───────────────────────────────────────────────────────────────────>│          ║        ║
 
          ║        ║          │ │                                                    │                │          ║        ║
 
          ║        ║          │ │                          Upload successful        │                │          ║        ║
 
          ║        ║          │ │ <─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─│          ║        ║
 
          ║        ║          │ │                                                    │                │          ║        ║
 
          ║        ║          │ │────┐                                              │                │          ║        ║
 
          ║        ║          │ │    │ Add file pair to processed list              │                │          ║        ║
 
          ║        ║          │ │<───┘                                              │                │          ║        ║
 
          ║        ╠═══════════╪═╪════════════════════════════════════════════════════╪════════════════╪═══════════╣        ║
 
          ║        ║ [File pair already processed]                                    │                │          ║        ║
 
          ║        ║          │ │────┐                                              │                │          ║        ║
 
          ║        ║          │ │    │ Skip processing                              │                │          ║        ║
 
          ║        ║          │ │<───┘                                              │                │          ║        ║
 
          ║        ╚═══════════╪═╪════════════════════════════════════════════════════╪════════════════╪═══════════╝        ║
 
          ╚═════════════════════╪═╪════════════════════════════════════════════════════╪════════════════╪═════════════════════╝
 
                              ┌─└┬┘──┐                                              ┌──┴───┐          ┌─┴─┐                   
 
                              │Script│                                              │Folder│          │OVP│                   
 
                              └──────┘                                              └──────┘          └───┘                   
 
  
 
I want to monitor a local folder for new content. When a new file becomes available, the system will check if it's either an MP4 video file or an XML file. If it's an MP4 video, the system will then search for a corresponding XML file with the same name. Upon finding the XML file, it will extract metadata such as title, description, and tags. Subsequently, the system will upload the video file to an Online Video Platform (OVP) along with the extracted metadata. To prevent duplicates, before processing a new file pair (MP4 and XML), it will verify whether the pair has already been processed.
 
I want to monitor a local folder for new content. When a new file becomes available, the system will check if it's either an MP4 video file or an XML file. If it's an MP4 video, the system will then search for a corresponding XML file with the same name. Upon finding the XML file, it will extract metadata such as title, description, and tags. Subsequently, the system will upload the video file to an Online Video Platform (OVP) along with the extracted metadata. To prevent duplicates, before processing a new file pair (MP4 and XML), it will verify whether the pair has already been processed.
Line 89: Line 23:
 
Context: In the context of digital content migration, this blueprint serves as a guide for facilitating bulk media and metadata ingests.
 
Context: In the context of digital content migration, this blueprint serves as a guide for facilitating bulk media and metadata ingests.
  
==Evaluation/Review==
+
Github & Python Implementation Example: https://github.com/josev2046/WatchFolderAutomation
<!-- How effective was the workflow? Was it replaced with a better workflow? Did it work well with some content but not others? What is the current status of the workflow? Does it relate to another workflow already described on the wiki? Link, explain and elaborate -->
 
 
 
==Further Information==
 
<!-- Provide any further information or links to additional documentation here -->
 
  
 
<!-- Add four tildes below ("~~~~") to create an automatic signature, including your wiki username. Ensure your user page (click on your username to create it) includes an up to date contact email address so that people can contact you if they want to discuss your workflow -->
 
<!-- Add four tildes below ("~~~~") to create an automatic signature, including your wiki username. Ensure your user page (click on your username to create it) includes an up to date contact email address so that people can contact you if they want to discuss your workflow -->
  
 
<!-- Note that your workflow will be marked with a CC3.0 licence -->
 
<!-- Note that your workflow will be marked with a CC3.0 licence -->

Latest revision as of 08:32, 28 April 2024

Watch Folder Ingest
Status:Production
Tools:
Input:Media assets and descriptive metadata in Watch Folder.
Output:Media assets and descriptive metadata in destination OVP.
Organisation:La Digitalizadora de la Memoria Colectiva

Workflow Description[edit]

LinkedIn Image



I want to monitor a local folder for new content. When a new file becomes available, the system will check if it's either an MP4 video file or an XML file. If it's an MP4 video, the system will then search for a corresponding XML file with the same name. Upon finding the XML file, it will extract metadata such as title, description, and tags. Subsequently, the system will upload the video file to an Online Video Platform (OVP) along with the extracted metadata. To prevent duplicates, before processing a new file pair (MP4 and XML), it will verify whether the pair has already been processed.

Purpose, Context and Content[edit]

Purpose: A watch folder serves as a designated directory that is monitored by a specific application or process. The primary purpose of a watch folder is to automate tasks based on the contents of that folder, facilitating Automated File Processing, Workflow Automation and Data Ingestion.

Context: In the context of digital content migration, this blueprint serves as a guide for facilitating bulk media and metadata ingests.

Github & Python Implementation Example: https://github.com/josev2046/WatchFolderAutomation