Almacenamiento en la Nube

Data Connectors Externos

1. Amazon AWS S3

   Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento en la nube basado en web, escalable y de alta velocidad, diseñado para respaldo y archivo en línea de datos y aplicaciones en Amazon Web Services.

   El data connector de AWS S3 se puede utilizar para acceder a objetos almacenados en buckets de Amazon S3. Los objetos en S3 pueden ser públicos o privados. QuickML no necesita claves de autenticación para obtener objetos públicos. Si el bucket tiene acceso restringido, entonces QuickML requiere accessKey y secretKey.

   Detalles necesarios para importar datos:

   • Bucket name : El bucket en el que se almacenan los datos.
   • Object name : Nombre del archivo que necesita ser importado.
   • Region : Región del centro de datos en la que se almacena tu bucket.
   • Access Key : La Access key del usuario IAM de AWS.
   • Secret Key : La Secret key del usuario IAM de AWS.
   • File Type : El formato del archivo a importar.

   Para importar datos desde S3:

   Necesitas crear un usuario IAM de AWS según este enlace. Al crear un nuevo usuario IAM, asegúrate de proporcionar los permisos necesarios para acceder al servicio S3. Al final del proceso de creación del usuario IAM, obtendrás una “Access Key” y una “Secret Key”. Debes almacenar la “Secret Key” en un lugar seguro ya que no se puede reproducir nuevamente.

   Si tienes un usuario IAM con permiso para acceder a objetos S3, puedes obtener las access y secret keys para ese usuario desde la consola de AWS.

2. Microsoft Azure Object Storage

   Microsoft Azure contiene múltiples soluciones de almacenamiento como bases de datos SQL, bases de datos NoSQL y soluciones de almacenamiento de archivos. Las soluciones de almacenamiento de archivos se utilizan principalmente para almacenar y recuperar datos no estructurados (text, csv, etc.) mediante streaming. Esto incluye Blob Storage, Queue Storage y Disk storage.

   Blob Storage:

   Blob storage es una solución de almacenamiento de objetos para la nube que maneja datos en blobs (unidades pequeñas) de tres maneras diferentes, según el requisito: Block blobs, Page blobs y Append blobs. Entre ellos, los Block blobs son el método más comúnmente utilizado para almacenar objetos.

   Detalles necesarios para importar datos:

   • Blob Name : Nombre del archivo en el contenedor de la cuenta de almacenamiento de Azure que necesita ser importado.
   • Container Name : Nombre del contenedor en el que se almacena el archivo.
   • Connection String : Cadena de autenticación que se debe pasar para validar los detalles de la cuenta y el usuario con Microsoft Azure.
   • File Type : Tipo del archivo que se está importando.

   Para obtener la Connection String desde Azure Portal:

   1. Inicia sesión en Azure Portal.
   2. Busca y selecciona la cuenta de almacenamiento desde la cual se necesitan importar los datos.
   3. Busca las access keys para obtener un valor de las connection strings proporcionadas (key 1 o key 2).

3. Google Cloud Storage

   Google Cloud Storage es una solución de almacenamiento de objetos segura y de alto rendimiento para archivar y almacenar archivos en línea. Usando el conector proporcionado, los datos almacenados en cualquier formato se pueden importar a QuickML.

   Detalles necesarios para importar datos:

   • Blob Name : Nombre del archivo en Google storage que necesita ser importado
   • Bucket Name : El bucket en el que se almacenan los datos.
   • File Type : Tipo del archivo que se está importando.
   • Authentication json file : Archivo json que contiene detalles de autenticación para acceder al objeto

   Se necesitarán los detalles de la cuenta de servicio de Google para solicitar los datos del servidor de almacenamiento. Los pasos para obtener los detalles de autenticación se proporcionan a continuación.

   Pasos para obtener el archivo json de autenticación del servicio:

   1. En la sección IAM & Admin en Google cloud portal, ve a Service Accounts.
   2. Crea una cuenta de servicio si es necesario y proporciona acceso a los proyectos requeridos.
   3. En Service Account navega a la pestaña Actions y selecciona Create Key.
   4. Guarda la clave como archivo json y se puede utilizar como valor para el argumento de archivo de los parámetros de API mencionados a continuación.

4. OneDrive

   La solución de almacenamiento de objetos OneDrive de Microsoft también está disponible como data connector en QuickML. Permite al usuario almacenar y gestionar archivos de varios formatos de forma segura. Esta integración permite al usuario incorporar sin esfuerzo los datos de OneDrive en flujos de trabajo de aprendizaje automático, mejorando la eficiencia y versatilidad del análisis. Usando el conector proporcionado, los datos almacenados en cualquier formato se pueden importar a QuickML.

   Detalles necesarios para importar datos:

   • Client Id: Este es el identificador único asignado a tu aplicación por Microsoft al registrarla en Azure Active Directory.
   • Tenant Id: Este es el identificador único para el tenant de Azure Active Directory de tu organización.
   • Client Secret: Una clave secreta asociada con tu aplicación registrada para asegurar la comunicación segura entre la aplicación y el servicio.
   • User Email: El correo electrónico asociado con tu cuenta de OneDrive para la autenticación y permisos de acceso.
   • File Name: El nombre del archivo que deseas importar desde OneDrive.
   • Source File Type: El formato del archivo que estás importando.