DataAvenue

Mi a Data Avenue?

A Data Avenue egy olyan tároló menedzsment szolgáltatás, amely lehetővé teszi a különböző típusú tárolási források (beleértve S3, sftp, GridFTP, iRODS, SRM szerverek) elérését egy egységes felület segítségével. A rendelkezésre álló REST API lehetővé teszi az összes tipikus tárolási műveletet, mint például mappák/bucketek készítése, fájlok/mappák átnevezése vagy törlése, fájlok feltöltése/letöltése, fájlok/mappák másolása vagy áthelyezése a különböző tárolási erőforrások között, akár egyszerűen a "curl" parancs használatával a parancssorból. A DataAvenue automatikusan lefordítja a felhasználók REST parancsát a megfelelő tárolási protokollokra, és kezeli a hosszú távú adatátvitelt a háttérben. Ebben a bemutatóban létrehozunk egy klasztert, amely két csomóponttípust tartalmaz. A DataAvenue csomóponton a DataAvenue alkalmazás fog futni, és egy előre meghatározott számú tárolási csomóponton (storage node) pedig egy S3 tároló fog futni, hogy képesek legyünk kipróbálni a DataAvenue fájlátviteli szoftvert, mint például bucketek létrehozását, a fájlok letöltését vagy másolását. Ceph és Docker komponenseket használtunk fel a klaszter felépítésére.



What is Data Avenue?

Data Avenue is a data storage management service that enables to access different types of storage resources (including S3, sftp, GridFTP, iRODS, SRM servers) using a uniform interface. The provided REST API allows of performing all the typical storage operations such as creating folders/buckets, renaming or deleting files/folders, uploading/downloading files, or copying/moving files/folders between different storage resources, respectively, even simply using 'curl' from command line. Data Avenue automatically translates users' REST commands to the appropriate storage protocols, and manages long-running data transfers in the background. In this tutorial we establish a cluster with two nodes types. On the DataAvenue node the DataAvenue application will run, and on a predefined number of storage nodes an S3 storage will run, in order to be able to try DataAvenue file transfer software such as making buckets, download or copy files. We used Ceph and Docker components to build-up the cluster.



Publikációk/publications:

  • Akos Hajnal, Eniko Nagy, Peter Kacsuk and Istvan Marton: Data Migration for Large Scientific Datasets in Clouds, Azerbaijan Journal of High Performance Computing, Vol 1, Issue 1, 2018, pp. 66-86 https://doi.org/10.32010/26166127.2018.1.1.66.86
  • Hajnal Á, Márton I, Farkas Z, Kacsuk P: Remote storage management in science gateways via data bridging, CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE 27:(16) pp. 4398-4411. (2015)
  • Hajnal, A., Farkas, Z., and Kacsuk, P.  Data Avenue: Remote Storage Resource Management in WS-PGRADE/gUSE, 6th IEEE International Workshop on Science Gateways (IWSG), pp. 1–5, 2014
  • Hajnal Á, Farkas Z, Kacsuk P, Pintér T: Remote Storage Resource Management in WS-PGRADE/gUSE. In: Kacsuk P (szerk.)Science Gateways for Distributed Computing Infrastructures: Development Framework and Exploitation by Scientific User Communities. 301 p. Cham (Németország): Springer, 2014. pp. 69-81. (ISBN:978-3-319-11267-1)
     

 

Használati és telepítési útmutató, prezentációk/User manual and installation guide, presentations: