Apache Hadoop klaszter kiépítése

Ez a bemutató áttekintés ad arról, hogy hogyan lehet létrehozni egy skálázható Apache Hadoop infrastruktúrát az Occopus eszköz segítségével. Az Apache Hadoop klaszter segítségével Map Reduce alkalmazásokat tudunk futtatni nagy mennyiségű adat feldolgozásához. Az automatikusan felépülő Apache Hadoop architektúra kiépítése az Occopus eszköz segítségével fog megvalósulni, ezért elsőként telepítenünk kell az Occopus eszközt. A Hadoop klaszter telepítéséhez szükséges leírókat elkészítettük a felhasználók számára és azokat közzétettük számukra. A leírók letöltése és rövid személyre szabása után, csupán két parancs segítségével képesek leszünk felépíteni egy skálázható Apache Hadoop infrastruktúrát az MTA Cloudon.

 

This tutorial sets up a complete Apache Hadoop infrastructure with the help of Occopus orchestration tool. Apache Hadoop cluster enables end-users to run Map Reduce applications, to process large amounts of data. The built-in Apache Hadoop architecture will be established using Occopus tool, so we need to install Occopus first. Descriptors for installing the Hadoop cluster have been created for users and published for them. After downloading and personalizing descriptors, with just two commands, MTA Cloud users will be able to build a scalable Apache Hadoop infrastructure on MTA Cloud.

 

Publikációk/publications:
 

  • Lovas R, Nagy E, Kovacs J: Cloud agnostic orchestration for big data research platforms, CIVIL-COMP PROCEEDINGS 111: p. III/15. 16 p. (2017), The Fifth International Conference on Parallel, Distributed, Grid and Cloud Computing for Engineering (ISBN 978-1-905088-66-9)
  • Nagy E, Kovács J, Lovas R: Automated and Portable Hadoop Cluster Orchestration on Clouds with Occopus for Big Data Applications, In: Bubak M, Turala M, Wiatr K (szerk.)
    Proceedings of Cracow Grid Workshop'16, CGW 2016. 92 p. Academic Computer Centre CYFRONETAGH, 2016. pp. 47-48.(ISBN:978-83-61433-20-0)


Használati és telepítési útmutató, prezentáció/User manual and installation guide, presentation: