آشنایی با فناوری های حوزه کلان داده

آشنایی با فناوری های حوزه کلان داده



سایت InsightDataEngineering یک نمودار تعاملی ساده برای آشنایی با فناوریهای حوزه کلان داده منتشر کرده است که در نه گروه مختلف این فناوری ها را طبقه بندی کرده است. این طبقه بندی به صورت فهرست وار طبق این نمودار از قرار زیر است :
 

 

***ابزار تزریق داده : ابزار و فناوریهای که به کمک آنها می توان داده ها را وارد سامانه های کلان داده نمود .

  • Kafka
  • RabbitMQ
  • Fluentd
  • Sqoop
  • AWS Kinesis


***قالب های فایلی ذخیره و بازیابی اطلاعات : گاهی اوقات نیاز داریم بعضی اطلاعات را که در قالب های مختلف هستند درون فایل ذخیره کنیم .

  • Avro
  • Parquet
  • Thrift
  • ProtoBuf
  • SequenceFiles


***سیستم های فایلی ذخیره و بازیابی اطلاعات :

  • HDFS
  • AWS S3
  • Tachyon


***پردازش دسته ای :

  • Hadoop Map/Reduce
  • Spark
  • AWS EMR
  • TEZ


***یادگیری ماشین

  • H2O
  • Mahout
  • Spark MLib


***پردازش گراف :

  • GraphLab
  • Giraph
  • Spark GraphX


***اجرای SQL:

  • Hive
  • Presto
  • Drill


***پردازش جریانهای داده:

  • Storm
  • Spark Streaming
  • Samza
  • NiFi


***بانکهای اطلاعاتی:

  • بانکهای اطلاعاتی رابطه ای
  • بانکهای سندگرا
  • بانکهای سطر گسترده
  • بانکهای کلید مقدار
  • بانکهای گراف محور



***ابزارهای مدیریت شبکه  وکلاستر:

  • YARN
  • Mesos
  • Zookeeper
  • Oozie


***ابزارهای نظارت و مانیتورینگ:

  • Hue
  • Ambari
  • Lipstick
  • Ganglia


***داشبوردهای تحلیلی و تولید برنامه های کاربر:

  • Flask
  • D3
  • AngularJS
  • Django
  • Highcharts

 

 

منبع: