spark parquet只能用于spark sql么
发布网友
发布时间：2022-04-22 06:18
共1个回答
热心网友
时间：2022-04-14 08:19
1）过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式：
a）Data Source -> HDFS -> MR/Hive/Spark（相当于ETL）-> HDFS Parquet -> Spark SQL/Impala -> ResultService（可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用）；
b）Data Source -> Real timeupdate data to HBase/DB -> Export to Parquet -> Spark SQL/Impala -> ResultService（可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用）；
上述的第二种方式完全可以通过Kafka+Spark Streaming+Spark SQL（内部也强烈建议采用Parquet的方式来存储数据）的方式取代
2）期待的方式：DataSource -> Kafka -> Spark Streaming -> Parq
