About 947,000 results
Open links in new tab
  1. 什么是 Flume? Flume 应该如何使用? - 知乎

    Flume充当的就是这个 中间件 的角色。 如下图: 日志文件格式,肯定需要提前协商好。 每种日志的处理方法也会不太一样,这里如果日志类型过多,应该需要用到 策略模式。 由于大数据接 …

  2. 日志采集系统flume和kafka有什么区别及联系,它们分别在什么时 …

    Flume/Logstash/Beat 是同一类软件,如果抽象功能的话可以认为是一个插件执行器,有一些常用的插件(例如日志采集,Binlog解析,执行脚本等),也可以根据需求将自己的代码作为插件 …

  3. flume写入到hdfs,中间需要加kafka吗? - 知乎

    Nov 1, 2021 · 简单介绍下Flume日志采集系统,内容不多大概一天就学完了,但是正所谓学得快忘得也快,所以把其中一些常用的、配置类的内容进行一个记录,方便每次温习。 第一章 …

  4. logstash 和 flume 之间的优劣,和各自所适合的场景? - 知乎

    flume kafka source&sink contributor。 12年选型的时候, logstash 主要因为是ruby写的,还要运行在 jruby, grok 也很麻烦,相比之下,flume的框架比较清晰,比如source,channel,sink …

  5. Flume为什么在HDP技术栈中被移除,有什么替代的框架吗?

    Flume为什么在HDP技术栈中被移除,有什么替代的框架吗? HDP技术栈中使用什么进行数据采集? 显示全部 关注者 6

  6. Kafka、Flume、Scribe、Sqoop、Chukwa都能做到实时抽取吗?应 …

    Kafka、Flume、Scribe、Sqoop、Chukwa都能做到实时抽取吗? 应用场景有没有区别? 要作一个企业级实时数据分析平台方案,想比较一下这些开源组件的优缺点,谢谢 关注者 13

  7. 如何评价Flume的新专辑《Palaces》? - 知乎

    Flume - Palaces | 評測:7.9/10 雷达模型评定 先谈谈好的一面: Oklou 个人专辑《Galore》 拉来了这专最大BUFF之一 Oklou,当初看到合作列表时就有点欣喜,而事实上也不负期待。

  8. 大数据工程师的日常工作内容是干嘛? - 知乎

    写mapredcue实现ETL功能,使用flume采集日志数据,对不同业务的数据清进行清洗。 这些业务数据包括flume采集的日志数据,如用户浏览网站信息、统计PV和UV,留存率等等;用户信息 …

  9. 如何评价大数据 Hadoop 生态圈各个组件介绍? - 知乎

    Sqoop利用数据库技术描述数据架构,用于在关系数据库、数据仓库和Hadoop之间转移数据。 9. Flume (日志收集工具) Cloudera开源的日志收集系统,具有分布式、高可靠、高容错、易于 …

  10. Flume推送数据到Kafka的Topic的时候,Kafka的多个Partition怎么 …

    Flume向kafka发布数据时,发现kafka接收到的数据总是在一个partition中,而我们希望发布来的数据在所有的partition平均分布 Flume的官方文档是这么说的: Kafka Sink uses the topic and …