Posted in: 阿里云服务器代维护
Polling + Inotify 组合下的日志保序采集方案
日志数据采集
提到数据分析,大部分人首先想到的都是Hadoop,流计算,API等数据加工的方式。如果从整个过程来看,数据分析其实包含了4个过程:采集,存储,计算和理解四个步骤。
采集:从各种产生数据的源头,将数据集中到存储系统。包括硬盘上的历史数据,用户网页的点击,传感器等等
存储:以各种适合计算的模式集中式存储数据,其中既包含大规模的存储系统(例如数仓),也有例如临...