• 简介

Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。 Scribe是基于一个使用非阻断C++服务器的thrift服务的实现。它能够从各种日志源上收集日志，存储到一个中央存储系统 （可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。

• 系统架构

如上图所示：Scribe从各种数据源上收集数据，放到一个共享队列上，然后push到后端的中央存储系统上。当中央存储系统出现故障时，scribe可以暂时把日志写到本地文件中，待中央存储系统恢复性能后，scribe把本地日志续传到中央存储系统上。

• 主要功能

1.支持多种存储类型：7种并且可扩展

2.日志自动切分功能：按文件大小和时间切分

3.灵活的客户端：

（1）支持多种常用语言（Thrift提供支持）；

（2）可与应用系统集成；可以作实现独立客户端

4.支持日志分类功能（Facebook有上百种日志分类）