日志管理与集成

  日志管理与集成解决方案

1  EKK日志管理解决方案:

1.1  方案描述:

基于流行的ELK(Elasticsearch,Logstash, and Kibana)系统改造成为更加精简的托管式的适应于AWS的EKK解决方案(AmazonElasticsearch Service, Amazon Kinesis, andKibana)。采用Kinesis替代Logstash,使用AWS托管的Elasticsearch服务提供更加稳定高效的运行环境。通过KinesisAgent收集目标机器上的特定信息/日志,传输至Kinesis处理,备份至S3同时汇总数据至Elasticsearch进行自定义的可视化展示。为了更加精准的把握用户使用习惯等数据,采用Lambda实时收集并传输ELB的日志信息至S3与Elasticsearch。

1.2  应用场景:

EKK是一套基于AWS的实时日志分析管理平台,通过Agent可以收集系统日志、应用程序日志、安全日志等,并集中处理后可以特定方式进行可视化展示。通常在机器数过大时,日志分布在上百台机器上,难以收集且难以分析;即便使用手工/半手工方式收集了日志信息,采用Grep/Awk/Wc等方式进行统计检索效率也极其低下。因此在大机器数/大分布式集群等条件下采用博思提供的EKK日志管理方案能够很好的解决日志收集、管理、分析与可视化展示的问题。

1.3  方案优势:

相比传统的手工/脚本日志管理方式,更加高效且稳定,能够极其高效的收集并分析数百台机器的日志信息,并以自定义的方式进行可视化展示;相比,普通的ELK架构,EKK架构则更加适用于AWS平台,采用了多种AWS托管服务,能够有效降低运维压力与成本,同时不用担心服务性能瓶颈。

2  Splunk管理集成解决方案:

2.1  方案描述:

采用Splunk管理解决方案,在AWS上能够监控管理EC2、RDS、Kinesis、ELB、S3、Config、CloudFront、CloudWatch、FlowLogs、Billing等大多数AWS服务,通过实时收集分析AWS上各类服务的日志,并以图形化方式进行展示,便于把控整体系统的运行情况。除了基础的服务日志管理外,Splunk还能结合BillingReport与Cloudtrail、CloudWatch等服务的日志信息,分析并管理各个服务的资源使用情况,并提出可行的优化建议;Splunk还能通过可视化的方案展现所有的账户及其组别体系,区分各个账户的权限级别,实时监控并管理账户的使用情况,保证账户的安全性。而且在AWS全球区域里,都提供了Cloudformation模板与SplunkAMI,能够一键快速部署Splunk解决方案。

2.2  应用场景:

Splunk是成熟的产品,而且针对AWS进行了定制的优化,能够合理的管控AWS上大部分服务资源,监控资源的使用情况,同时能够针对账户使用情况进行管理优化,能够针对账单与各个服务使用量进行分析并提出优化方案。适用与所有需要重视AWS资源管理、账号安全控制、账单分析与资源优化的场景与客户。