日志管理与集成

1  EKK日志管理解决方案：

1.1  方案描述:

基于流行的ELK（Elasticsearch,Logstash, and Kibana）系统改造成为更加精简的托管式的适应于亚马逊云科技的EKK解决方案（AmazonElasticsearch Service, Amazon Kinesis, andKibana）。采用Kinesis替代Logstash，使用亚马逊云科技托管的Elasticsearch服务提供更加稳定高效的运行环境。通过KinesisAgent收集目标机器上的特定信息/日志，传输至Kinesis处理，备份至S3同时汇总数据至Elasticsearch进行自定义的可视化展示。为了更加精准的把握用户使用习惯等数据，采用Lambda实时收集并传输ELB的日志信息至S3与Elasticsearch。

1.2  应用场景:

EKK是一套基于亚马逊云科技的实时日志分析管理平台，通过Agent可以收集系统日志、应用程序日志、安全日志等，并集中处理后可以特定方式进行可视化展示。通常在机器数过大时，日志分布在上百台机器上，难以收集且难以分析；即便使用手工/半手工方式收集了日志信息，采用Grep/Awk/Wc等方式进行统计检索效率也极其低下。因此在大机器数/大分布式集群等条件下采用博思提供的EKK日志管理方案能够很好的解决日志收集、管理、分析与可视化展示的问题。

1.3  方案优势:

相比传统的手工/脚本日志管理方式，更加高效且稳定，能够极其高效的收集并分析数百台机器的日志信息，并以自定义的方式进行可视化展示；相比，普通的ELK架构，EKK架构则更加适用于亚马逊云科技平台，采用了多种亚马逊云科技托管服务，能够有效降低运维压力与成本，同时不用担心服务性能瓶颈。

2.1  方案描述:

采用Splunk管理解决方案，在亚马逊云科技上能够监控管理EC2、RDS、Kinesis、ELB、S3、Config、CloudFront、CloudWatch、FlowLogs、Billing等大多数亚马逊云科技服务，通过实时收集分析亚马逊云科技上各类服务的日志，并以图形化方式进行展示，便于把控整体系统的运行情况。除了基础的服务日志管理外，Splunk还能结合BillingReport与Cloudtrail、CloudWatch等服务的日志信息，分析并管理各个服务的资源使用情况，并提出可行的优化建议；Splunk还能通过可视化的方案展现所有的账户及其组别体系，区分各个账户的权限级别，实时监控并管理账户的使用情况，保证账户的安全性。而且在亚马逊云科技全球区域里，都提供了Cloudformation模板与SplunkAMI，能够一键快速部署Splunk解决方案。

2.2  应用场景:

Splunk是成熟的产品，而且针对亚马逊云科技进行了定制的优化，能够合理的管控亚马逊云科技上大部分服务资源，监控资源的使用情况，同时能够针对账户使用情况进行管理优化，能够针对账单与各个服务使用量进行分析并提出优化方案。适用与所有需要重视亚马逊云科技资源管理、账号安全控制、账单分析与资源优化的场景与客户。