201601上海云栖大会Workshop - 通过日志服务采集、分析日志

通过日志服务采集、分析日志

(ETA: 20 分钟)

目标

  1. 掌握阿里云日志服务基本功能
  2. 成功收集Docker中日志,利用EMR(Spark Streaming,Hive)进行日志分析

准备工作

  • 产品基本介绍(链接)
  • 注意事项:

    • 日志服务当前免费使用,无耗费
    • Docker运行集群会产生费用

步骤1:收集容器、云主机日志

Logtail是Linux、Windows客户端,无需代码就能便捷完成日志收集工作,下面我们会演示如何收集Docker中WordPress日志数据。

  1. 收集wordpress访问日志,打开日志服务控制台,点击右上角"创建项目",在这里我们可以创建yunqi-wordpress项目。当名字被占用后,请更换一个项目名
  2. 在项目下创建日志库(logstore),例如: wordpress-accesslog

    screenshot

  3. 日志服务提供两种方式进行日志收集:通过API或Agent(Logtail),这里我们演示客户端的流程

    1. 选择linux服务器
    2. 我们的日志位于"/var/log/wordpress.log",因此分别填写父目录,以及日志文件路径

      • 父目录: /var/log
      • 文件路径:wordpress.log
    3. 在服务器中添加Wordpress中访问日志,可以点击常见样例中的__示例四:WordPress默认日志格式__进行参考。WordPress访问日志如下:

      172.64.0.2 - - [07/Jan/2016:21:06:39 +0800] "GET /wp-admin/js/password-strength-meter.min.js?ver=4.4 HTTP/1.0" 200 776 "http://wordpress.c4a1a0aecdb1943169555231dcc4adfb7.cn-hangzhou.alicontainer.com/wp-admin/install.php" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36"
    4. 点击生成行首正则表达式

      行首正则表达式为了区分换行部分属于本行、还是换行日志,例如我们认为以ip开头的是独立的日志

    5. 指定日志解析正则表达式。Logtail 提供本地结构化功能,用户可以生成在客户端对日志进行切分。如果不需要,也可将整条日志作为一个Key、Value进行切分

      • 通过正则表达式将文本进行切分,在收集端对日志进行切分对于格式固定的日志,能够减少后期分析的代价,用户也可以将整条日志一并发送到Server端进行处理。可以在刚才打开的常见样例中的__示例四:WordPress默认日志格式__直接复制。

        (\S+) - - \[([^\]]*)] "(\S+) ([^"]+)" (\S+) (\S+) "([^"]+)" "([^"]+)"
      • 对每一个切分单元提供标签,例如

        | Key | Value |
        |-----|-------|
        | ip  | 127.64.0.2| 
        | time  | 07/Jan/2016:21:06:39 +0800 |
        | method | GET |
        | url | /wp-admin/js/password-strength-meter.min.js?ver=4.4 HTTP/1.0 |
        | status | 200 |
        | length | 776 |
        | ref      | http://wordpress.c4a1a0aecdb1943169555231dcc4adfb7.cn-hangzhou.alicontainer.com/wp-admin/install.php |
        | user-agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36 |
        

      __注意__:Key列表中需要包含__time__字段,以让系统识别日中中时间

    6. 配置完成后,需要添加机器组,并应用配置使得收集生效
    7. 创建一个机器组“wordpress-group",填写需要收集日志机器内网IP至机器组

    8. 大功告成!一分钟内日志收集配置就会生效,开始收集实时日志数据

      __提示__:可以通过项目中"机器组管理" 查看状态,以验证是否生效。如果状态是Fail,请根据提示排查

      screenshot

  4. 点击"日志消费"->"预览"既可以顺序浏览指定Shard中日志数据。

    为了加快日志产生速度,我们可以尝试在wordpress中发帖,回复,浏览等以产生访问日志

    screenshot

步骤2:消费日志数据(实时分析、日志查询、日志投递)

日志服务与多个下游产品进行集成,可以实时、离线、批量消费日志数据。以下我们演示实时分析、以及查询两个场景。

  1. 实时消费: 我们启动Dashboard应用演示对博客日志实时分析效果

    1. 打开容器服务控制台,选择编排模板->yunqi-wordpress-view->创建应用。

    screenshot

    2.选择创建名为"yunqi-wordpress-view-default"应用,部署在"yunqi-test"集群中

    3.点击菜单中的服务, "wordpress-view", 访问端点打开应用

    screenshot

    4.该应用通过实时读取日志服务中的日志,统计博客访问情况,各参数如下:

    • LogService服务地址: http://cn-hangzhou.sls.aliyuncs.com/ (默认无需修改)
    • AccessKeyId/AccessKey: 在AK页面上可以获得
    • Project/LogStore:收集wordpress访问日志的Project, Logstore

      5.点击刷新、发表一些博客,看看日志实时分析的结果:

    screenshot

  2. 日志查询: LogSearch提供了对日志索引,支持基于关键词的查询。

    1. 回到Project,对wordpress-accesslog日志库__日志消费模式__下__日志索引__点击创建,对需要查询的字段建立索引

    screenshot

    1. 一分钟内配置生效,既可进行日志查询

    screenshot

  3. 离线消费

    1. 日志服务可以将日志投递至OSS、ODPS进行离线计算,感兴趣可以点击日志投递进行了解

补充材料

  1. 日志服务:针对日志垂直场景的一站式服务,在阿里巴巴集团内部被广泛使用,参见介绍页面
  2. 项目(Project) : 每个项目具有唯一的地址和名字,提供唯一的访问地址
  3. 日志库(Logstore) :

    • 日志库是日志管理单元,在项目下唯一。例如应用有access-log, click-log, error-log等三种日志,我们就可以创建三个logstore。
    • 日志库提供48小时临时存储,用户可以实时消费48小时内任意区间的日志文件,如果需要更长时间存储,可以投递到OSS、ODPS,或建立索引进行查询
  4. Logtail:收集日志客户端,参考
  5. 除杭州外其他Region需要修改地方:

    1. wordpress资源编排模板environment:- log_region=cn_hangzhou,改为对应Region,如cn_shenzhen
    2. 实时消费程序LogService服务地址: http://cn-hangzhou.sls.aliyuncs.com/ 改为对应Region,如 http://cn-shenzhen.sls.aliyuncs.com/
原文链接:加载失败,请重新获取