位置: 编程技术 - 正文
Node.js和MongoDB实现简单日志分析系统(node用mongodb还是mysql好)
编辑：rootadmin推荐整理分享Node.js和MongoDB实现简单日志分析系统(node用mongodb还是mysql好)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:nodejs与go,mongodb与nodejs配合,nodejs与go,mongodb与nodejs配合,node.js mongodb,node.js mongodb,nodejs mongo,mongodb与nodejs配合,内容如对您有帮助，希望把文章链接给更多的朋友！
在最近的项目中，为了便于分析把项目的日志都存成了JSON格式。之前日志直接存在了文件中，而MongoDB适时闯入了我的视线，于是就把log存进了MongoDB中。log只存起来是没有意义的，最关键的是要从日志中发现业务的趋势、系统的性能漏洞等。之前有一个用Java写的分析模块，运行在Tomcat下。实现相当的重量级，添加一个新指标的流程也比较繁琐，而且由于NFS的原因还导致分析失败。一直想改写，最初想用Ruby On Rails，可是一直没有时间学习和开发（在找借口啊！）。在杭州QCon 上又遇到了Node.js，虽然之前也听说过，但是没有深入研究，听了淘宝苏千 的演讲后，当时了就有要用Node.js实现这个日志分析系统的想法。前端用JS，服务器用JS，就连数据库的Shell都是JS，想想就够酷的——当然最关键是代码量小。
一、用Node.js实现服务器端代码
为了有良好的风格和快速的代码编写，不可避免地应该采用一个简单的框架。Express实现了大部分的功能，可是好需要花一定时间熟悉，并且看起来对这个项目来说有些重量级。在Node.js的官网上有一个聊天的Demo ，这个代码简单移动，封装了对URL的处理和返回JSON。于是我就直接使用了fu.js，重写了server.js：
太简单了吧？！不过的确是这样，一个服务器已经建立起来了。下面看处理请求的request_handler.js代码：
二、客户端
日志系统的最重要的是可视化显示，这里使用了JQuery的一个插件jqPlot Chart 。首先使用一个静态的HTML页面，用来作为图形显示的容器：
几乎是jqPlot的示例中的完整拷贝，好吧，我承认我太懒了。下面是看用来显示生成图形的chart.js：
服务器端和客户端的代码都有了，那就跑起来看效果吧：
好像忘了什么？日志的分析代码。
三、使用MongoDB 增量式MapReduce实现日志分析
在MongoDB的文档中有关于Incremental MapReduce的介绍。刚开始一直以为MongoDB实现Streaming处理，可以自动执行增量式的MapReduce。最后发现原来是我理解有误，文档里并没有写这一点，只是说明了如何设置才能增量执行MapReduce。
为了方便，我把MapReduce使用MongoDB的JavaScript写在了单独的js文件中，然后通过crontab定时执行。stats.js的代码：
思路很简单：1. 在map中将每个action访问次数设为. reduce中，统计相同action的访问次数3. 执行mapReduce。指定了查询为‘action_count'不等于1，也就是没有执行过该统计；将结果存储在‘action_count'集合，并且使用reduce选项表示该结果集作为下次reduce的输入。4. 在当前所有日志记录设置'action_count'的值为1，表示已经执行过该统计。不知道这种是否会造成没有还没有统计过的记录也被更新？？望有经验的大侠赐教！
定时执行stats.js的shell：
好了，这就是全部的代码，没有什么特别玄妙的地方，不过Node.js真的是个好东西。
CentOS上安装Node.js和mongodb笔记 之前听说过Node.js，只是知道它可以应用于服务器端，但是对很多具体的东西并不了解。今天在QCon上听了袁锋的分享《Node.js脱离了浏览器的Javascript》之
nodejs通过phantomjs实现下载网页 功能其实很见简单，通过phantomjs.exe采集url加载的资源,通过子进程的方式，启动nodejs加载所有的资源，对于css的资源，匹配css内容，下载里面的url资源当
nodejs调用cmd命令实现复制目录 工作中一直需要对一些官网进行文件复制，并且替换内部的一些信息，以前都是手动操作的，或者通过自己写的firefox扩展来进行文件操作的。现在前端
