JMS

Wesley13
• 阅读 480

在当今互联网和电商盛行的情况下,网站的性能受到了极大地挑战。大数据,高并发成为大型网站的标志。无论淘宝的双11优惠,还是小米抢购,它们都有一个共同的特点,那就是在短时间内,突然涌入超出平时数倍的用户。

如果每个用户从请求,到订单处理,再到响应返回均在一个请求中同步处理的话,用户的响应时间将会随着并发量的提高越来越久,直到最后服务器崩溃。在这种情况下,可以使用JMS消息队列,异步处理订单。用户发出请求,服务器接收请求以后,向消息队列中发送一个消息,就立刻返回“订单正处理”的消息给用户。而订单处理服务器可以不停的从消息队列中取出消息,按照自己的节奏进行处理。这就像生产者-消费者模式一样。通过这种异步的处理方式,用户响应时间得到缩减,服务器的压力也可以被时间分担,从而避过洪峰期。

在之前的文章JavaMail发送google email中,我使用的是同步方式发送email,可以一个用户的响应有多慢。今天我将使用JMS的方式,改进邮件发送系统。

JMS

首先还是要简单的介绍下JMS(Java Messaging Service)。太基础的就不再唠叨了,这里只列出JMS的两种消息模式:

  1. PTP模式

    PTP模式中,消息是Queue的形式从一端到另一端。无论client2是否连接,运行中,JMS的可靠性使得Msg都不会丢失。当client2恢复运行时,Queue会继续传输。Queue的两端可以有多个clients,但是每一个消息,只能被一个consumer client消费。所以,对于消费客户端们而言,也属于争抢式消费。

    JMS

  2. Pub/Sub模式

    在发布订阅的模式中,则是以topic,subscription,client的方式。所有的订阅者均可受到消息,一个消息会被重复的发送给不同的消费者。

    JMS

    一个topic下面可以挂很多的subscription,但是这些subscription只有4种类型,这4中类型如下图:

    JMS

    Subscription:只能有一个client,当client断开连接,subscription则自动销毁。

    Durable Subscription:只能有一个client,当client断开连接后,Message会被存在subscription中,一旦client重新连接,则继续发送消息。

    Shared Subscription:可以有多个client同时挂在一个subscription上,这样可以有多个client并行的处理此Subscription下的消息。记住,消息只能被其中一个client所消费,不能被多个client同时消费。

    Shared Durable Subscription:区别在durable上,即client断线,subscription会继续存在。

PTP适合单一消息类型,单一消费者类型。而Pub/Sub适合多种类消息,和多种消费者类型。

此外,消息可以是可持久化的,也可以是非持久化的。持久化的消息将被写入硬盘,当MQ server重启后,消息不会丢失。

消息的消费方式也存在两种模式:

  1. JMS client API调用。此种方式的缺点在于,需要自己维护多线程。

  2. MDB(Message Driven Bean)。使用EJB的方式,可以由EJB容器帮忙管理多线程。其中MDB是多实例的,每个消息过来都是一个新的线程。

JMS服务器


JMS是针对java来讲的,一般,称为MQ server。MQ Server不只针对Java,还针对C,C++,PHP,C#.... 非常多的平台。当前最火的是Apache ActiveMQ,也有使用JBoss Messaging的。但本文将使用Oracle的Glassfish Open MQ。

Open MQ是Oracle Glassfish下的一款MQ server,它是第一个实现了JMS2.0标准的MQ server。它可以单独使用,搭建集群,也可以内嵌到Glassfish中使用。在Glassfish4中,OpenMQ已经集成在Glassfish4中。Glassfish4可以使用内嵌的OpenMQ来满足小型网站的异步消息处理,也可以使用外部的OpemMQ集群来满足大型网站的异步消息处理。

有人会很纠结,ActiveMQ,OpenMQ到底哪一个好?其实我觉得每一款软件都有各自的特点,它们均能支撑起一个大型网站的架构,问题在于你如何使用它们。Glassfish是一个缩小型的WebLogic,轻巧易用。OpenMQ支持JMS2.0,易集成于Glassfish,又为Oracle支持的开源项目,其能力一样强悍。唯一的缺点是,集成于Glassfish中的OpenMQ不支持C客户端。

接下来,我将使用JMS消息队列来优化邮件发送系统。

小型网站的邮件发送系统

必备软件

Glassfish4,版本4是必须的,因为4中集成了OpenMQ,我们可以直接在Glassfish4中使用本地JMS服务。针对大型网站的远程JMS服务,我们将在下一篇文章中实现。

改造方案

本文将尝试两种改造方案:

  1. JMS client API + threadPool,自己在后台启动线程监听,并管理多线程。

  2. MDB, EJB容器进行Message监听,并帮助管理多线程。

应该使用多少线程?线程的数量与CPU的数量和IO阻塞时间有关系。如果线程没有任何IO阻塞,那么,线程数量应该和CPU数量相同。因为多余的线程需要等待CPU。如果存在IO阻塞,则需要多余CPU数量的线程,一个线程阻塞在IO上的时候,CPU不至于空闲,可以去执行其它线程。仔细推导,可以能通过IO阻塞时间跟运行时间的比例,可以计算出所需线程的数量。

显然,方案二是最明智的做法。家下来,开始实现方案二。

配置JMS Resources

打开Glassfish管理页面http://localhost:4848

  1. 配置JMS ConnectionFactory。可以使用glassfish默认的。

    JMS

  2. 配置Destination Resources. 展开Resources->JMS Resources->Destination Resources. 创建一个Queue resource。

    JMS

配置Java Mail Session

请在上一篇文章中http://my.oschina.net/xpbug/blog/263974#OSC_h2_3 找到Gmail的配置方法。

创建一个Web项目

创建一个名为sample的web项目。

创建MDB

创建接收JMS消息的MDB,我们使用简单的text message。email地址在message体中。MDB会向地址中发送一个简单邮件。

package com.mycompany;

import java.util.logging.Level;
import java.util.logging.Logger;
import javax.ejb.ActivationConfigProperty;
import javax.ejb.MessageDriven;
import javax.jms.JMSException;
import javax.jms.Message;
import javax.jms.MessageListener;
import javax.mail.Address;
import javax.mail.MessagingException;
import javax.mail.Session;
import javax.mail.Transport;
import javax.mail.internet.InternetAddress;
import javax.mail.internet.MimeMessage;
import javax.naming.Context;
import javax.naming.InitialContext;
import javax.naming.NamingException;

/**
 *
 * @author none2
 */
@MessageDriven(activationConfig = {
    @ActivationConfigProperty(propertyName = "destinationLookup", propertyValue = "jms/myQueue"),
    @ActivationConfigProperty(propertyName = "destinationType", propertyValue = "javax.jms.Queue")
})
public class EmailMessageBean implements MessageListener {
    private final Session mySession;
    
    public EmailMessageBean() throws NamingException {
        Context initCtx = new InitialContext();
        mySession = (Session) initCtx.lookup("mail/mySession");
    }
    
    @Override
    public void onMessage(Message message) {    
        try {
            String address = message.getBody(String.class);
            javax.mail.Message mail = new MimeMessage(mySession);
            mail.setFrom(new InternetAddress("joey.zhangpeng@gmail.com"));
            Address toAddress = new InternetAddress(address);
            mail.addRecipient(javax.mail.Message.RecipientType.TO, toAddress);
            mail.setSubject("Hello");
            mail.setText("A notification.");
            Transport.send(mail);
        } catch (MessagingException | JMSException ex) {
            Logger.getLogger(EmailMessageBean.class.getName()).log(Level.SEVERE, null, ex);
        }
    }
}

index.html

创建网站的默认页面

<html>
    <head>
        <title>TODO supply a title</title>
        <meta charset="UTF-8">
        <meta name="viewport" content="width=device-width, initial-scale=1.0">
    </head>
    <body>
        <form method="post" action="/sample/NotifyServlet">
            Email:<input name="email" value=""/>
            <input type="submit" value="Buy" name="submit"/>            
        </form>
    </body>
</html>

创建NotifyServlet

在servlet中,使用jms client,发送jms消息到queue中。

package com.mycompany;

import java.io.IOException;
import java.io.PrintWriter;
import javax.annotation.Resource;
import javax.jms.ConnectionFactory;
import javax.jms.JMSContext;
import javax.jms.Queue;
import javax.servlet.ServletException;
import javax.servlet.annotation.WebServlet;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

/**
 *
 * @author none2
 */
@WebServlet(name = "NotifyServlet", urlPatterns = {"/NotifyServlet"})
public class NotifyServlet extends HttpServlet {
    @Resource(lookup = "java:comp/DefaultJMSConnectionFactory")
    private ConnectionFactory connectionFactory;
    
    @Resource(lookup = "jms/myQueue")
    private Queue queue;
    
    @Override
    protected void doPost(HttpServletRequest request, HttpServletResponse response)
            throws ServletException, IOException {
        String email = request.getParameter("email");
        try (JMSContext context = connectionFactory.createContext();) {
            context.createProducer().send(queue, email);
        }
        response.setContentType("text/html;charset=UTF-8");
        try (PrintWriter out = response.getWriter()) {
            /* TODO output your page here. You may use following sample code. */
            out.println("<!DOCTYPE html>");
            out.println("<html>");
            out.println("<head>");
            out.println("<title>Servlet NotifyServlet</title>");            
            out.println("</head>");
            out.println("<body>");
            out.println("<h1>You have send a notification to " + email + "</h1>");
            out.println("</body>");
            out.println("</html>");
        }
    }
}

最后,进行项目打包并部署。访问http://localhost:8080/sample/ 来测试一下。

后续,使用远程MQ server增加伸缩性

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
Java日期时间API系列31
  时间戳是指格林威治时间1970年01月01日00时00分00秒起至现在的总毫秒数,是所有时间的基础,其他时间可以通过时间戳转换得到。Java中本来已经有相关获取时间戳的方法,Java8后增加新的类Instant等专用于处理时间戳问题。 1获取时间戳的方法和性能对比1.1获取时间戳方法Java8以前
Stella981 Stella981
2年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
2年前
HIVE 时间操作函数
日期函数UNIX时间戳转日期函数: from\_unixtime语法:   from\_unixtime(bigint unixtime\, string format\)返回值: string说明: 转化UNIX时间戳(从19700101 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive   selec
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这