Linux进程间通信(上)之管道、消息队列实践

Stella981
• 阅读 556

1、进程间通信简述

进程间通信的几种方式:无名管道、有名管道、消息队列、共享内存、信号、信号量、套接字(socket)。

进程间通信是不同进程直接进行的一些接触,这种接触有简单,有复杂。机制不同,复杂度也不同。通信是一个广义上的意 义,不仅指大批量数据传送,还包括控制信息的传送,但是使用的方法都是大同小异的。

Linux进程间通信(上)之管道、消息队列实践

如图所示进程不是孤立的,不同的进程需要进行信息的交互和状态的传递等,因此需要进程间通信。

2、管道

管道分为无名管道和有名管道两种方式。管道是一种半双工的通信方式,数据只能单向流动,但是无名管道和有名管道的区别是无名管道只能在具有亲缘关系的进程间通信,有名管道则是在无亲缘关系进程间通信。进程的亲缘关系通常是指父子进程关系。管道是Linux支持的最初Unix IPC形式之一,管道与管道之间通信其实就是一个文件,但它不是一个普通的文件,它不属于某种文件系统,而是自立门户,单独构成一种文件系统而且只存在内存中。当一个进程向管道中写的内容被管道另一端的进程读出;写入的内容每次都会被添加到管道缓冲区的末尾,并且每次都是从缓冲区的头部读出数据。如下图所示。

Linux进程间通信(上)之管道、消息队列实践

那么,如何创建一条管道呢?下面,我们就来了解下FIFO函数。

FIFO不同于pipe函数,因为它提供了一个路径名与之关联,以FIFO的文件形式存在于文件系统中,这样,即使与FIFO的创建进程不存在亲缘关系的进程,只要可以访问该路径就能够彼此通过FIFO互相通信,因此,通过FIFO不相关的进程也能交换数据。值得注意的是,FIFO严格遵循先进后出,和栈的原则一样,对管道以及FIFO的读总是从开始处返回数据,对它们的写则把数据添加到末尾。它们不支持诸如lseek()等文件定位操作。

需要包含的头文件如下:

#include<sys/types.h>#include<sys/stat.h>#incldue<fcntl.h>#include<unistd.h>

FIFO函数创建:

函数原型:

int mkfifo(const char *pathname,mode_t mode);

函数返回值 :

成功0,失败-1

参数含义:

pathname为路径名,创建管道的名字(该函数的第一个参数是一个普通的路径名,也就是创建后FIFO的名字)。mode为创建fifo的权限(第二个参数与打开普通文件的open()函数中的mode参数相同)。

注:如果mkfido的第一个参数已经是一个已经存在的路径名时,就会返回EEXIST错误,所以当我们调用的时候首先会检查是否返回该错误,如果返回该错误那我们只需要直接调用打开FIFO的函数即可。

FIFO比pipe函数打开的时候多了一个打开操作open;如果当时打开操作时为读而打开FIFO时,若已经有相应进程为写而打开该FIFO,则当前打开操作将返回成功;否则,可能阻塞到有相应进程为写而打开该FIFO;或者,成功返回。另一种情况就是为写而打开FIFO时,若已经有相应进程为读而打开该FIFO,则当前打开操作将成功返回;否则可能会阻塞直到有相应进程为读而打开该FIFO;或者,返回ENIO错误。

下面我们使用FIFO实现进程间的通信。

(1)打开一个文件,管道的写入端向文件写入数据;管道的读取端从文件中读取出数据。

fifo_write.c

#include <stdio.h>#include <string.h>#include<sys/types.h>#include<sys/stat.h>#include <fcntl.h>#include <unistd.h>#define P_FIFO  "txt"int main(){    int fd;    //要写入有名管道的数据    char buf[20] = "hello write_fifo";    int ret=0;    //创建有名管道,并赋予访问有名管道的权限    ret = mkfifo(P_FIFO,0777);    //创建失败    if(ret < 0)    {        printf("create named pipe failed.\n");        return -1;    }    fd = open(P_FIFO,O_WRONLY);    if(fd < 0)    {        printf("open failed.\n");        return -2;    }    //写入数据到有名管道    //第一个参数为有名管道文件描述符    //第二个参数为写入有名管道的数据    //第三个参数为写入有名管道的数据长度    write(fd,buf,sizeof(buf));    //关闭有名管道    close(fd);    return 0;}

fifo_read.c

#include <stdio.h>#include <string.h>#include<sys/types.h>#include<sys/stat.h>#include <fcntl.h>#include <unistd.h>#define P_FIFO  "txt"int main(){    int ret;    int fd;    char buf[20];    //打开有名管道    //第一个参数为有名管道文件路径    //第二个参数表明是以读取方式并以非阻塞方式打开有名管道    //O_RDONLY读取模式    //O_NONBLOCK非阻塞方式    fd = open(P_FIFO,O_RDONLY);    if(fd<0)    {        printf("open fail\n");        return -1 ;    }    //循环读取有名管道    while(1)    {        memset(buf,0,sizeof(buf));        if(read(fd,buf,sizeof(buf)) == 0)        {            printf("nodata.\n");        }        else        {            printf("getdata:%s\n",buf);            break;        }   }   close(fd);   return 0;}

下面先将fifo_write.c和fifo_read.c分别编译成fifo_write和fifo_read两个可执行程序:

Linux进程间通信(上)之管道、消息队列实践

接下来,先运行fifo_write,然后打开另一个终端,接着运行fifo_read,运行fifo_write的时候,可以看到程序阻塞在终端:

Linux进程间通信(上)之管道、消息队列实践

下面打开另外一个终端运行fifo_read

切换到另外一个终端,在终端输入ls –l可以看到由于fifo_write中创建了管道文件txt,从前面的字串prwxr-xr-x中的p可以知道,这是一个管道文件,如下图所示:

Linux进程间通信(上)之管道、消息队列实践

运行fifo_read,这时候,可以看到从管道中获取的字符串hello write_fifo,如下图所示:

Linux进程间通信(上)之管道、消息队列实践

管道读取结束后,fifo_write这个程序也就不会在阻塞在终端了,如下图所示:

Linux进程间通信(上)之管道、消息队列实践

写管道程序还要注意,一旦我们创建了FIFO,就可以用open去打开它,可以使用open、read、close等去操作FIFO和pipe有相同之处,当打开FIFO时,非阻塞标志(O_NONBLOCK)将会对读写产生如下影响:

  • 1、没有使用O_NONBLOCK:访问要求无法满足时进程将阻塞。如试图读取空的FIFO,将导致进程阻塞;

  • 2、使用O_NONBLOCK:访问要求无法满足时不阻塞,立即出错返回,errno是ENXIO。

3、消息队列

消息队列(也叫做报文队列)提供了一个进程向另一个进程发送一个数据块的方法。每个数据块都被认为含有一个类型,接收进程可以独立地接收含有不同类型的数据结构。我们可以通过发送消息来避免命名管道的同步和阻塞问题。但是消息队列与命名管道一样,每个数据块都有一个最大长度的限制。

打开或者创建消息队列的内核持续性要求每个消息队列都在系统范围内对应唯一的键值,所以,要获得一个消息队列的描述字,只需要提供该消息队列的键值即可。

消息读写操作非常简单,对于开发人员来说,每个消息都类似如下的数据结构:

struct msgbuf{ long mtype; char mtext[1];};

3.1、msgget函数

该函数用来创建或者访问一个消息队列。

int msgget(key_t key, int msgflg);

与其他的IPC机制一样,程序必须提供一个键来命名某个特定的消息队列。msgflg是一个权限标志,表示消息队列的访问权限,它与文件的访问权限一样。msgflg可以与IPC_CREAT做或操作,表示当key所命名的消息队列不存在时创建一个消息队列,如果key所命名的消息队列存在时,IPC_CREAT标志会被忽略,成功则返回一个以key命名的消息队列的标识符(非零整数),失败时返回-1。

3.2、msgsnd函数

该函数用来向消息队列发送一个消息。

int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg);

将发送的消息存储在msgp指向的msgbuf结构中,消息大小由msgsz指定。对发送的消息来说,有意义的msgflg标准为IPC_NOWAIT,指明在消息队列没有足够的空间容纳要发送的消息时,msgsnd是否等待。造成msgsnd()等待的条件有两种:当前消息的大小与当前消息队列中的字节数之和超过了消息队列的总容量;当前消息队列的消息数不小于消息队列的总容量,此时,虽然消息队列中的消息数目并不多,但基本上都只有一个字节。调用成功的时候返回0,失败返回-1.

3.3、msgrcv函数

该函数用来从一个消息队列获取消息。

int msgrcv(int msqid, void *msgp, size_t msgsz, long msgtyp, int msgflg);

msgrcv函数前面三个参数和msgsnd函数的三个参数一样不做讲解。msgtype可以实现一种简单的接收优先级。如果msgtype为0,就获取队列中的第一个消息。如果它的值大于零,将获取具有相同消息类型的第一个信息。如果它小于零,就获取类型等于或小于msgtype的绝对值的第一个消息。msgflg用于控制当队列中没有相应类型的消息可以接收时将发生的事情。当调用成功时,该函数返回放到接收缓存区中的字节数,消息被复制到由msg_ptr指向的用户分配的缓存区中,然后删除消息队列中对应的消息;失败则返回-1.

3.4、msgctl函数

该函数用来控制消息队列。

int msgctl(int msgid, int command, struct msgid_ds *buf);

该系统调用对由msqid标识的消息队列执行cmd操作,共有三种cmd操作:

  • IPC_STAT:把msgid_ds结构中的数据设置为消息队列的当前关联值,即用消息队列的当前关联值覆盖msgid_ds的值。

  • IPC_SET:如果进程有足够的权限,就把消息列队的当前关联值设置为msgid_ds结构中给出的值。

  • IPC_RMID:删除消息队列。buf是指向msgid_ds结构的指针,它指向消息队列模式和访问权限的结构。成功返回0,否则返回-1。

通过上面的函数我们清楚如何去创建一个消息队列那我们简单的来看一个案例。

(1)创建一条消息队列msg_get.c

#include <stdio.h>#include <sys/ipc.h>#include <sys/msg.h>int main(void){ int  msgid ;  //创建消息队列,注意,创建后面要有IPC_CREAT标志 msgid = msgget(0x123456 , IPC_CREAT | 0777); if(msgid < 0) {  perror("msgget fail");  return -1 ;  } printf("success ... ! \n"); return 0  ;}

运行结果:

Linux进程间通信(上)之管道、消息队列实践

那消息队列呢?怎么查看?使用ipcs –q命令可以查看到刚刚我们创建的消息队列0x123456。

Linux进程间通信(上)之管道、消息队列实践

(2)向消息队列发送消息 msgsend.c

#include <stdio.h>#include <string.h>#include <sys/ipc.h>#include <sys/msg.h>int main(void){    int msgid ;    msgid = msgget(0x123456 , 0);    if(msgid == -1)    {        perror("create msg queue fail");        return -1 ;    }    printf("open msg success ... \n");    int ret ;    char *p = "hello world" ;   //发送hello world到消息队列0x123456   //在这里可以直接发送    ret = msgsnd(msgid , p , strlen(p) , 0);    if(ret == -1)    {        perror("send msgid fail");        return -2 ;    }    return 0 ;}

运行结果:

Linux进程间通信(上)之管道、消息队列实践

使用ipcs –p命令查看:

Linux进程间通信(上)之管道、消息队列实践

(3)获取消息队列中的信息 msgrecv.c 在上面msgsend.c的基础上,这个例程将上面发送到消息队列的信息读取回来。

#include <stdio.h>#include <string.h>#include <sys/ipc.h>#include <sys/msg.h>int main(void){    int msgid ;    msgid = msgget(0x123456 , 0);    if(msgid == -1)    {        perror("create msg queue fail");        return -1 ;    }    printf("open msg success ... \n");    int ret ;    char buffer[1024] = {0};    //接收消息队列中的信息    ret = msgrcv(msgid , buffer , 11 , 0 , 0);    if(ret == -1)    {        perror("recv msgid fail");        return -2 ;    }    printf("ret: %d  buffer:%s \n" , ret , buffer);    return 0 ;}

运行结果,如图所示:

Linux进程间通信(上)之管道、消息队列实践

那么,如何删除一个消息队列呢?先用ipcs –q查看消息队列,如图所示:

Linux进程间通信(上)之管道、消息队列实践

有两种方法:

  • 1、使用命令ipcrm –q msqid 删除消息队列,如图所示

Linux进程间通信(上)之管道、消息队列实践

  • 2、使用msgctl函数,写IPC_RMID标志删除消息队列

(4)删除消息队列 msgrm.c

#include <stdio.h>#include <sys/ipc.h>#include <sys/msg.h>int main(void){    int  msgid ;    msgid = msgget(0x123456 , 0);    if(msgid < 0)    {        perror("msgget fail");        return -1 ;    }    printf("success ... ! msgid:%d \n" , msgid);    //写IPC_RMID标志    if(msgctl(msgid , IPC_RMID , NULL) == 0)    {        printf("remove success ... \n");    }    return 0  ;}

运行结果,如图所示:

Linux进程间通信(上)之管道、消息队列实践

使用系统提供的API的方式,可以将消息队列删除。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点,相对于管道通信有很大的改观,而且消息队列对数据的顺序处理也是非常有条理性的不会产生混杂性。

往期精彩

Linux 进程必知必会

【Linux系统编程】IO标准缓冲区

【Linux系统编程】可重入和不可重入函数

韦东山:6000字长文告诉你如何学习linux

会C/C++就可以开发Linux/Android应用程序?Yoxios了解一下!

觉得本次分享的文章对您有帮助,随手点[在看]并转发分享,也是对我的支持。Linux进程间通信(上)之管道、消息队列实践

本文分享自微信公众号 - 嵌入式云IOT技术圈(gh_d6ff851b4069)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
Android的Binder机制浅析
1\.引言 一般实际的软件系统中进程间通信(IPC)的实现方法有命名管道(namedpipe),共享内存(sharedmemory),消息队列(messagequeue),Socket等方法。在Android的框架(Framework)中,以Binder作为框架内进程间(通常如服务和客户间)通信的主要实现手段。这可能是出于效
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Linux进程间通信(中)之信号、信号量实践
上节我们分享了Linux进程间通信的其中两种方式:管道、消息队列,文章如下:Linux进程间通信(上)之管道、消息队列实践(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzA3MjMzNTc4NA%3D%3D%26mid
Wesley13 Wesley13
2年前
linux管道
管道是单向的字节流,它将某个进程的标准输出连接到另一个进程的标准输入。管道和有名管道是最早的进程间通信机制之一,管道可用于具有亲缘关系进程间的通信,有名管道克服了管道没有名字的限制,因此,除具有管道所具有的功能外,它还允许无亲缘关系进程间的通信。管道和有名管道的读写规则是在程序中应用它们的关键。管道相关的概念在linux中管道是通过指向同
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这