张钧波
- 作品数：17 被引量：31H指数：3
- 供职机构：西南交通大学更多>>
- 发文基金：国家自然科学基金中央高校基本科研业务费专项资金四川省科技支撑计划更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop的小图片处理技术及其在人脸特征提取上的应用被引量：6
- 2015年
- 人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时性的要求.如何对海量人脸图像快速处理显得格外重要.Hadoop是为处理大数据而设计,在数据密集型大数据处理上取得了良好成绩.但它能否应对I/O密集型图像数据(海量人脸小图像)带来的挑战,还值得探究.以人脸识别的重要阶段特征提取为例,根据人脸图片特点,结合MapReduce模型和Hadoop组合分片方法,设计并实现基于Hadoop的人脸特征提取方法,并分析Hadoop用于处理海量小图像文件时的性能.实验证明,Hadoop对海量小图像文件的处理表现良好.
- 余征龚勋李天瑞张钧波
- 关键词：HADOOP大数据
- 面向12345政务热线事件分拨的深度行为语义网络
- 2025年
- 市民在遇到困难时,会通过12345政务服务热线寻求帮助。在收到市民请求之后,热线工作人员将对市民的需求进行分析,并将事件分拨给对应的政府部门进行处理。目前通过人工完成的分拨过程占用了大量的人力资源,同时许多事件被分拨到错误的部门。为了提高分拨过程的效率和正确率,提出了一种数据驱动的高效自动化事件分拨方法。基于历史分拨记录、事件文本和部门职责,设计了一个用于事件分拨的深度行为语义网络(DBSN)。它包含了三个部分,分别是历史行为编码、事件语义学习和多维特征匹配网络。历史行为编码模块构建了一个在事件类别和分拨部门之间的多级二分图,通过图编码学习行为特征。事件语义学习模块使用卷积神经网络(CNN)和注意力机制来学习事件诉求和部门权责的语义特征。多维特征匹配模块从行为、语义两个特征维度上将事件与部门进行匹配。在实验中,使用了某市12345政务热线数据,实验结果证明了提出的方法与基线方法相比具有优势。
- 陈顺易修文张钧波李天瑞李天瑞
- 关键词：文本分类
- 不同MapReduce运行系统的性能测试与分析被引量：3
- 2015年
- 随着云计算技术的发展,许多MapReduce运行系统被开发出来,如Hadoop、Phoenix和Twister等。直观上,Hadoop具有很强的可扩展性、稳定性,适合处理大规模离线应用;Phoenix具有运行速度快等优点,适合处理数据密集型任务;Twister是轻量级的迭代系统,非常适合迭代式的应用。不同的应用在不同的MapReduce运行系统中有着不同的性能。通过测试不同应用在这些运行系统上的性能,给出了实验比较和性能分析,从而为大数据处理时选择合适的并行编程模型提供依据。
- 易修文李天瑞张钧波滕飞
- 关键词：云计算MAPREDUCEHADOOPPHOENIXTWISTER
- 云平台下基于粗糙集的并行增量知识更新算法被引量：11
- 2015年
- 日益复杂和动态变化的海量数据处理,是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.粒计算是近年来新兴的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊的、不完整的和海量的信息,以及提供一种基于粒与粒间关系的问题求解方法.作为粒计算理论中的一个重要组成部分,粗糙集是一种处理不确定性和不精确性问题的有效数学工具.根据云计算中的并行模型Map Reduce,给出了并行计算粗糙集中等价类、决策类和两者之间相关性的算法;然后,设计了用于处理大规模数据的并行粗糙近似集求解算法.为应对动态变化的海量数据,结合Map Reduce模型和增量更新方法,根据不同的增量策略,设计了两种并行增量更新粗糙近似集的算法.实验结果表明,该算法可以有效地快速更新知识;而且数据量越大,效果越明显.
- 张钧波李天瑞潘毅罗川滕飞
- 关键词：云计算MAPREDUCE粗糙集
- 云计算环境下基于粗糙集的增量MapReduce知识更新算法
- 日益复杂和动态变化的海量数据处理是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.云计算是近年来新兴起的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊...
- 张钧波李天瑞罗川滕飞
- 关键词：海量数据信息处理云计算粗糙集
- 文献传递
- ST-WaveMLP:面向交通流量预测的时空全局感知网络模型
- 2024年
- 交通流量预测在智能交通系统中起着至关重要的作用。精准的交通流量预测不仅能帮助城市管理者进行更好的交通管理,也能帮助人们制定合适的出行计划。然而精准预测交通流量颇具挑战性,主要难点在于如何捕获交通流量数据中复杂的时空依赖性。近年来,深度学习方法已被成功应用于网格交通流量预测,主要采用深度卷积神经网络来捕获时空依赖性。但是卷积神经网络主要关注数据中空间特征的提取与整合,难以充分挖掘其中复杂的时空依赖性,而且单层卷积网络只能捕获局部空间依赖,因此,要想捕获全局空间依赖就需要对超多层的卷积网络进行堆叠,这将使整个网络模型训练收敛速度变慢。为了解决些问题,提出了一种面向交通流量预测的全局感知时空网络模型ST-WaveMLP,主要使用以多层感知机(MLP)为基础的可重复结构ST-WaveBlock来捕获相关的时空依赖。ST-WaveBlock中包含了捕获全局空间依赖和局部时间依赖的模块(SGAC),以及用于捕获局部空间依赖和全局时间依赖的模块(SLAC)。ST-WaveBlock具有较强的时空表征学习能力,通常仅用2~4个ST-WaveBlock堆叠就能有效捕获数据中的时空依赖性。最后,在4个实际交通流量数据集上进行实验验证,结果表明ST-WaveMLP具有更好的收敛性以及更高的预测精度,相较于之前最好的方法,所提方法预测精度的提升最高可达9.57%,模型收敛速度的提升最高可达30.6%。
- 包锴楠张钧波宋礼李天瑞
- 关键词：交通流量预测时空数据挖掘
- Hadoop的小图片处理技术及其在人脸特征提取上的应用
- 人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时性的要求.如何对海量人脸图像快速处理显得格外重要.Hadoop 是为处理大数据而设计,在数据密集型...
- 余征龚勋李天瑞张钧波
- 关键词：HADOOP大数据
- 面向流行病学调查的知识图谱构建与应用
- 2025年
- 重大突发性传染病以它的强传染性、快变异性和高风险性,对人类生命安全与经济发展构成重大威胁。流行病学调查是遏制传染病扩散的关键步骤和落实全链路精准防控的前提。针对现有流调系统存在的人工效率低下、数据质量差、专业知识不足等问题,在现有数字化的基础上结合知识图谱,提出一套辅助流行病学调查的技术应用方案。首先,基于人、地、事、物、组织五大类实体及其关系和属性构建知识图谱;其次,根据病例查风险点位查密接的思路,以病例为起点,以点位为重心,辅助判定风险人群和风险点位;最后,通过对流调数据的可视化分析,实现流调信息落位、传播扩散溯源和疫情态势感知等多个应用,从而辅助重大突发性传染病防控工作的顺利开展。在相同的误差范围内,基于图谱增强的轨迹落位方法的准确率显著高于传统基于人工问询的方法,千米内的判定准确率达到85.15%;基于图谱增强的风险点位和人群的判定方法使得效率显著提升,生成报告的平均耗时降至1 h内。实验结果表明,所提方案有效融合了知识图谱的技术优势,不仅提高了精准疫情防控策略制定的科学性与时效性,更为流行病传染预防领域的实践探索提供了重要的参考价值。
- 徐梓芯易修文鲍捷李天瑞张钧波郑宇
- 关键词：传染病流行病学调查知识图谱风险防控
- C4S2-094:基于MapReduce的高铁噪声数据预处理算法研究
- 高速铁路的快速发展,安全问题受到越来越大的关注,传感器采集的噪声数据反映了列车的运行状况,并与列车的安全息息相关.随着数据集的增大,数据处理的效率显得尤为重要,目前还无法高效地处理海量的噪声数据.本文利用了并行计算的思想...
- 王仲刚李天瑞张钧波赵成兵高子喆
- 关键词：噪声高速铁路MAPREDUCEHADOOP
- 基于深度对比孪生网络的事件辨重方法
- 2024年
- 在中国,市民可以通过拨打12345市民热线,向政府报告生活中遇到的问题并寻求帮助。然而,有许多重复的事件被多次上报,这给负责事件分派的工作人员带来了很大的压力,也会导致事件的处置效率变低,浪费社会公共资源。对重复事件的判断需要精确分析文本语义和上下文关系,为了解决这个问题,文中提出了一种基于深度对比孪生网络的事件辨重方法,通过评估两个事件的描述文本之间的相似性,辨别出具有相同诉求的事件。首先通过召回和过滤的方法来减少候选事件的数量;然后通过对比学习构造任务,微调预训练的BERT模型,学习易于辨识的事件描述语义表征;最后引入事件标题作为上下文信息,并通过带有分类器的孪生网络来识别重复事件。在南通市12345事件数据集上进行了实验,结果表明,该方法在各项评估指标上均优于基线方法,特别是在与辨重任务场景相关的F0.5分数上,能够有效地辨别重复事件,提高事件处置的效率。
- 李子琛易修文陈顺张钧波李天瑞
