文坤梅
- 作品数:64 被引量:167H指数:9
- 供职机构:华中科技大学更多>>
- 发文基金:国家自然科学基金湖北省自然科学基金国家高技术研究发展计划更多>>
- 相关领域:自动化与计算机技术文化科学语言文字电子电信更多>>
- YARN平台上的并行主题标引算法被引量:2
- 2014年
- 文档主题标引是当前个性化智能检索的重要前提,但面对大规模海量数据资源时,主题标引也成为性能瓶颈。当前在Map Reduce框架上设计实现的主题标引算法,通常存在启动任务耗时长,中间数据过多地进行磁盘IO等缺陷。为了解决此类问题,采用YARN(yet another resource negotiator)作为底层分布式资源管理平台,选择更加合适的计算框架来改善计算性能。针对文档主题标引算法计算步骤多、阶段性强的特点,选择有向无环图(directed acyclic graph,DAG)计算模型进行算法实现,避免不必要的作业拆分,从而减少中间结果的磁盘IO。另外,考虑到Map Reduce的排序策略耗时较多,而有些计算无需对结果排序,故可以改用基于Hash的数据归约策略来提高计算性能,但这又会带来随机读的问题。利用固态硬盘高速随机读的特性,设计相应的优化计算策略来解决随机读的问题。通过实验对比发现,以YARN为底层管理平台,在此基础上选择合适的计算框架并加以优化,可以有效改善分布式计算的性能。
- 李瑞轩廖东杰辜希武文坤梅赵铄乂董新华
- 关键词:主题标引固态硬盘
- 基于角色的访问控制模型构建系统
- 本发明提供了一种基于角色的访问控制模型构建系统,该系统包括数据库、权重模块、角色模块、约束模块、结果显示模块、用户权限分配管理模块和审计管理模块;其中权重模块包括相似度模块和权重计算模块,角色模块包括角色生成模块和角色层...
- 李瑞轩马晓普李开辜希武文坤梅王伟董勐聂莉叶威
- 文献传递
- 基于社会标注的主题爬虫系统
- 一种基于社会标注的主题爬虫系统,包括页面获取模块,页面处理模块,相关度计算模块,存储模块,链接提取模块和链接分析模块。系统充分利用了网页的社会标注,是对页面内容公认的描述,更加贴近网页描述的真实内容,利用此性质来进行网页...
- 李瑞轩文坤梅赵勇辜希武卢正鼎靳延安丁益斌
- 文献传递
- 网站支撑数据库安全搜索引擎系统
- 本发明公开了一种网站支撑数据库安全搜索引擎系统。系统对网站支撑数据库存放的网页文本信息的访问角色信息和显示网址进行描述;直接对网页文本信息建立索引,索引中包含显示网址信息和访问角色信息;按照用户提交的查询关键字从牵引库中...
- 李瑞轩辜希武卢正鼎於光灿文坤梅张茂元丁益斌
- 文献传递
- 一种基于分块组织的密文索引结构及其管理方法
- 本发明公开了一种基于分块组织的密文索引结构及其管理方法。针对分块的密文索引结构,在创建索引时,首先是采用基于合并的索引创建方式创建明文索引,然后统一对明文索引进行分块加密。基于密文索引的维护机制则是分为索引中文档的添加、...
- 李瑞轩雷小强吴炜辜希武文坤梅卢正鼎李雨前燕昆宋赛高国强
- 文献传递
- 基于访问控制的安全搜索引擎系统
- 一种基于访问控制的安全搜索引擎系统,包括数据库服务器、单点登录模块、用户信息描述模块、爬行器模块、查询检索模块和索引库。系统根据资源安全级别对用户信息进行描述;爬行器获取爬行受控资源的权限并采集受安全控制的资源内容;按照...
- 李瑞轩卢正鼎文坤梅孙小林於光灿
- 文献传递
- 一种基于用户动机倾向性的标签推荐方法及系统
- 本发明提供了一种基于用户动机倾向性的标签推荐方法,该方法根据用户三元组,计算用户的动机倾向性、每个已标注资源的动机倾向性和待标注资源的动机倾向性;在已标注资源中选择与待标注资源的动机倾向性相似的资源,得到非用户依赖相似资...
- 李瑞轩靳延安文坤梅辜希武李玉华
- 文献传递
- 搜索引擎中基于分类的网页更新方法研究被引量:1
- 2004年
- 网络无限扩张的同时网页也在频繁地变化,搜索引擎必须定期更新它所检索的,多页,耗费了大量时间和系统资源,因此提高更新效率是搜索引擎的关键技术。比较了目前存在的两种更新方法:统一更新方法和个体更新方法.指出其优劣所在。然后提出一种改进的基于分类的网页更新方法,并从理论上论证了其优化性。实验分析表明.分类更新方法很大程度上提高了网页更新效果。
- 文坤梅卢正鼎
- 关键词:网页搜索引擎系统资源网络
- Web-MIND:基于特定主题的Web信息挖掘系统
- 2007年
- 本文研究并实现了一个面向特定领域的网上药品信息挖掘系统Web-MIND。用户通过提交关键词向系统表达自己希望获得的信息主题,而Web-MIND利用元搜索及多策略学习等方法对所积累的文档库进行信息和知识挖掘,过滤不相关信息,并自动将有用信息推荐给用户。采用基于语义的模糊匹配技术,系统能有效地帮助用户挖掘Web上的药品广告信息和知识,以达到审核因特网药品广告的目的。
- 文坤梅卢正鼎叶卫国
- 关键词:WEB信息挖掘多策略学习语义匹配
- 一种基于深度学习的用户情感分析方法
- 本发明公开了一种基于深度学习的用户情感分析方法,其中,方法的实现包括数据预处理、词向量学习、文本向量学习、用户特征向量表示、用户情感分析以及模型更新。本发明方法使用用户发表的文本信息提取用户的特征向量,并基于该用户特征向...
- 李瑞轩文坤梅昝杰李玉华辜希武杨琪代德顺张镇