姜纪远
- 作品数：6 被引量：35H指数：3
- 供职机构：中国人民解放军陆军军官学院更多>>
- 发文基金：国家自然科学基金安徽省自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 求解AUC优化问题的对偶坐标下降方法被引量：1
- 2014年
- AUC被广泛作为衡量不平衡数据分类性能的评价标准.与二分类问题不同,AUC问题的损失函数由来自两个不同类别的样本对组成.如何提高其实际收敛速度,是一个值得研究的问题.目前的研究结果表明:使用reservoir sampling技术的在线方法(OAM)表现出很好的AUC性能,但OAM仍存在诸如收敛速度慢、参数选择复杂等缺点.针对AUC优化问题的对偶坐标下降(AUC-DCD)方法进行了系统的研究,给出3种算法,即AUC-SDCD,AUCSDCDperm和AUC-MSGD,其中,AUC-SDCD和AUC-SDCDperm与样本数目有关,AUC-MSGD与样本数目无关.理论分析指出,OAM是AUC-DCD的一种特殊情形.实验结果表明,AUC-DCD在AUC性能和收敛速度两方面均优于OAM.研究结果表明,AUC-DCD是求解AUC优化问题的首选方法.
- 姜纪远陶卿高乾坤储德军
- 关键词：AUC支持向量机
- 一种具有O(1/T)收敛速率的稀疏随机算法被引量：3
- 2014年
- 随机梯度下降(stochastic gradient descent,SGD)是一种求解大规模优化问题的简单高效方法,近期的研究表明,在求解强凸优化问题时其收敛速率可通过α-suffix平均技巧得到有效的提升.但SGD属于黑箱方法,难以得到正则化优化问题所期望的实际结构效果.另一方面,COMID(composite objective mirror descent)是一种能保证L1正则化结构的稀疏随机算法,但对于强凸优化问题其收敛速率仅为O(logT?T).主要考虑"L1+Hinge"优化问题,首先引入L2强凸项将其转化为强凸优化问题,进而将COMID算法和α-suffix平均技巧结合得到L1MD-α算法.证明了L1MD-α具有O(1?T)的收敛速率,并且获得了比COMID更好的稀疏性.大规模数据库上的实验验证了理论分析的正确性和所提算法的有效性.
- 姜纪远夏良章显陶卿
- 关键词：稀疏性L1正则化
- 求解线性SVM的非精确步长搜索割平面方法被引量：1
- 2014年
- 割平面方法可高效求解线性支持向量机问题,其主要思路是通过不断添加割平面并利用精确线性搜索实现算法的加速和优化.针对其中的非光滑线性搜索问题,文中提出一种基于非精确步长搜索的加速割平面方法.该方法使用较少的迭代次数就能确定最优步长所在的子区间.在此基础上,用二点二次插值的闭式解逼近最优步长,从而较精确线性搜索方法速度更快、开销更小,且保持同样的收敛边界.大量实验表明,文中方法效率优于基于精确线性搜索的优化割平面方法,在一些数据库上的收敛速度甚至提升50%.
- 储德军陶安高乾坤姜纪远陶卿
- 关键词：凸优化线性支持向量机线性搜索
- 随机COMID的瞬时收敛速率分析被引量：1
- 2015年
- COMID(Composite Objective MIrror Descent)是一种能够保证L1正则化结构的在线算法,其随机收敛速率可由在线算法的regret界直接得到,但其最终解是T次迭代平均的形式,稀疏性很差.瞬时解具有很好的稀疏性,因此分析算法的瞬时收敛速率在随机学习中变得越来越重要.本文讨论正则化非光滑损失的随机优化问题,当正则化项为L1和L1+L2时,分别证明了COMID的瞬时收敛速率.大规模数据库上的实验表明,在保证几乎相同正确率的同时,瞬时解一致地提高了稀疏性,尤其是对稀疏性较差的数据库,稀疏度甚至能够提升4倍以上.
- 姜纪远陶卿邵言剑汪群山
- 关键词：非光滑优化L1正则化
- 稀疏学习优化问题的求解综述被引量：22
- 2013年
- 机器学习正面临着数据规模日益扩大的严峻挑战,如何处理大规模甚至超大规模数据问题,是当前统计学习亟需解决的关键性科学问题.大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题中的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,而且无法满足机器学习对结构的要求.目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化方法成为解决大规模问题的有效手段.针对L1正则化问题,介绍了这些大规模算法的一些研究进展.
- 陶卿高乾坤姜纪远储德军
- 关键词：L1正则化
- 一种求解强凸优化问题的最优随机算法被引量：11
- 2014年
- 随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.
- 邵言剑陶卿姜纪远周柏
- 关键词：MIRROR
