实时广告竞拍平台会产生海量的数据,如何对这些数据进行分析和建模会决定广告竞拍的成败.其中一个重要的问题是,如何得到胜出竞价的概率密度函数以便用于指导竞价.在文献(Cui Y,Zhang R,Li W,Mao J.Bid landscape forecasting in online ad exchange marketplace.Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York:ACM,2011:265-273)中,雅虎实验室提出了一个技术框架来解决这个问题:首先利用合理的统计学方法对海量数据按照特征属性进行分类;再利用高效的数据结构进行存储,以便快速定位特定属性的信息;最后用梯度提升决策树(gradient boosting decision trees,GBDT)模型和有限混合模型(finite mixture model,FMM)学习得到胜出竞价的分布模型.结合国内竞拍平台的数据特点,在上述文献的基础上,对技术框架进行改进,并提出修正的算法.
为了对大量电力用户的稀疏、不规律的日耗电量数据进行特征分析,并对用户进行分类,文章提出一种函数性数据聚类分析方法。首先,应用kernel方法将离散的电量数据还原成连续曲线;然后,受Sobolev空间距离的启发,定义了新的函数距离,用于k-means算法进行聚类。以某城市10 000户居民538天的实际用电数据进行实验,得到了用户在不同距离和聚类个数下的聚类原型。实验结果显示,由于选取的用户主要是城市居民,其用电模式比较相似:大高峰时段主要在6—9月,小高峰时段主要在1—2月,日消耗波动较小。而不同用户类别的主要区别体现在用电量的范围上:低耗电用户整体低于13 k W?h/天,高耗电用户接近100 k W?h/天。
