比较OpenBLAS,Intel MKL和Eigen的矩阵相乘性能

对于机器学习的很多问题来说,计算的瓶颈往往在于大规模以及频繁的矩阵运算,主要在于以下两方面:

(Dense/Sparse) Matrix – Vector product
(Dense/Sparse) Matrix – Dense Matrix product
如何使机器学习算法运行更高效摆在我们面前,很多人都会在代码中直接采用一个比较成熟的矩阵运算数学库,面对繁多的数学库,选择一个合适的库往往会令人头疼,这既跟你的运算环境有关,也跟你的运算需求有关,不是每个库都能完胜的。

这篇文章的主要目的就是比较几个常见的BLAS库的矩阵运算性能,分别是[……]

阅读全文

k-d 树

  k-d 树(k-维树的缩写)是一种对k维空间中的实例点进行存储以方便对齐进行快速检索的树形数据结构,k-d 树可以用于于多维空间关键数据的搜索,例如范围搜索和最近邻搜索。

  k-d 树是每个节点都为k维点的二叉树,表示对 k 维空间的一个划分。构造k-d树相当于不断地用垂直于坐标轴的超平面将[……]

阅读全文

K近邻算法

K 最近邻 (k-Nearest Neighbor,KNN) 分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一,1968年由 Cover 和 Hart 提出。该方法的思路是:如果一个样本在特征空间中的 k 个最相似即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN 算法中,所选择的邻居都是已经正确分类的对象。该方法在分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 K 最近邻 (k-Nearest Neighbor,KNN) 分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:如果一个样本在特征空间中的 k 个最相似即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居都是已经正确分类的对象。该方法在分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。[……]

阅读全文