新闻中心

澳门银河网站 > 智能计算 > 业界动态 > IBM展示10倍速GPU机器学习,处理30GB训练数据只要1分钟

IBM展示10倍速GPU机器学习,处理30GB训练数据只要1分钟

作者:时间:2017-12-11来源:ithome

澳门银河网站 www.fzgouma.com   研究院与瑞士洛桑联邦理工学院共同于2017 NIPS Conference发表大数据解决方案,此方法可以利用GPU在一分钟内处理完30GB的训练数据集,是现存有限内存训练方法的10倍。

本文引用地址:http://www.fzgouma.com/article/201712/372773.htm

  研究团队表示,机器训练在大数据时代遇到的挑战是动辄TB等级起跳的训练数据,这是常见却又棘手的问题,或许一台有足够内存容量的服务器,就能将所有训练数据都加载内存中进行运算,但是仍要花费数小时,甚至是数周。

  他们认为,目前如GPU等特殊的运算硬件,的确能有效加速运算,但仅限于运算密集的工作,而非数据密集的任务。 如果想要善用GPU运算密集的优势,便需要把数据预先加载到GPU内存,而目前GPU内存的容量最多只有16GB,对于实作来说并不算宽裕。

  批次作业看似是一个可行的方法,将训练数据切分成一块一块,并且依造顺序加载至GPU做模型训练,不过经实验发现,从CPU将数据搬移进GPU的传输成本,完全盖过将数据放进GPU高速运算所带来的好处。 ,研究员Celestine Dünner表示,在GPU做最大的挑战,就是不能把所有的数据都丢进内存里面。

  为了解决这样的问题,研究团队开发为训练数据集标记重要性的技术,因此训练只使用重要的数据,那多数不必要的数据就不需要送进GPU,藉此大大节省训练的时间。 像是要训练分辨狗与猫图片的模型,一旦模型发现猫跟狗的差异之一为猫耳必定比狗小,系统将保留这项特征,在往后的训练模型中都不再重复回顾这个特征,因此模型的训练会越来越快。 研究员Thomas Parnell表示,这样的特性便于更频繁的训练模型,也能更及时的调整模型。

  这个技术是用来衡量每个数据点对学习算法的贡献有多少,主要利用二元差距的概念并及时影响调整训练算法。 将这个方法实际应用,研究团队在异质平台(Heterogeneous compute platforms)上,为机器学习训练模型开发了一个全新可重复使用的组件DuHL,专为二元差距的异质学习之用。

  IBM表示,他们的下一个目标是在云端上提供DuHL,因为目前云端GPU服务的计费单位是小时,如果训练模型的时间从十小时缩短为一小时,那成本节省将非常惊人。

  (上图)图中显示了三种算法所需的时间,包含DuHL在大规模的支持向量机的表现,所使用的数据集都为30GB的ImageNet数据库,硬件为内存8GB的NVIDIA Quadro M4000 GPU, 图中可以发现GPU序列批次的效率,甚至比单纯CPU的方法还要糟,而DuHL的速度为其他两种方法的10倍以上。



关键词: IBM 机器学习

评论

技术专区

关闭