,该模式计算效率极高,但精度损失更大,适用范围非常有限。
往往是在训练完成之后,进行FP8的格式转换,以节约模型的推理使用成本。直接在训练的时候采用这种格式是从未被证实过的。
为此,黄仁勋甚至在显卡的硬件设计上对FP8提供了一定的优化可支持,但半年的时间过去了,孟繁岐并没有看到自己预期的效果。
另一方面上,孟繁岐同时在寻求“稀疏”这一概念。这一条技术路线开启得更早,(见368-369章)。毕竟他很早就知晓,随着AI技术的发展,两个超级大国之间势必会因为世界地位的争夺而脱钩。
一旦形成对抗,硬件设备无疑将会被限制封锁。
可若要孟繁岐从根本上助力中国的硬件发展......他却也没有那个本事。
能做的,唯有投资点钱罢了。
国内的芯片技术,显然不可能跳过几代的制程,直接赶上英伟达。
换句话说,孟繁岐清楚国内硬件厂商所能提供的算力必然不如英伟达,这才提议了模型“稀疏”这一概念,以求节省资源。
模型稀疏与神经网络一样,都是对大脑行为的模仿。
从生物角度上说,大脑中的神经元连接并非全连接,而是高度稀疏的。每个神经元只与少数其他神经元相连,这种稀疏性使得大脑能够在低能耗下高效处理信息。
这给了大脑极高的能量效率,大脑在极低的能耗下完成复杂任务,部分得益于其稀疏的连接方式。
人体的总功耗才70-300w,其中大脑
本章未完,请点击下一页继续阅读! 第4页 / 共5页