第28章 曾经的自己

为不管是前世还是现在，他接触的都是“小模型”，这里的小模型指的是LSTM、CNN、FCN这种结构单一，参数量不大的轻量级神经网络。

而他现在要做的项目则需要用到真正意义上的多模态大模型，这种大模型现在普遍都是基于Transformer架构，

虽然Transformer非常厉害，但是也有一个缺点，因为他的主要核心Attention也就是注意力机制，

这种算法的时间复杂度复杂度是O（n^2），所以需要的计算量非常大，这也是为什么现在市面上的大模型训练需要的显卡都是几千几万张。

大模型和小模型之间除了算力消耗和成本上有着巨大差异，在整体架构上也有着明显的差异。

一个小模型可能只需要几百行代码就能完整的写出来，然后开始运行。

而一个真正意义上的大模型想要正常运行，除了其核心代码之外还需要各种的配套功能的代码，这些加起来几万行都算是少的了。

他在这方面的，不管是经验还是知识都很欠缺，所以第一步就是——看文献，至少要熟知多模态大模型领域所有的先进技术之后，他才会开始计划怎么将现有参数量不大的模型进行升级。

其实这一步应该是在谈项目之前就做的，只不过周昀那个模型的性能实在太优秀了，

再加上他在和汇金的人谈判的时候表现得太过淡定，这让别人以为他在这方面有了一定的积累，这才直接敲定了项目。

不过这都无伤大雅，凭他现在的英语水平和理解能力一天刷个十几篇论文不是问题，最多一个月，他就能把大模型领域的技术摸得差不多。

&nbs

本章未完，请点击下一页继续阅读！ 第2页 / 共5页