●在算法过程中频繁的数据混洗使得NTT难以在计算集群中分布,无法并行计算,并且由于需要从大型数据集中加载和卸载数据,在硬件上运行时需要大量带宽。即使硬件操作很快,这可能也会导致速度变慢。例如,如果硬件芯片的内存为16GB或更少,那么在100GB的数据集上运行NTT将需要通过网络加载和卸载数据,这可能会大大降低操作速度。
综上来看,内存和带宽是限制证明生成的主要瓶颈。对于显卡来说,这里的内存指的是显存,并不是主板上的内存,主板上的内存主要是参与CPU的计算。当然目前有些芯片技术可以打通主板上的内存和显存,让内存为显存计算来用。
芯片的硬件指的是运行指令的物理平台,包括处理器、内存、存储设备等等。芯片数据中常出现的“晶体管数量”、“7nm制程”、“存储”等,往往指的就是硬件参数。
软件则包括固件、驱动程序、操作系统、应用程序、算子、编译器和开发工具、模型优化和部署工具、应用生态等等。这些软件指导硬件如何响应用户指令、处理数据和任务,同时通过特定的算法和策略优化硬件资源的使用。芯片数据中常出现的“x86指令集”、“深度学习算子”、“CUDA平台”等,往往指的就是芯片软件。
早在2021年,英伟达就曾公开表示过“禁止使用转换层在其他硬件平台上运行基于CUDA的软件”,2024年3月,英伟达更是将其升级为“CUDA禁令”,直接添加在了CUDA的终用户许可协议中,已禁止用转译层在其他GPU上运行CUDA软件