LLM VS Computer
2023-09-30 16:57:01 261
最近，Andrej Karpathy 在x 上有一个关于LLM 类比 CPU 的讨论， 看了下，发现类似的研究还挺多的， 我这些观点综合整理了成了一个表格：
| 比较 | 计算系统 | 大语言模型（LLM） |
|---|---|---|
| 机器规模 | 早期大型机 | 需要高性能显卡的计算机 |
| 基本处理单元 | Bits | tokens |
| 处理器 | CPU | 人工神经网络（NLPU） |
| 执行 | 运行在~500 KHz 的单线程执行 | 人工神经网络的单线程推理（60 tokens/s） |
| 操作方式 | 操作纸带/汇编语言控制输入，输出 | 操作字符串输入，输出 |
| 处理速度 | 以FLOPS计量。 | 在LLM中，以NLOPS计量。一个token 算一次OP |
| 内存 | 使用RAM/内部存储来存储数据 | 上下文窗口/嵌入数据库用于文件和内部内存的存储与检索 |
| 存储 | 使用硬盘进行存储。 | 在LLM中，矢量数据库内存被认为是类似的。 |
| 安全保护 | 来自计算机安全，涉及攻击、防御和漏洞 | 类似，概念从计算机系统中继承而来，也可以被越狱，破解 |
| 互联网接入 | 浏览器 | 类似，LLMs也提供互联网接入 |
| 编程与编译 | 涉及编程语言，编译器，和机器代码 | 链式思考，自我纠错循环，语言链，提示模板等被视为等效过程。 |
| 操作系统 | Windows OS X，linux | GPT PaLM，Claude Llama |
| 软件商店 | 软件商店 | GPT 插件市场 |
总体来说，大家的普遍观点是，现在LLM，相当于计算发展的早期阶段。
想要了解更多信息，可以看下面下参考链接
https://x.com/karpathy/status/1707437820045062561?s=20
https://www.beren.io/2023-04-11-Scaffolded-LLMs-natural-language-computers/
https://every.to/divinations/llms-are-the-new-cpus?sid=26026
https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators
