认知边界

LLM VS Computer

2023-09-30 16:57:01 95

最近,Andrej Karpathy 在x 上有一个关于LLM 类比 CPU 的讨论, 看了下,发现类似的研究还挺多的, 我这些观点综合整理了成了一个表格:

比较计算系统大语言模型(LLM)
机器规模早期大型机需要高性能显卡的计算机
基本处理单元Bitstokens
处理器CPU人工神经网络(NLPU)
执行运行在~500 KHz 的单线程执行人工神经网络的单线程推理(60 tokens/s)
操作方式操作纸带/汇编语言控制输入,输出操作字符串输入,输出
处理速度以FLOPS计量。在LLM中,以NLOPS计量。一个token 算一次OP
内存使用RAM/内部存储来存储数据上下文窗口/嵌入数据库用于文件和内部内存的存储与检索
存储使用硬盘进行存储。在LLM中,矢量数据库内存被认为是类似的。
安全保护来自计算机安全,涉及攻击、防御和漏洞类似,概念从计算机系统中继承而来,也可以被越狱,破解
互联网接入浏览器类似,LLMs也提供互联网接入
编程与编译涉及编程语言,编译器,和机器代码链式思考,自我纠错循环,语言链,提示模板等被视为等效过程。
操作系统Windows OS X,linuxGPT PaLM,Claude Llama
软件商店软件商店GPT 插件市场

总体来说,大家的普遍观点是,现在LLM,相当于计算发展的早期阶段。


想要了解更多信息,可以看下面下参考链接

https://x.com/karpathy/status/1707437820045062561?s=20

https://www.beren.io/2023-04-11-Scaffolded-LLMs-natural-language-computers/

https://every.to/divinations/llms-are-the-new-cpus?sid=26026

https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators


硅基人工智能的发展前景

硅基人工智能的发展前景

硅基人工智能的发展前景本文观点来自:OpenAI首席科学家Ilya人工智能模拟人脑的局限当前最先进的GPT人工智能在结构上已经可以模拟人脑的许多功能。例如,它基于冯诺依曼计算架构构建的人工神经网络ANN,其运行机制与人脑生物神经网络BNN高度相似。这使得GPT模型可以像人类一样操纵语言。但是,我们也
2023-08-31
这次的人工智能浪潮能持续多久?

这次的人工智能浪潮能持续多久?

终极 AI在最近的一个采访中,Inflection AI 的 CEO 穆斯塔法·苏莱曼被问到什么样的AI才能算是终极AI。他认为终极AI应该具有自主运行、自我迭代的能力。它能够自主地识别环境中的新信息和奖励信号,并利用这些进行自我监督,随着时间推移不断更新自己的权重。如果出现这样的AI,它将具有非常
2023-09-05

LLM 是新型的 CPU

如果你想了解未来十年人工智能的发展将如何展开,一个好的历史类比是上世纪八九十年代个人电脑(PC)行业中的猫鼠游戏。当时,电脑已经足够好,吸引了数百万用户,但其有限的速度和存储常常是一个痛点。对提升性能的需求极大。然而,每当推出新一代更强大的电脑后,开发者立即构建了能充分利用新容量的应用程序,使得电脑
2023-09-30

LLM VS Computer

最近,Andrej Karpathy 在x 上有一个关于LLM 类比 CPU 的讨论, 看了下,发现类似的研究还挺多的, 我这些观点综合整理了成了一个表格:比较计算系统大语言模型(LLM)机器规模早期大型机需要高性能显卡的计算机基本处理单元Bitstokens处理器CPU人工神经网络(NLPU)执行
2023-09-30
线性关系嵌入探究语言模型处理复杂关系的新视角

线性关系嵌入探究语言模型处理复杂关系的新视角

在最新的科技研究中,专家们提出了一种名为线性关系嵌入(LREs)的概念,旨在探索和解释大型语言模型是如何处理和编码复杂关系的。这种方法基于一个简单的假设:对于某些特定的关系,比如人与职业、首都与国家之间的关系,模型在处理这些信息时,其实是通过一种线性的方式来进行的。为了更深入地理解这一过程,研究者开
2024-03-29