在最新一期的《Dr:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫arkesh Podcast》访谈中，OpenAI的创始元老、前特斯拉AI团队负责人、深度学习的大佬Andrej Karpathy与主持人Dr:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫arkesh Patel深入探讨了AGI、智能体与AI未来十年的走向等AI圈核心问题的看法。Andrej Karpathy预测未来10年的AI架构仍然可能是类似Transformer的巨大神经网络 —— 认为当前的智能体仍处早期阶段，强化学习虽不完美，却是目前的最优解。

Andrej Karpathy认为真正学习知识，要从你从头开始构建一些东西时开始。因为这时你才会被迫面对你所不理解的东西。他相信费曼的一句名言：“如果我不能构建它，我就不理解它。”所以，他给出的最佳学习方式是：“不要写博客文章，不要做幻灯片，去构建代码，并让它工作，这是唯一的学习途径。否则你就会缺少知识。”

AGI还有十年之遥

对于业内普遍鼓吹的「智能体元年」，Andrej Karpathy认为行业里存在一些过度预测，“虽然我每天都在用一些非常出色的智能体，比如Claude和Codex，但它们仍是一些非常初期的智能体，还有大量工作要做，这也是我们在未来十年内要持续研究的东西。”

Andrej Karpathy列举了当前智能体的主要问题：智能不足、多模态能力弱、无法自主操作电脑等，这主要是由于智能体在认知上存在缺陷，也没有持续学习能力。而这些基础性问题的解决，大约需要十年。

亲自经历了AI行业的几次重要变革，Andrej Karpathy从中看到一些规律性，这是基于他的个人直觉以及在AI行业大约15年的经验所做出的判断。值得注意的是，他还预测未来十年AI的核心架构仍可能基于Transformer，但形态会有所演化，“可以打赌的是，根据平移等变性，十年后我们仍然会用前向后向传播和梯度下降来训练巨大的神经网络，但也许它看起来会有点不同，而且所有东西都会变得更大。”

谈及当下最热门的大模型，Andrej Karpathy认为它们仍存在根本性的认知局限。在他看来，这个行业“跳”得太快了，有时假装很神奇，但可能只会出现粗制滥造的东西。

在被问及如何让AI进一步学习和改进时，Andrej Karpathy提到了强化学习的两难处境：在强化学习中，假设要在解决一个数学问题，首先会尝试数百种不同的尝试，这些尝试的过程可能很复杂，而且还会产生许多“噪声”；但相比过去的方法，它仍是目前最优解。未来可能需要引入更高层次的「元学习」或合成数据机制来改进模型评估，但目前尚无实验室在大规模通用环境下成功实现这一点。

人类学习与机器学习的对比

人类在学习时不仅吸收信息，还通过反思、讨论等方式整合知识，而当前大模型仅仅通过预测下一个词进行学习，缺乏这种“思考”过程。Andrej Karpathy指出与大模型相比，人类的不擅长记忆反而是一种进化优势，迫使我们学习可泛化的模式。他认为，未来的AI应减少机械记忆，更像人类那样依靠思考与探索来学习。换句话说，真正的智能不在于记忆更多，而在于理解与泛化。

对于超级智能（ASI）Andrej Karpathy认为只是社会自动化进程的自然延伸，“很多事情会逐渐自动化，而超级智能将是这种趋势的延伸。我们期望随着时间的推移，会有越来越多自主的实体：它们在做大量的数字工作，最终甚至可能会从事体力工作。”