OpenAI就不多说了，网上到处都是资料——我又没和它打过交道，说什么都是无的放矢。至于ChatGPT嘛……技术上的事还是可以说一说的。一、滥觞ChatGPT技术的起源，其实有两个根；这两个根到了ChatGPT是融为一炉了，但想要说清楚，还是分开来说比较好。1、理工科的力大砖飞——统计学这个故事还是要从google输入法说起。其实google输入法的设计思路我已经讲过很多次了。简单说，过去我们研究语言，总是从词性-语法开始。名词、动词、形容词、介词……然后搭配主谓宾定状补，再加上倒装句疑问句反问句等等语法结构——如果是英语，还得加上各种时态变化……这些研究的确很厉害，几句话把人类语言理的清清楚楚……唯一的缺憾就是例外稍微有那么一点点的……太多了。后来计算机传入我国，“汉字输入”就成了最大的难题。毕竟键盘只有26个字母键，而不同的汉字呢，仅常用字超过6000，不太常用的加起来起码五六万……最容易想到的，就是……拼音？可是，汉语的声母-韵母数量有限，同时又都是单音节。也就是一共也就数百种不同的发音，加上四声音调也不过数千，重码实在太多……那么，能不能基于主谓宾定状补这个语法系统、再搭配上汉语词性，提高输入精确度呢？总之，长话短说：传统的、基于人类理性搞出来的语言学-语法学，不能说是毫无价值，但还是在这个领域遭遇了惨败。仅基于词组的输入法能够略微提高精确度……这个时候，Google弄了个奇怪的思路。这个思路大致上这样的：假如我是外星人，看到地球各国的语言文字（却无法和我们直接交流），我会怎么分析？还能主谓宾定状补吗？既然不能；那么，能不能基于统计学，胡乱捅它一竿子呢？具体来说是这样：找尽可能多的中文资料；然后，统计第一个字是“我”时，下一个字的出现概率（比如，“我的”“我想”“我去”，它们的出现概率各不相同）；然后，再统计前两个字确定后、第三个字的出现概率……将来，用户敲字时，根据每个位置的出现概率以及用户敲出来的音节，自动调整候选字次序，会不会……有点好用呢？极其出乎意料的，这个生硬的“力大砖飞”套路成功了。事实上，当时Google统计到了第七个字（六阶马尔科夫链）；对比后发现，只需统计到第三个字就足够了（二阶马尔科夫链），轻松碾压过去的一切成果——继续往后统计，表格体积会飞速膨胀、但效果却不明显。这个成功鼓舞了理工死宅们。他们顺理成章的开起了脑洞：既然这样能行，那么，“对对联”是不是“已知上联，求下联对应字出现的概率”？律诗是不是也能这么玩？啊，直接拼概率对出来的玩意儿生硬、怪异？那么，改进一下，同时统计一下上联/下联内部、第一个字之后出现第二个字的概率，是不是就完美了？没错，这就是当年轰动一时的“人工智能对联系统”以及“电脑作诗系统”。类似的，做中-英文翻译，中文出现一些词，英文是不是也会关联的出现一些词？那么，能不能基于统计模型，完成语言的自动翻译呢？这种系统，怎么说呢……只能算一个很酷，但也很傻的小玩具。没人敢想，将来它会发达到这样个样子……2、工程师的生搬硬套、满嘴胡话——神经网络我们人类最感兴趣的奥秘之一，可能就是大脑的秘密了。动不动右脑开发动不动大脑只用了5%之类的……不客气的说，这些大多数只是伪科学。不过，大脑的秘密，我们至今所知的确极其有限——有限的意思，大概也就是比完全无知好那么一点点罢了。总之，根据其中的一点点信息——神经细胞会生长出树突和轴突，用它们连接彼此；树突和轴突会增加，也会消失；电信号可以通过生物电原理在轴突构成的神经上面传递——工程师们又开始“生搬硬套”“满嘴胡话”了。毫无根据的，他们这样猜测：1、每个神经细胞都会从连接到自己的诸多神经细胞那里接受信息2、每个神经细胞都会把接收到的信息经过一定处理、然后以电信号的方式传递给其他神经细胞然后，戏肉来了：3、我们知道，演化论（进化论）是极其成功的科学理论；而这个理论的核心是“反馈思想”4、神经细胞轴突/树突的产生和萎缩可能是“反馈”造成的——比如说，当一个判断成功时，所有给出了“会成功”这个判断（对应于生物电高电平）的神经细胞得到奖励，使得接受信号的神经细胞增强和它的联系；反之，当一个判断失败时，联系就被削弱。5、基于演化论一样的原理，当大量神经细胞被反复如此训练后，这些细胞构成的网络就获得了智能。换句话，我们可以认为每个神经细胞是一个数学函数，这个函数可能长这样：f(x, y, z)=ax+by+cz 其中，xyz是给这个神经细胞输入信号的另外三个神经细胞；而系数a、b、c的取值增大/减小就改变了细胞x、y、z传来的信号的权值——比如，x的判断总是对的，那就把a增加；而y的判断经常错，那就把b减小；z的判断对错各半，那么c就保持不变。当然，你也可以把公式搞的更复杂一些，或者形式变一变；但基本思路就是这样了。这就是人工神经网络。如你所见，这是毫无根据的瞎猜。其实已经有不少证据，证明神经细胞并不是这样工作的——比如说，单个神经细胞就能做异或，而单层人工神经网络，哪怕你搞几百几千个节点，它也做不了异或。但是，这个玩意儿极其成功。上世纪七八十年代，它甚至在足球博彩预测上超过了人类，发现了“某强队在雨天表现不佳”等人类都未曾发现的信息。不过，限于机能，以及“做不了异或”的紧箍咒，人工神经网络热闹了一阵，之后就沉寂下去了。二、发展人工神经网络再一次引起轰动，是2016年，alpha go突然在围棋方面击败围棋世界冠军、九段大师李世乭之后；然后才发现李世乭已经失去世界第一人称号，新的世界第一人是中国围棋大师柯洁……于是，17年，柯洁哭了。alpha go是google旗下的DeepMind公司出品。DeepMind是一家英国公司。哪怕全世界都对人工神经网络失去了兴趣，但仍然有一部分人没有停下探索的脚步；DeepMind就是这样一群撞了南墙不回头的理工死宅们组成的公司。首先，他们改良了神经网络，不再是当年那种简单的单层神经网络，而是由海量节点构成的多层神经网络DNN——理论早已证明，多层神经网络是可以实现异或的。其次，他们通过数学工具，把神经网络对应的计算抽象为“张量”，然后专门设计了加速张量计算的专用处理器TPU。这种处理器可以更有效的完成人工神经网络所需的计算工作（后来显卡公司也加入了战场，现在大多公司的神经网络用的是nVidia的显卡）。从此，神经网络之后发展迅猛。比如，现在它已经不是早期简单的DNN了，CNN、RNN、RvNN……梯度下降、反向传播……随之而来的，人工神经网络的工作/训练效率越来越高、规模越来越大……跑题了。总之，既然神经网络发展的如火如荼，电脑对对联、电脑作诗……是不是也可以升个级呢？你看，已经证明了，神经网络其实是一种自动拟合系统——你给数据和标准结果，它自动“变”成一个拟合函数，使得输入数据就能得到预期结果……那么，给了上联，下联的每个字应该是什么，是否也可以通过神经网络训练出来呢？类似的，做中-英文翻译，中文出现一些词，英文也会关联的出现一些词，这是否也可以通过神经网络训练出来呢？更进一步的，其实……从（切片后的）语音流到文本流，这不也是同一个原理吗？不过，还是前面的问题：怎样让神经网络输出的一系列字看起来更像一句话、而不是散碎的出现频率统计查询结果呢？这就是seq2seq模型。这个模型很好用。很轻松的，搞出来的AI对联、AI作诗已经……哦，怎么说呢，虽然基于神经网络搞出来的小玩具更惊人、更好玩了，但我们已经不再在意它了。一个，除了惊人的alpha go/zero，更惊人的GAN（对抗生成网络）在图形图像方面成果更加震撼；另一个嘛……但，相关研究仍然在突飞猛进中。在seq2seq模型的基础上，研究者又提出了“注意力”机制。这就好像我们看书一样：我们并不会平均的注意每一个字，而是会把注意力集中在某些“关键”上面；如果不给一句话里面的关键词更高的权值，翻译显然不会精准。seq2seq经过这么一番发展完善，就成了Transformer模型：啊，又跑题了？并没有。虽然我一直围绕着对联、律诗、翻译说事；但如果你有技术天分，应该已经发现了——其实，这些都是一回事！它们的基础结构，都是类似的。没错，包括问答。如果我说到对联、律诗，你还反应不过来；那么当我提到翻译时，你其实已经应该触类旁通了——对呀，输入和输出的字数并不需要是严格相等的！基于神经网络的可塑性，如果我拿来训练的不是对联、律诗、翻译文本，而是问题和答案……三、小成其实，如果你到了alpha go才知道神经网络，已经太迟太迟了……早在alpha go成名前好几年，神经网络已经发展的如火如荼了；这种发展甚至使得美国人如坐针毡、生怕被AI统治了……于是，2015年，OpenAI成立了：OpenAI 是美國一個人工智能（AI）研究實驗室，由營利組織 OpenAI LP 與母公司非營利組織OpenAI Inc所組成，目的是促進和发展友好的人工智能（英语：Friendly artificial intelligence），使人类整体受益。OpenAI成立于2015年底，总部位于加利福尼亞州旧金山，组织目标是通过与其他机构和研究者的“自由合作”，向公众开放专利和研究成果。OpenAI一直偏向于“力大砖飞”，它的GPT3堆了夸张的1750亿个参数，效果令人震惊。如今如日中天的Chat-GPT(Generative Pre-trained Transformer)是GPT的一个对话特化版本。正如GPT的名字所隐含的，它的背后其实还是Transformer模型，只是参数极多、训练数据规模骇人而已。当然，这意思并不是说，你随便找个Transformer的开源实现、然后灌入数据，一切都会有的……这不太可能，神经模型训练时还是会有很多很多意外的，比如一不小心就陷入某个解出不来、或者学习效率总是很低很低……这些都是需要专人分析、改进的。另外，既然这玩意儿其实就是模仿人类说话，那么训练数据的质量显然至关重要……昨天看到的，直接笑傻了：你看，起码在“拟人”程度上，它似乎并不比ChatGPT差太多——但这样的AI，大概并不是你想要的。}