GPT-4 登場！先理解 ChatGPT 原理，才知道怎麼利用 AI 幫你輸入！

g p t 又是什么？ g p t 是一个大型语言模型 large language model，它是自然语言处理技术 n l p 的其中一种。所谓的自然语言就是中文英文日文，发文等等这些自然随着文化诞生的语言。而语言处理技术则泛指对语言的结构进行分析，其中包括对语句进行理解解析并进行内容生成的技术。语言模型则是从很多的资料当中学习出根据前文来推算出下一个最有可能发生什么字的模型。而类似的功能你很早就开始用了。
手机输入法中的自动选字就是一个语言模型。但是 g p t 不只是给你下一个字的选项，而是根据事前训练好的模型自动输出下一个字下一句话，甚至可以根据问题回答整篇文章。这是怎么做到的？其实与你手机的输入法一样， g p t 的核心概念也是依照你前面输入的字来判断下一个字要生成什么。但是如果你在手机输入Penside，泛科学是手机输入法，只会根据最后一个字是来跳出不是否等等的选项。而 g p t 会完整分析前面整句话，回答出泛科学是台湾的跨学科学教育网站。接着会继续将整句话再次送入模型分析，计算出后面接续的语句，给出完整的回答。
在 g p t 展现它的强大能力之前，需要有两个步骤的调校，分别是预训练、 pre training 与微调 fine tuning。 g p t 的全名是 generative pre training 生成式预训练，这里头的预训练指的是大量未入文本资料。 g p t 会在训练的过程中不断调整自身的参数，增加预测下一个字该出现什么的准确度。你可以想象，你输入Pizza，上面最该放的配料是原本手机可能判断后面接谁神有在。这些字的几率都差不多。但经过训练， g p t 根据过去资料学习，得以根据前面披萨、配料等关键字计算出。通常这一句话后面第一个字出现肉的几率诶是30%，翻还起的几率诶是20%， phone 的几率是10%。各个字的几率不同，这也是为什么每次 g p t 回答都会不一样的原因。如果这次 g p t 选择了phone，接着这个句子就变成了披萨上面最该放的配料是phone，只要再计算一次，就能得到下一个字，出现梨的几率是百分之百。这个会气死意大利人的回答就出现了。恭喜恭喜。
当 g p t 分析完工程师未进来的所有资料后，预训练就结束了。但是要让 g p t 能够完成翻译、写小说、画画、写城市等诸多功能。接着还要进行 fituning 微调。这就像是 g p t 在正式写考试题目之前，先阅读大量的题干与范例题。在微调阶段，工程师会拿带有特定标签的文本让 g p t 去学习。例如当我们说请帮我翻成中文时，提供许多范例，并透过标记让它理解。 apple 是苹果的英文，苹果则是它的中文。让它正确理解翻译成中文的意思。往后只要我们再说请帮我翻成中文，他就能正确回答问题。 g p t 的原理似乎还可以理解，但 g p t 那元甩其他语言模型好几条街。
能够完成大量我们想到又或者还没想到的任务的能力是哪里来的？在原先的架构中，微调需要大量的人工作业，而且每次遇到新任务就要再花费人力训练，实在太花人工，难怪叫做人工智慧。不过，当 g p t 从 g p t one 进阶到 g p t two 的时候， Openai 尝试减少甚至拿掉了微调的步骤。 Openai 增加了 g p t two 的文本训练量，同时增加参数数量，将 g p t one 的 1. 17 亿参数变成 g p t two 的 15 亿参数量。可怕的是，变大的 GBD two 不只是懂得变多了，甚至能在没有微调的训练下理解人类提问的问题，震惊了众人。 Openai 团队用相同原则再次让 g p t two 的参数提高 135 倍，打造出拥有 1750 亿参数量的 g p t 三。 g p t 3 用以量取胜的方式成为目前最强大的大型语言模型。
在没有人工围调的情况下，在 one shut zero shut 的表现仍然超乎预期。这个一发零发的是什么意思？ shut 指的是 open a i 带着 g b d 3 写半例题的数量。附带少数范例题的叫做 fuel shot，仅有一个范例题的叫做 one shot，完全没有范例题，只有题目的就是 zero shot，各自进行分数计算。可以明显看到，当模型的参数量增加，即使没有微调，正确度也会上升。这真是团结力量大，树大就是强啊。
更超乎想象的是，这种大型语言模型不只是单纯的回答问题。如果请他详细说明推理过程，例如问他离子是否会沉入水底，诶？他不只会回答NO，他还会告诉你，因为离子的密度大约是每立方公分 0. 6 克，小于水的密度，因此会浮在水上。没想到还真能说出一套完整的思维过程。
科学家推测，在大型语言模型中，可能已经让 AI 建立起一种 trend of salt 思考链，能以逻辑推理的方式回答简单的数学与尝试推理题目。 AI 会思考这件事变得越来越有真实性。 g p t 能变得如此巨大，靠的是超过 45 t b 的训练资料。但你有想过这些资料是怎么来的吗？ g p t 的资料大约有 20% 是来自于Redis。 Openai 收集了 Redis 上 Comma 值大于 3 的使用者贴文作为训练资料。该资料因为是经过人类整理的文章，清晰易懂，类似于带有完整标记的资料，是优秀的参考文本。
除了 ready 之外，Twitter、维基百科也是 Openai 的资料收集来源。而资料库中超过 60% 的来源都是来自于非引力组织 common crow 爬虫城市收集的资料。 common crow 会定期网罗网路上公开的所有网页资讯，提供搜寻引擎、 AI 等研究者使用。但是超过 300 TB 杂乱无章的资讯并不是良好的数据。而且由于 common crop 没有筛选资料，看到什么就抓什么，也让 GPT 出现许多抄袭智慧财产权的疑虑跟争议。
CNN、华尔街日报等多家主流媒体都曾指控 Openai 在未经许可的情况之下，使用他们的文章帮 GBD 训练。然而，像是 g p t 3 这种庞大的模型也不是人人都能拥有的。 g p t 3 庞大的资料量跟参数，它的代价就是超过百万美元以上的训练成本，还不包括维持 4 伏器与维护的成本，并浏览器在这个阶段也限说了能使用的用户数以及每个用户的每日提问量，来减少四幅器的负荷量。不只有微软，在并发表的同一天， Google 也早有准备。
阿诺好像有点辣惨。 but 在回答韦伯望远镜的问题时，错把拍下第一张太阳系外行星的照片。这个功劳归功给韦伯望远镜。被拉萨打脸后，股价大跌7%，市值损失超过 3 兆台币。 g p t 除了可能要面对未来的对手之外，自身也还有许多不足之处。 Openai 在论文中也特别提到，他们十分担心这样的工具会被有心人士使用。另外，无限制的收集资料也会使得资料库用字受到网路资料的影响。例如 Openai 调查了文本当中对于亚洲人、黑人、白人、拉丁裔等等的形容词，负面形容词给负分。他们发现描述黑人的形容词分数明显低于其他人种，而且这种现象并不会随着参数增加而有所改善。
类似的问题除了人种外，在性别、宗教等方面也有相同问题。除此之外，如果网络上的资讯错误的比正确的多，也会影响到样本的有效性。针对这些问题， Openai 的技术长 Mira Muradi 在接受时代杂志 time 的采访时说到这是一个特别的时刻。 Openai 等类似的公司应该要受到一定程度的规范。我们得确保他为人类服务，并且我们必须倾听哲学家、社会科学家、艺术家、人文学专家等不同领域的建议。 Openai 会审慎确保 AI 不会伤害人类。同时，这类的问题需要所有人一起加入讨论。
类似缺 g p t 的 AI 成为我们日常生活一部分的未来已经不可避免。毕竟连老高都拍了。你是期待多一些，还是害怕多一些？实际上，我们的团队在收集资料与制作脚本的过程中，的确常常使用却 g p t 来辅助，但就连 Google 到的资料都得再三查证了，时常错误的却 g p t 更是如此。比起要让 g p t 取代所有工作，我们更发现它流畅的问答以及可以回答开放性问题的特性，非常适合用于创意发想。在快速资料整理、截取重点，还有文稿校对当中也能扮演重要的角色。用说的太无聊了，那就吟首诗吧。人工。
智慧 g p t 自然语言样样精，用于文学与科技，给人不凡的精益。使用肾景虚为上，深思伦理勿忘情。偏见错误应避免，确保结果更机灵。公平公正保可靠，避免歧视更当先。隐私权益若兼顾，人机一体任你行。