|OpenAI商业化历程
OpenAI的商业化发展历程分为四个阶段：
在OpenAI未来盈利后，逐步回报投资人：
1、优先保证OpenAI的首批投资者收回初始资本；
2、微软投资完成、OpenAI LP首批投资人收回初始投资后，微软有权获得OpenAI LP 75%利润；
3、微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后，它分享利润的比例从75%降到49%；
4、OpenAI LP产生的利润达到1500亿美元后，微软和其他风险投资者的股份将无偿转让给OpenAI LP的普通合伙人——非营利机构OpenAI, Inc。
|OpenAI技术发展历程
|GPT迭代过程：目前GPT已迭代了五代模型
GPT-1：2018年6月，OpenAI公布了第一个将transformer与无监督的预训练技术相结合的GPT模型。GPT-1模型架构基于Transformer模型，通过学习大量未标记的文本数据，可以在大规模任务上进行预测。模型参数量为1.17亿。
GPT-2：2019年 2月，OpenAI在博客《Better Language Models and Their Implications》中官宣GPT-2模型。GPT-2是一种基于Transformer架构的自然语言处理模型，使用了无监督预训练的技术，允许GPT-2从未标注的文本数据中学习语言模型。模型参数量为15亿。
GPT-3：2020年5月，OpenAI的研究人员提交论文《Language Models are Few-Shot Learners》宣布了GPT-3的诞生。GPT-3具有少样本及零样本学习的能力，即可以在没有接受特定任务或领域训练的情况下产生有意义的输出。模型参数量为1750亿。
ChatGPT：2022年11月，OpenAI正式推出了对话交互式的ChatGPT。相比于GPT-3，ChatGPT引入了基于人类反馈的强化学习（RLHF）技术以及奖励机制，提高模型准确度。
GPT-4：2023年3月，OpenAI正式推出GPT-4，成为目前较先进的多模态大模型。GPT-4主要在识别理解能力、创作写作能力、处理文本量以及自定义身份属性迭代方面取得进展。
|GPT迭代过程之GPT-1：GPT-1采用多层Transformer架构
GPT-1采用了多层Transformer架构,整体架构为：输入层-> n个Transformer块->输出层。输入层采用的是基于字节对编码的方式，将原始文本编码成固定长度的向量作为模型的输入。接下来，模型将这些向量输入到n个Transformer块中进行处理，每个Transformer块又包含了若干个子层，包括多头自注意力子层和全连接前馈网络子层。这些子层形成了Transformer块的主体结构，每个子层处理不同的输入信息，其中多头自注意力子层用于计算每个词在上下文中的重要性，全连接前馈网络子层用于提取特征并生成新的表示。最后，模型将最后一层Transformer块的输出向量输入到输出层中，生成对下一个单词的预测。整个过程被称为生成式预训练。
GPT-1使用了BooksCorpus数据集，这个数据集包含7000本没有发布的书籍。作者选这个数据集的原因有二：1.数据集拥有更长的上下文依赖关系，使得模型能学得更长期的依赖关系；2.这些书籍因为没有发布，所以很难在下游数据集上见到，更能验证模型的泛化能力。
|GPT迭代过程之GPT-2：采用更大的训练集，并尝试无监督训练
GPT-2的目标旨在训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络进行过多的结构的创新与设计，只是使用了更多的网络参数和更大的数据集。在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。
GPT-2的参数数量和训练数据集的大小均增加了十倍，具有15亿参数，数据集为WebText：一个包含八百万个文档的语料库，总大小为40 GB。这些文本是从Reddit上投票最高的4,500万个网页中收集的，包括各种主题和来源，例如新闻、论坛、博客、维基百科和社交媒体等。
|GPT迭代过程之GPT-3：进一步提升泛化能力，AI革命的突破性进展
OpenAI于2020年5月发表GPT-3的论文，参数相对于GPT-2增加了两个数量级以上，1750亿参数，570 GB的大规模文本语料库，其中包含约四千亿个标记。这些数据主要来自于CommonCrawl、WebText、英文维基百科和两个书籍语料库（Books1和Books2）改进的算法、强大算力和数据的增加推动了AI的革命，让GPT-3成为当时最先进的语言模型。
GPT-3消除了对大量数据的需求，这些数据在用于训练语言模型之前标记成本很高。通过使用预先训练的模型，GPT-3可以通过“仅使用几个标记样本”来生成足够的响应，从而在开发中实现更高的成本和时间效率。
|GPT迭代过程之ChatGPT：加入强化学习，发布第四代模型
ChatGPT的训练过程分为微调GPT3.5模型、训练回报模型、强化学习来增强微调模型三步。
|GPT迭代过程之GPT-4：更具创造性且能够接受更长的文本输入
2023年3月14日OpenAI发布GPT-4轰动了整个科技界，据OpenAI自己称，GPT-4将是该公司里程碑式的模型。在其概念视频中，OpenAI介绍GPT-4可以解决更复杂的问题、编写更大型的代码，并通过图片产生文字。此外，OpenAI还承诺GPT-4相比之前的模型，包括ChatGPT此前应用的GPT-3.5，将更加安全且具协调性。
GPT-4的回答准确性不仅大幅提高，还具备更高水平的识图能力，且能够生成歌词、创意文本，实现风格变化。此外，GPT-4的文字输入限制也提升至2.5万字，且对于英语以外的语种支持有更多优化。
|GPT迭代过程之GPT-4o：实时对音频、视觉和文本进行推理
2024年5月13日，OpenAI推出新旗舰模型GPT-4o，可以实时对音频、视觉和文本进行推理。GPT-4o的“o”代表“omni”，该词意为“全能”，源自拉丁语“omnis”。在英语中“omni”常被用作词根，用来表示“全部”或“所有”的概念。
新版模型能够带着情感与用户对话，还能假装兴奋、友好，甚至讽刺，其响应时间最短也来到了232毫秒，这与人类在对话中的响应时间相似。
|Sora：文生视频模型的最新能力
根据OpenAI Sora技术报告，本篇报告作者共13位。其中，AdityaRamesh、Tim Brooks和Bill Peebles是团队的核心成员，Aditya作为图像生成模型DALL-E的提出者，主导2021年至2023年DALL-E模型的三次迭代。
|谷歌大模型发展历程
|Meta：发布大语言模型LLaMA
2023年2月25日，Meta官网公布了一个新的大型语言模型LLaMA（Large Language Model Meta AI）。从参数规模来看，Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA 模型，并用20种语言进行训练，且具有以下特点：
参数规模小，对算力要求低。LLaMA参数规模相比ChatGPT的底层模型OpenAI GPT-3有1750亿（175B）个参数，LLaMA模型的参数量很小。
训练数据多。LLaMA的训练数据集包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文预印本平台ArXiv。
AI能力出众。在逻辑推理等方面优于GPT-3,在代码生成方面优于LaMDA和PaLM。
|Character.AI个性角色生成器
Character.AI是一个基于AI模型的聊天机器人应用，创始人来自谷歌的前LaMDA团队。用户可以通过Character.AI创建虚拟角色，塑造他们的个性，设置特定参数，然后发布到社区供其他人使用和聊天，具备社交属性。CharacterAI的测试版于2022年9月开放给公众使用，并且在上线第一周下载量就达到170万。
Character.AI基于深度学习和可扩展的语言模型构建，并通过用户打分不断完善回复内容。2023年3月，Character.AI完成了一笔1.5亿美元的融资，估值达到10亿美元。目前团队成员约30人。根据媒体最新报道，Character.AI目前正在与风险投资者洽谈股权融资，这将使该公司估值超过50亿美元。
|Jasper：自己定义为未来内容大脑的公司
Jasper AI是一家面向广告营销人员、自媒体博主等群体的SaaS企业，主要提供文案生成服务。其核心产品使用了GPT-3的API接口，能够用AI来生成各异的营销文案。
该公司成立于2021年，出道即巅峰，第一年收入超4000万美金，2022年又翻了一倍达到8000万美元（ARR年度经常收入）。最风光的那两年，VC蜂拥而至，媒体争相报道，2022年10月，Jasper获1.25亿美元A轮融资，估值达15亿美元。
但一直到了2022年11月30日，ChatGPT登场，情况突然急转直下。ChatGPT强大的文案生成能力，让人们突然意识到“官方”似乎可以轻易乱拳打死“二创”。Jasper的产品类似“换皮版GPT-3”，面对上OpenAI亲手打造的ChatGPT，几乎没有任何护城河。近期，Jasper创始人戴夫·罗根莫瑟在领英上宣布裁员并重塑团队。
|Replit：无门槛+协作+交互，AI带动编码革命
Replit成立于 2016年，其核心产品是基于浏览器的集成开发环境软件，并于2022 年上线GhostWritterAI编程助手，用户可以在其中使用50 多种语言开发、编译、运行和托管应用程序。
2023年4月25日，Replit宣布获得9740万美元的B+轮融资，投后估值约12亿美元。Replit的高估值源自其优异的统计数据以及较为稳定的收费模式。2023年初，Replit拥有来自200多个国家/地区的2250万开发人员，创建了2.35亿个项目。每月对Replit上托管的应用程序和网站进行250亿次外部访问，外加100万个并发运行的容器，300万次/秒的持续读/写磁盘操作。Replit还拥有20万个利用每个主要生成AI API的AI应用程序。Replit提供从免费到20美元/月的包月套餐，也提供按照app收费的套餐服务，收费模式多样，契合各类用户。
|Cohere：专注ToB市场的NLP服务商
加拿大Cohere为自然语言处理平台，提供ToB的大模型解决方案。Cohere目前采用差异化竞争策略，不走流行的“类ChatGPT”路线，而专注利用大模型的能力服务企业客户，并且设计了很好的付费模式。目前Cohere采用按需付费模式，按照模型的不同能力，包括文本生成，文本总结，重新排名，文本分类等能力制定了不同了价格。
Cohere估值达到20亿美元，获得多位巨头/学术大牛投资。2023年5月，Cohere获得Salesforce等机构2.5亿美元融资的，估值已经达到20亿美元，一跃成为独角兽。除Salesforce外，Cohere的投资者还包括Tiger Global和Index Ventures等知名投资机构，NVIDIA等AI生态内的巨头，以及图灵奖获得者Geoffrey Hinton、知名人工智能研究员李飞飞和Pieter Abbeel等AI领域的学术大牛。
