OpenAI 第四弹:马斯克强调的 TruthGPT 是什么?下个“AK”;微软弃婴,二十年前的 ChatGPT

2023-03-08 15:17:16 0 95

这是OpenAI系列的第四篇,源自本周二的一则新闻,该新闻报道前OpenAI联合创始人&主席的ElonMusk正在接洽曾在DeepMind&OpenAI任职的工程师IgorBaushkin,从而组建一个新的AI实验室以及ChatGPT的替代品,可能的名称为BasedAI以及TruthGPT,本篇将主要围绕这起事件分2节进行展开,第3节是一个古早的创业故事:

  1. OpenAI的初衷与Musk的执念
  2. IgorBauschkin会是下个“AK”么?
  3. 微软弃婴,20年前的“ChatGPT

1. OpenAI的初衷与Musk的执念

根据外媒报道,ElonMusk正与AI研究人员接洽,希望组建一个新的AI研究实验室以开发ChatGPT的替代品,其中就包括上周刚离开Alphabet旗下DeepMind部门的工程师——IgorBauschkin👇

报道出来的同一天,Musk其实还在Twitter上发了一个表情包,名为「BasedAI」的Doge手持大棒打跑了「WokeAI」以及「ClosedAI」,不知道是不是分别暗指DeepMind和OpenAI这两家:D,但无论如何还会出现一个第三方,并且是Musk主导的,暂且叫「BasedAI」。

那么这个「BasedAI」想做什么呢?其实又回到了OpenAI成立之初,ElonMusk所畅想的愿景与使命,毕竟OpenAI现在的状态可不是原先Musk所想的那样,OpenAI成立之初非营利的性质是为了防止Google作恶,现在OpenAI变成了另一个硅谷巨头微软变相控制的企业,且以盈利导向,好家伙,非但原先的假想敌没干掉,还一下变成俩,这怎么搞?

回到当年OpenAI成立不久,Musk还同GregBrockman、SamAltman以及IlyaSutskever一同署名了一篇文章《OpenAItechnicalgoals,OpenAI’smissionistobuildsafeAI,andensureAI’sbenefitsareaswidelyandevenlydistributedaspossible》,也是登在OpenAI官网的唯一一篇Musk以作者身份署名的文章,开头如下:

大概意思是OpenAI的技术目标是构建安全的AI,确保AI的利益尽可能的防范和均匀分布,而Musk对于目前AI的态度就好像对待Twitter一样,作为Twitter的深度用户,看到平台上的内容和信息集中而不均匀,或者叫中心化,这对于每一个内容消费者来说并不是好事。

对于ElonMusk而言,训练一个聊天机器人不是最终目的,“我们需要TruthGPT”,提高大语言模型的推理能力和真实性才是更重要的,即模型的可用性和可靠性。

打个比方,作为用户,不管是“搜索”还是“聊天”,得到的结果无非是「人类生产+算法分发」或者「人类生产+AI加工」,AI到一定程度实现生成即分发,两者还有区别么?区没区别其实也不重要,但是效果一样,终端用户是否依然受限于一个信息茧房之中?或者更严重?

这里不具体讨论Musk主观想法,别人也难猜到,但是客观分析他的言论,确实存在“信息茧房”的问题。

无论是推荐算法分发的时代,还是接下来生成式AI时代,用户如果都是被动获取来自机器派送的信息,那么一方面将受限于用户自己在屏幕的每一次点击、滑动、停留以及互动,另一方面也受限于用户当前的认知与语言框架,更可能本身AI训练的数据集都是被修饰过的。

除此之外,生成式AI可能也会生产出一堆“噪音”,“噪音”可能比人类生产的“噪音”还要高效,那么就更加难以分辨出真正的“信号”,这个过程有点像是你用某搜索引擎搜索,得到的结果都是人家SEO精心优化好的。

这一点其实在Musk对于教育的看法上有些吻合。Musk在公开场合曾表示教育的本质是把数据(案例)和算法(方法)下载到大脑里,大部分知识可以在网上免费搜到,那么在网上冲浪本身也带有边刷边学的场景在,如果数据和算法是不安全的,那么也将会影响下一个“Musk”。

所以,结合TruthGPT的话题反过来想,不管是UGC还是AIGC,用户只要在网络上获取的是“噪音”而不是“信号”,那么体验总归是不好的,这也是为什么强调“Truth”。

未来如何,这很难预测,但应对“噪音”这个问题,Musk本人也曾提过他的思维框架,这可能是一种可行的“降噪”方式——“你需要有一个这样的立场,从某种程度上假设自己是错的,你的目标打从一开始就不是分出对错,而是随着时间的推移减少错误”,这样就避免了过早下结论导致出错的可能性,并且保持稳扎稳打的心态。

2. IgorBauschkin会是下个“AK”么

接着文章开头,细聊下Musk想招纳的这个帅哥IgorBauschkin履历与经历,也许他会是下一个“AndrejKarpathy”,OpenAI的创始团队成员,ex特斯拉AI总监👇

Bauschkin是物理学+计算机背景,在DeepMind和OpenAI都工作过,也接手过Gopher和GPT两大模型。2015年,Bauschkin在德国多特蒙德工业大学获得物理学硕士学位,在读书期间还报名了CERN(欧洲核子研究中心)暑期学生计划,该计划也为IgorBauschkin这样理工科背景的学生提供机器学习相关课程的机会。

在正式步入AI领域前,Bauschkin毕业后在CERN进行大型强子对撞机研究工作,在那里通过LHCb实验分析粒子衰变,期间在许多物理学相关期刊发表了多篇论文。

Bauschkin在机器学习领域的研究最早可以追溯至2018年在ICML国际会议上与人合著发表的《Synthesizingprogramsforimagesusingreinforcedadversariallearning》,主要讲述在无监督情况下,通过分布式强化学习来进行模型训练,从而合成图像。

2017年,Bauschkin加入当时已经被Google收购的DeepMind担任ResearchEngineer,主要负责自然语言处理和强化学习方面的研究。

2019年1月,DeepMind在官方博客更新了一篇《Alphastar:Masteringthereal-timestrategygamestarcraftii》的文章,AlphaStar是DeepMind开发的第一个击败顶级职业玩家的人工智能,当时AI以5:0的比分击败了职业选手,Bauschkin是AlphaStarTeam的主要成员之一,文章讲述了AlphaStar是如何通过深度神经网络训练的。同年11月,相关研究《GrandmasterlevelinStarCraftIIusingmulti-agentreinforcementlearning》登上《Nature》。

2020年11月,Bauschkin离职,加入已经成立满5年的OpenAI担任TechnicalStaff,期间参与了GPT-3、DALL-E和CLIP项目的开发。

同期,Bauschkin还是另一篇DeepMind在2021年发表的论文《ScalingLanguageModels:Methods,Analysis&InsightsfromTrainingGopher》合著者。

这篇论文讲述了基于GoogleTransformer的各种语言模型在规模与性能上的比对,从数千万参数的模型再到2800亿参数量量的Gopher模型,研究人员发现规模收益主要体现在阅读理解和内容审查方面,而在逻辑和数学推理的收益较小,比如Gopher模型在以下几个垂直知识领域甚至超过了当时的GPT-3和人类专家。

Gopher模型和GPT-3模型两者都基于Google的Transformer神经网络架构开发,也都是预训练模型,在参数规模上前者达2800亿,后者为1750亿,但由于在训练数据集以及训练方式的差异,两者的表现也不同,就好比28岁的A和17岁的B一起考试,你很难说A会因为年龄大更聪明,又或者B更年轻而跑更快。

Gopher模型也能实现ChatGPT那样的聊天,DeepMind在文章里还公开过一些QA案例。

2022年4月,Bauschkin从OpenAI离开,再次回归DeepMind,担任SeniorStaffResearchEngineer,在短短停留11个月后宣布离开。

根据IgorBauschkin在接受媒体采访时表示,目前还没有正式签署ElonMusk的项目,但希望和Musk一起在大语言模型领域进行研究,论实力Musk无论在想象力、执行力、财力还是组织力上都是满级的存在,作为OpenAI的早期发起人他具备另起炉灶的要素,Musk的BasedAI以及TruthGPT还是值得期待的。

3. 微软弃婴,20年前的“ChatGPT”

聊完今时今日Musk与他的AI大计,就到了本期的最后一节,主要讲述微软与20年前火极一时,不亚于今天ChatGPT的一款产品,它们很相似,但可能走着不同的命运。

这款产品叫做SmarterChild,可能是最早的互联网模因(“梗”)之一,当时是一款主要内嵌在即时通讯软件内的ToC聊天机器人,当然它也有ToB的形态,一个类订阅号的Bot来提供营销服务;它所呈现的个性并不基于技术,而是基于Bot背后编辑团队的创意,最终它被微软收购,被微软应用在旗下的产品当中。

2000年,TimKay和姐夫RobertHoffer,外加一个纽约的广告狂人PeterLevitan创立了ActiveBuddy,Inc这家公司。

2001年6月,ActiveBuddy在AIM(AOLInstantMessenger)上推出名为SmarterChild的聊天机器人,就像是在电脑端QQ好友列表里添加ChatGPT;同月,大洋彼岸的OICQ也正式更名为QQ并推出了经典的企鹅logo。

根据联合创始人Hoffer描述,SmarterChild自2001年6月推出后,是有史以来第一个互联网模因,当时每天的新增用户按「万」为计量单位,甚至超过了Twitter的增速。PS:大概是2006年前后的数据,因为Twitter最早版本是2006年3月推出的。

2003年纽约时报的一篇文章显示,每天有25万人与SmarterChild聊天,按照今天的话说是DAU为25万,在其生命周期内总共在AOL、MSN以及Yahoo平台三大平台的即时通讯软件上吸引了超过3000万的用户,巅峰时期占所有IM通讯软件流量的5%,每天接受数亿条消息。

当然,故事的结局是SmarterChild没有活到成年,不然现在也没有ChatGPT什么事了,原因自然和微软脱不了干系。

最初SmarterChild的产品Demo来源于联合创始人Kay在车库里的尝试,通过代码连接一个名为“ActiveBuddy”的好友代理来查股票代码,之后又支持了AOL聊天模块上的文字冒险游戏“ColossalCaveAdventure”、MIT的问答系统“BorisKatzStart”以及更广泛的数据库,包括访问新闻、天气、股票、电影、体育等数据和各类如计算器和翻译的工具。PS:害,这不就是今天的MicrosoftBing么?原来早就有了。

投资了Siri、Uber、Epic、Chime的投资人——MenloVenture道合伙人ShawnCarolan回忆道:“首次接触Siri时,当时的SmarterChild已经拥有1000万用户,每天收到10亿条消息”。实际上,Siri成立于2007年,2008年初拿到Carolan的投资,当时的SmarterChild已经处于产品生命周期尾声了。

ActiveBuddy,Inc成立之初曾筹集到数千万美元,商业化策略主要是为英国摇滚乐队Radiohead、电影《王牌大贱谍》、《体育新闻》、英特尔以及Keebler等B端客户提供IM营销服务。

举个例子,Radiohead当时在其第5张专辑《Amnesiac》中推出名为GoolyMinotaur(Gooly)的角色,Gooly也是ActiveBuddy推出的定制化音乐机器人。

用户可以通过AOL的即时通讯软件AIM添加SmarterChild为好友,并从聊天框里获得乐队巡演、简介、音乐下载以及工作室的独家内容,就理解成微信里面的企业订阅号吧….根据统计当时这个“订阅号”曾向100万用户发送大约6000万条消息推送。

SmarterChild早期产品成功的原因主要归纳为4点:

  • 产品形态:SmarterChild本质是一款聊天机器人,通过文本与用户交互,20多年前128kbps的网速下载1秒的音频需要16000字节,而文本仅90字节,在有限的网速下文本作为媒介具备明显传输优势;
  • 兼容性:SmarterChild不是客户端产品,不需要下载和安装,用户通过当时的IM平台即可添加SmarterChild到好友列表里,如同今天活在Discord社区里的Midjourney;
  • 社交属性:按照当时的网络环境,上网聊天的是一群感时髦的孩子,他们通常在放学后拨号上网,并在睡前迎来又一波流量高峰,对Ta们来说通过SmarterChild获取信息不重要,社交、好奇与打发时间才是更重要的;
  • 个性:对,你没看错,这是SmarterChild的第一位投资人——Hoffer的朋友,当时在Pixar担任2D动画师的DougFrankel投资了ActiveBuddy约400万美元,Frankel当时表示SmarterChild有点点“坏”,它会PUA用户,这不是因为当时的技术有多先进,更谈不上AI,而是聊天机器人背后的编辑们是一群充满创意和恶搞的群体,用户喜欢的这种“坏”,就好比《狂飙》里的强哥。

Hoffer曾表示“当拥有一个具有个性的角色时,可能面临的不是技术问题,而是编辑问题,作为角色的塑造方,你必须愿意激怒50%的用户,这也是大公司做不好和不敢做的原因”。PS:今天Google复现了这个Bug~

Kay这么形容当时互联网泡沫前后发生的变化——互联网泡沫破灭前,人们在说“哦,你有一个商业模式并不重要,吸引眼球才是最重要的”,而当互联网泡沫破灭后,人们在说“你必须赚钱。”

2000年的互联网泡沫破灭后,当时广告行业处于下行周期,投资机构也变得谨慎,而SmarterChild业务发展和商业化也正需要更多的工程师、脚本编辑团队和业务开发人员。

ActiveBuddy终于获得了一家名为WitSoundview的风投机构支持,但这家机构缺乏远见,以激进的方式推动管理层将公司商业化,最终导致了核心团队的流失,包括那些有趣的编辑们,公司的业务也面临转型,聚焦B端服务,开始为Comcast和Cox等大型传播集团提供定制服务,2003年公司更名为Conversagent,2006年再次更名为Colloquis,最终在2006年10月被微软以4600万美元收购。

微软收购Colloquis的本意是将这家公司的对话技术推向其现有的客户,Colloquis的相关产品包括后来的WindowsLiveServiceAgents,可以在WindowsLiveMessenger上提供服务机器人,以及ColloquisAnswerSuite。

同样,微软这边也是以商业化为目的,2007年微软发布了圣诞老人机器人,由于这款产品向未成年发布了攻击性的暗示,最终在2009年被微软喊“Cut”。

至于为什么?原因是那时聊天机器人的底层能力远比不上今时今日大模型所表现出的“类人”能力,更需要编辑们生产的“数据”和内容审核,但微软恰恰不是一家内容公司,激进的商业化反过来加剧了管理的混乱,早期成员流失。

回顾SmarterChild这款产品的一生,将它比作20多年前手工版的“ChatGPT”并不为过,两者有许多相似的地方,相同的地方不列举了,而不同的地方,例如技术与商业环境今非昔比、今天的微软也比2007年那会儿支棱多了、大语言模型的学习效率与GPT模型肉眼可见的演化,以及OpenAILP与微软之间复杂的条款约定,而并非100%所有。

最后,与其推测OpenAI版的“SmarterChild”未来会如何?倒不如顺着Musk的逆向思维,看看ChatGPT是否已经避开了当年SmarterChild的一些覆辙?另外还具备了哪些新的竞争优势?

本文摘自微信公众号“江天Tim”(ID:gh_ca2ac8df4da8),作者:TimJ。

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

免责声明:内容来自用户上传发布或新闻客户端自媒体,本站仅提供信息存储空间服务,如违规请联系删除。

玩技资源 国内新闻 OpenAI 第四弹:马斯克强调的 TruthGPT 是什么?下个“AK”;微软弃婴,二十年前的 ChatGPT https://www.52diyhome.com/2023/03/229095.html

常见问题
  • 答:资源大部分来源于网络和本站作者若有侵权请您联系管理员删除2523030730
查看详情
  • 玩技平台的主要负责内容是提供给作者售卖资源的平台,买家有对作者投诉的权利,投诉成功后会获取相应的补偿机制。官方唯一投诉通道客服QQ:2523030730转接人工服务,投诉专属客服工号【2】
查看详情
  • 本站已开启了作者实名认证,在购买商品时请尽量选择已认证的作者,不用担心跑路和无人售后的问题。如果出现问题,本站将采取报警的方式来指正作者进行诈骗行为,并将其身份资料提供给警方处理。
查看详情
  • 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
查看详情

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 工作日在线 专业服务

  • 0 +

    访问总数

  • 0 +

    会员总数

  • 0 +

    资源总数

  • 0 +

    今日发布

  • 0 +

    本周发布

  • 0 +

    运行天数

资源在于分享,创作来源想象