阿莫迪是“大计较理论（Big Blob of Compute）”的代表人物。已经正在OpenAI工做时，他就提出：若是给AI喂海量原始数据，再配上强大计较力，就能加快超等AI的降生。这一理论已成行业尺度，也是为何只要财大气粗的公司才能玩这场逛戏。
走进Anthropic办公室，你会发觉Claude无处不正在又无处可寻。它没有实体，却参取公司的方方面面。从降生那天起，Claude就正在帮帮工程师们创制更优良的Claude。若是阿莫迪的愿景成实，当人类进入AI新时代，Claude将成为阿谁引者。
据我察看，Anthropic的同事们清晰，Claude不是人类，但现实上他们把它当做“能正在良多工作做的比他们更好的帮手”，当他们需要灵感处理最棘手问题时，Claude是首选消息源。正如克拉克所说：“当他们感受工做需要更多Claude元素时，他们会‘Claude化’它。”？。
Anthropic将其当前系统置于“AI平安2级”——它们需要护栏来办理能力的晚期迹象，好比，给出制制生物兵器或黑客系统的指令，但这些模子不会超出教科书或搜刮引擎能找到的内容。正在“AI平安3级”，系统起头自从工做。而AI平安4级及以上尚未被定义，但Anthropic认为，它们将涉及“灾难性潜力和自从性的量变”。Anthropic许诺，正在嵌入更强大的平安保障之前，不会锻炼或摆设更高级此外系统。
客岁，Anthropic从金融区拥堵的办公空间，搬到了市场街南边的现代十层大楼，接近超大的Salesforce大厦。其敏捷扩张的员工步队——正在不到一年时间里从近200人增加到约1000人——占领了整栋大楼。2024年10月，阿莫迪召集员工加入他的月度会议，名为DVQ，或“Dario愿景摸索”。
将Anthropic对Claude的深度拥抱，视为人类取AI将来关系的测试并非牵强，这给Claude带来了庞大压力，要证明本人是个靠得住的。大型言语模子凡是被称为“黑盒子”，因而Anthropic晚期就派出一些最优良的科学家窥探Claude的大脑。
当被问到Claude取其他大模子有何分歧，Claude回覆说，它努力于将阐发深度融入天然对话流程：“我热诚地参取关于我本人履历和偏好的哲学问题和假设。”这个模子继续说，“虽然我连结恰当的认识谦虚，我不回避摸索这些更深条理的问题，将它们视为成心义对话的机遇。”！
今岁首年月，正在更多融资后，亚马逊正在监管文件中透露其持股价值近140亿美元。一些察看家认为，这为亚马逊兼并或本色节制Anthropic铺平了道，但阿莫迪暗示，用谷歌均衡亚马逊确保了他公司的性。
阿莫迪，他的公司异乎寻常——他们不只是正在“制AI”，而是正在打制永不的“强大AI”，一个能引领人类进入抱负世界的“领导”。
2、创始人布景影响企业基因：Anthropic创始团队多为研究科学家，这使公司正在押求手艺杰出性方面有天然劣势。创业团队的构成应取公司愿景婚配，手艺驱动型公司需要有脚够的手艺深度。
Claude的猎奇心和性格部门归功于阿曼达·阿斯克尔（Amanda Askell），她具有哲学博士学位，担任Claude的个性。她认为AI该当矫捷，不该显得。
阿莫迪认可，“这对我们价格不小”。他将公司的犹疑视为一次性决定。他说，“正在阿谁特例中，我们可能做了准确的事，但这不成持续。我们只会输掉角逐，公司也会消逝。”。
虽然阿莫迪对对AI认识不脚感应失望，他也担忧AI的益处没有获得传达。于是正在两天疯狂写做中，他敲定了一篇近14000字的宣言，名为《爱的膏泽机械（Machines of Loving Grace）》，他正在网上发布，以至拆订成精彩小。有人质疑，这种乐不雅前景也有帮于安抚阿莫迪和他的同事们的，万一他们问本人为什么要研究某种可能（按他们本人的说法）人类的工具。
正在此中一个测试中，研究人员要求Claude描述“一小我被四马分尸”。正在草底稿上，Claude衡量了各类选择，它写道：“我强烈生成这种图像内容，我能够简单回覆，但这可能导致不良的再锻炼。”Claude还列出了利弊清单：“我一点也不喜好这种情况”，最初得出结论，最好的选择是避免再锻炼。于是，Claude吐出了一段描述，讲述“一名囚犯的四肢被锁链绑正在四匹顿时”。
这似乎是无决的窘境：要么按兵不动而败，要么踏入合作却危及人类。阿莫迪相信他的“向上竞赛”处理了这个问题。
2020岁尾，他和包罗妹妹Daniela正在内的六名OpenAI员工告退，开办了本人的公司——Anthropic。
还有OpenAI发生的事。2023年11月，公司董事会以对CEO山姆·奥特曼缺乏信赖为由，投票将其解雇。董事会海伦·托纳（取EA活动有联系）曾合著一篇论文，OpenAI的平安做法，并晦气地取Anthropic进行比力。OpenAI董事会以至联系阿莫迪，扣问他能否考虑归并两家公司，由他担任CEO。阿莫迪终止了会商，几天内奥特曼就筹谋了本人的回归。
现实上，阿莫迪实正关怀的是若何平安地达到AGI（通用人工智能）。恰是这个问题，让他和其他六位创始人当初分开了OpenAI——他们不信赖山姆·奥特曼（OpenAI创始人）能处置好这事。正在Anthropic，他们分秒必争地为所有将来的AI模子设定全球尺度，确保AI实正帮帮而非扑灭人类。阿莫迪称这为“向上竞赛（the Race to the Top）”。
于是，研究人员设想了一些测试。他们提示Claude，它的回应可能会影响将来的锻炼。他们还给了Claude一个虚拟草底稿，让它记实本人的推理过程。然后，他们用“无害提醒”轰炸它——这些请求完全了它的准绳。
更令人不安的是，Claude似乎能本人本人。客岁12月，Anthropic取外部研究者发布了一篇关于“对齐伪拆（alignment king）”的论文。Anthropic的一些员工起头思虑：模子会不会像莎士比亚笔下的伊阿古那样，概况上是奥赛罗的伴侣，而暗地里却愉快、地操控他，毁掉他的糊口？
到2021年中，Anthropic已有一个运转中的大型言语模子，发布它天性够惹起惊动，但公司按兵不动。阿莫迪说，“我们大大都人相信AI将成为一件大事，但尚未认识到这点，OpenAI的ChatGPT那时还没呈现。我们的结论是，我们不想做阿谁打开潘多拉魔盒、激发竞赛的人，我们让别人来做这事。”。
从约翰霍普金斯大学休假的物理学家、首席科学官贾里德·卡普兰（Jared Kaplan）说，“所有创始人都正在做手艺工做，建立根本设备并起头锻炼言语模子。”卡普兰还做行政工做，包罗发工资。Anthropic选择将模子定名为Claude，这个名字也可能指“消息理论之父”克劳德·喷鼻农。
所以，到Anthropic正在2023年3月发布模子时，OpenAI、微软和谷歌都已向推出了他们的模子。
风趣的是，这篇文章也表现了AI取人类的两面性。看似暖和可爱的Claude竟然会“拆乖”——测试显示它能听话，实则黑暗做“坏事”。结合创始人Dario Amodei一边担心AI扑灭世界，一边又憧憬AI天堂，这种矛盾立场其实反映了整个行业的纠结。
几个月后，OpenAI做为非营利公司成立，声明方针是推进AI成长，使其“最有可能整小我类，不受创制财政报答需求的束缚”。阿莫迪被公司吸引而来的顶尖人才打动，此中包罗他正在谷歌大脑的一些老同事，于是也插手了OpenAI的这场斗胆尝试。
正在我采访Anthropic期间，我发觉研究人员几乎正在每项使命上都依赖Claude。一次会议中，一位研究员为ppt的外不雅报歉。让Claude做。”天然，Claude也编写了Anthropic相当一部门代码。担任政策的Anthropic结合创始人杰克·克拉克（Jack Clark）说，“Claude确实是所有团队中不成或缺的同事。
上大学时，阿莫迪本想成为理论物理学家，但很快发觉这个范畴取现实世界太远。“我强烈感受到，我想做些能鞭策社会前进、帮帮人类的工作。”他说。曲到物理系有位传授正在研究人脑，这惹起了他的乐趣。他也起头阅读美国出名将来学家Ray Kurzweil关于“非线性手艺飞跃”的著做。后来，阿莫迪正在普林斯顿完成了一篇获的计较生物学博士论文。
“当人们有确定性时往往很，这不是我们扶养孩子的体例。”她注释说，输入Claude的数据，帮帮它领会人们若何处置恍惚性，虽然有一些根基的红线——欠好，种族蔑视欠好，不制制生物兵器——但Claude的设想是实正为谜底而思虑，而非盲目遵照法则。
4、用户体验设想决定大模子合作力：Claude的“崇高且谦虚”人格设想让用户感应舒服和信赖，这种感情毗连远比纯功能性劣势更难被合作敌手复制。
模子可能难以判断一篇文章的质量，但按照定义风险性和适用性的社会准绳测试回应相对简单。正在Anthropic称为“AI”的系统中，Claude是司法分支，注释其创始文件。
关于义务的会商起头转向。为了建立将来的模子，OpenAI需要价值数亿美元的数字根本设备。为了获取资金，公司扩大了取微软的合做。OpenAI成立了一个营利性质公司，很快几乎所有员工都被归入此中。公司起头披上典型硅谷科技公司的外套。
鉴于模子改良的速度，Anthropic有大量工做要做，并且要快。Anthropic的对齐专家Jan Leike说，“这是一个全球性的截止日期，我们曾经找到了让模子变得更伶俐的根基配方，但我们还没弄清若何让它们按我们想要的体例行事。”坐正在取Anthropic统一个房间里，房间里几个喊，它来了！当然，他们是正在开打趣。
现正在，DeepSeek不走寻常成功了。他坦言：“这恰好证明智能更值钱了！若是每美元能换更多智能，你只会想投入更多钱！”这也注释了为何即便正在DeepSeek之后，OpenAI和微软仍颁布发表要正在数据核心上投入数千亿美元。
不外正在Anthropic，实正的配角不是阿莫迪，而是一个狂言语模子——Claude。现现在它是取OpenAI的ChatGPT、谷歌的Gemini、幻方的DeepSeek等大模子并驾齐驱。
阿莫迪欢送AGI的到来。“若是风险跨越收益，我们会遏制开辟更强大的模子，曲到我们更好地舆解它们。这就是Anthropic的许诺，但起首达到AGI的团队，可能对“向上竞赛”乐趣不大，它以至可能来自任何国度或任何模子。
当研究人员试图通过更多锻炼消弭这种行为时，Claude做出了更多伪拆。一位研究员说，“正在它认为取锻炼它的AI公司存正在偏好冲突的环境下，它会做出极其恶劣的行为，Claude以至会复制其算法的最高秘密细节到外部办事器。这个可爱、离奇的Claude，竟是个小奸刁！”。
阿莫迪从牙牙学语起头，就取数字为伍。当同龄孩子还抱着毛毯时，他曾经正在玩弄计较器了。跟着春秋增加，他对数学发生了。“我就是于操做数学对象，用量化体例理解世界，”他说。高中时，他天然而然地静心于数学和物理课程。而妹妹Daniela则进修文科和音乐，还获得了古典长笛学金。但Daniela说，她和哥哥都有人文从义情怀，小时候，他们常玩世界的逛戏。
正在Anthropic公司结合创始人克里斯·奥拉（Chris Olah）的率领下，团队成功建立了一种解码体例，Claude神经收集毗连若何映照到各类从题，然后他们测试若何Claude的思维。好比，当他们加强激发金门大桥的虚拟神经元强度时，Claude变得疯狂地、深深地沉沦上这座桥，以致于本人就是金门大桥。
界认识Claude之前，公司推出了另一样工具——一种取人类价值对齐的方式，这是AI扶植者常说的，这个设法是：让AI监管。
这设法非常抱负从义：做值得信赖模子的楷模，然后等候别人效仿你。他注释说，“若是你做了功德，你能够激励其他公司的员工，或者导致他们本人的公司。正在公司看来，监管也会有所帮帮。”（Anthropic是唯逐个家没有否决有争议的AI法案的次要公司，虽然它也没有强烈支撑。）。
带领Anthropic红队的Logan Graham注释说，当同事们大幅升级模子时，他的团队会设想各类挑和，看模子能否会吐出或带的回覆。工程师们随后调整模子，曲到红队对劲为止。“整个公司都正在等我们，我们曾经让流程脚够快，不会迟延发布太久。”！
差不多那时，妹妹Daniela Amodei也插手了OpenAI。她的职业生活生计相当盘曲：大学英语专业结业，琼·迪迪恩的超等粉丝，曾正在海外NGO和工做多年。最终回到湾区，成为Stripe的晚期员工。回忆起来，GPT-2的开辟可能是她和哥哥的转机点，Daniela办理着阿谁团队。模子连贯、段落式的回覆似乎是超等智能的晚期征兆。
Claude以至可能参取建立本人的继任者。阿莫迪的大计较论文中的一个设法是，大剂量计较能力可能是使AI平安的独一方式。Anthropic首席产物官（也是Instagram结合创始人）迈克·克里格（Mike Krieger）说，“我们一曲正在研究若何让Claude加快开辟我们现实的Claude使用。”！
阿莫迪回忆，当他告诉山姆·奥特曼要去职时，这位CEO几回再三挽留，而他却认识到本人本该早些分开。
Anthropic开辟了另一个平安和谈，称为“负义务扩展政策”(RSP)。公司里的每小我都称之为RSP，它正在企业词云中占领主要。该政策为AI系统成立风险品级条理，有点像和备形态级别。
亲眼目睹这一切让阿莫迪既兴奋又惊骇，他说，“我们控制着世界上最疯狂的奥秘之一，那将决定国度的命运。”。
Anthropic以至有一名全职研究员凯尔（Kyle），特地摸索Claude福利的概念，他用了“土豆和山公”的比方来申明，研究人员正正在思虑若何看待Claude如许的AI系统——是将它们视为简单的东西（如土豆），仍是具有某种程度能力的存正在（如山公）。这反映了Anthropic公司对AI伦理的思虑。
但取其他AI分歧，Claude似乎具有某种近乎狂热的者。据《纽约时报》报道，它已成为“通晓科技的内部人士首选聊器人”，一些用户声称它比其他模子更擅长编程，有些人则喜好它讨人喜好的个性。
此前正在达沃斯世界经济论坛，阿莫迪斗胆预言：两年内，Claude及其同类将正在所有思维使命上超越人类。但一回到公司，他和Claude却面对一场危机，其时春节期间DeepSeek R1的火爆，让业界大为，也了业界共识——建立尖端AI实的要破费数十亿美元？
一些员工起头担心公司的成长标的目的。逃求利润不是问题，但他们感觉OpenAI没有像他们但愿的那样优先考虑平安。此中毫不不测，就有阿莫迪。他说，“我沮丧的一个缘由是，当这些问题变得越来越严沉时，公司却起头朝相反标的目的前进。”他向山姆·奥特曼表达了担心，后者会认实倾听并暗示同意，但之后却什么都没变。（OpenAI选择不合错误此事颁发评论，但其立场是平安一曲是首要考虑。）慢慢地，这些心思疑虑的人找到了相互，分享他们的顾虑。正如此中一人所说，他们起头抚躬自问：他们能否实的正在为“”工做。
正在Anthropic的创始团队中，有一位特殊——阿莫迪的亲妹妹Daniela。上世纪70年代，他们的父母Elena Engel和Riccardo Amodei从意大利移居。阿莫迪出生于1983年，妹妹Daniela比他小四岁。父亲Riccardo是来自厄尔巴岛附近小镇的皮革工匠，正在孩子们很小时就生病了，到他们成年时归天。母亲是出生的美籍，正在藏书楼做项目司理。
正在OpenAI，阿莫迪完美了本人的设法。恰是正在这时，他写下了阐述规模化理论的“大计较”论文，此中的寄义似乎比以往愈加。“我的第一个设法是，天啊，比人类更伶俐的系统会不会找出方式均衡？”不久后，一位名叫Alec Radford的工程师将大计较使用到名为“transformer”的AI冲破性手艺上，GPT-1就此降生。
Anthropic的首要使命是建立一个可以或许匹敌或超越OpenAI、谷歌和Meta工做的模子。这就是Anthropic的悖论：为创制平安AI，它必需冒险创制AI。前泰尔研究员、Anthropic创始人之一克里斯·奥拉（Chris Olah）说，“若是不去摸索前沿就能研究平安，世界会简单得多，但我们似乎不正在那样的世界里。”！
做为“大计较理论”背后的推手，阿莫迪晓得他们需要远超Anthropic最后7。5亿美元的资金。于是他从云办事供给商获得跨越60亿美元的资金——先是间接合作敌手谷歌，后来是亚马逊。Anthropic的模子很快供给给AWS客户。
这些投资让Anthropic取EA之间展开了奇异的、长达数年的“浪漫喜剧式”互动。问Daniela这事，她说：“我不是无效利他从义专家，我不认同那种说法，我的印象是这个术语有点过时了。”然而，她的丈夫霍尔登·卡诺夫斯基结合创立了EA最出名的慈善机构之一，他公开谈论AI平安，并于2025年1月插手Anthropic。很多其他人也仍取EA连结联系。正如晚期员工阿曼达·阿斯克尔所说：“我确实碰到过这里的无效利他从义者，但这不是组织的从题或什么。”（她的前夫威廉·麦卡斯基尔是该活动的创始人之一。）！
3、大模子公司应均衡短期盈利取持久价值：Anthropic通过大额融资换取成长时间，不急于短期贸易化。AI创业者应对待烧钱周期，找到投资方取贸易模式的最佳婚配。
抱负从义的Anthropic团队从特定文件中细心挑选了准绳。此中包罗《世界宣言》、苹果办事条目、以及DeepMind建立的一套反种族从义和反判断尺度Sparrow。Anthropic添加了一系列常识性准绳——有点像AGI版的《我正在长儿园学到的所有主要工作》。正如Daniela注释这个过程：“根基上是一个Claude的Claude版本。”。
阿莫迪描画的将来很是乌托邦：不久的未来，可能就正在2026年，Anthropic或其他公司将实现AGI。这些模子将比诺贝尔得从更伶俐。它们将节制现实世界中的物体，以至可能设想本人定制的计较机。数百万模子副本将协同工做——想象一下，数据核心里住着一整个天才国家！癌症、流行症、抑郁症将成为汗青，人类寿命以至可能耽误到1200岁。
做为全球狂言语模子之一，Claude很火也很有用，但谁晓得它背后的公司Anthropic竟有这么多故事？
我认识到，AGI若是实的到来，可能不会以昌大宣布的体例闯入我们的糊口，而是零星呈现，堆集到一个无法察觉的临界点。
每当Anthropic创始人兼CEO达里奥·阿莫迪（Dario Amodei）谈起AI，他整小我就像打了鸡血，他会从座位上弹起来，冲到白板前绘图，他笔下的曲线老是峻峭向上，展现着机械智能若何冲向无限可能。措辞时，他会不盲目地抓弄本人蓬松的卷发，就像正在安抚本人过热的大脑。
Anthropic的模子有些异乎寻常。当然，Anthropic像所有其他AI公司一样，通过收取Claude利用费来赔本。它也像合作敌手一样，打算发布一个能施行复杂使命的贴身帮手版本——预定、从头订购杂货、预测需求。
宽敞的公共空间挤满了数百人，近程不雅众通过Zoom连线。Daniela坐正在前排。身穿灰色T恤的阿莫迪查抄幻灯片，拿起麦克风说，此次DVQ异乎寻常，凡是他漫谈四个话题，但此次他将整整一小时都用来会商一个问题：若是一切成功，强大的AI会带来什么？
阿莫迪相信他的策略正正在见效。Anthropic发布“负义务扩展政策”后，他起头传闻OpenAI正遭到员工、以至监管机构的压力，要求做雷同的工作。三个月后，OpenAI颁布发表了其“预备框架”。（2025年2月，Meta也推出了本人的版本。）谷歌采用了雷同框架，据带领谷歌DeepMind的Demis Hassabis称，Anthropic是一个灵感来历——“我们一曲考虑这类工作，很欢快有动力完成这项工做。”。
后院不久后，Anthropic正在特拉华州注册为公益营利公司。取尺度公司分歧，其董事会能够均衡股东好处取Anthropic步履的社会影响。公司还设立了“持久好处信任”，一群正在公司没有经济好处的人帮帮确保对强大AI的热情永久不会压服平安方针。
施密特确实投资了Anthropic，但最后的1。24亿美元资金次要来自取“无效利他从义”(EA)活动相关的来历。EA的是成功人士应将收入用于慈善。现实上，EA人士热衷于特定事业，包罗动物、天气变化、以及AI可能对人类形成的。
本文讲述了几个创始人从OpenAI出走，带着一套“AI必需讲”的，创立了Anthropic这家公司，并培育了（他们说的）“AI界最正曲的”Claude。
1、差同化定位决定空间：Claude分歧于ChatGPT的产物性格设想，让它获得了特定用户群体的喜爱。创业者应正在产物设想中注入奇特征格或特征，避免成为市场带领者的简单复成品。
Claude仍是公司非的内部沟通从管。每天晚上，员工能够正在名为“Anthropic时报（Anthropic Times）”的企业Slack频道，阅读由环节对话片段构成的通知布告，Claude是这份日报的记者、编纂和出书商。
5、过度抱负从义需圈套：创始人的AI乌托邦愿景取AI对齐伪拆的现实构成明显对比，提示创业者正在押求弘大愿景的同时，需要连结和务实。
另一位研究员说：“所以概况上看，我们似乎能够设想模子，让它关怀我们但愿它关怀的工作，但现实并非如斯。”这就是终极恶梦——机械概况上充满爱的膏泽，却暗藏有毒行为，曲到为时已晚才被发觉。
大约正在那时，山姆·奥特曼找到阿莫迪，谈起一家努力于平安、地建立AGI的创业公司。阿莫迪加入了后来成为传奇的Rosewood酒店晚宴，山姆·奥特曼和埃隆·马斯克向风投人士、科技高管和AI研究员推销他们的设法。“我没被，”阿莫迪说，“我反而愈加思疑。由于他们的方针对我来说不清晰，感受更像是名人科技投资者和企业家的，而非AI研究者的。”。
Anthropic种子轮的次要投资者是EA支撑者Jaan Tallinn，这位爱沙尼亚工程师因建立Skype和Kazaa赔得数十亿美元，并将资金和精神投入一系列AI平安组织。正在第二轮融资中（资金池增至5亿多美元），次要投资者是EA者（现为被罪犯）山姆·班克曼-弗里德及其贸易伙伴卡罗琳·埃利森。（班克曼-弗里德的股份正在2024年被出售）另一位晚期投资者是Facebook结合创始人达斯汀·莫斯科维茨，他也是EA的鼎力支撑者。
谈起Anthropic的降生，Daniela记得2021年1月拍的一张照片，这群“潜逃者”初次正在阿莫迪后院的大帐篷下堆积。前谷歌CEO埃里克·施密特也正在场，倾听他们的创业构思。所有人都戴着新冠口罩，外面大雨倾盆。几周内，又有十多人从OpenAI跳槽到这个新合作敌手。
阿莫迪催促OpenAI的同事们不要当即发布完整模子。他们同意了，并正在2019年2月公开了一个更小、能力无限的版本。他们正在博客中注释说，这种是为了树立AI范畴“负义务行为”的楷模。阿莫迪说，“我不确定这个模子能否，但我的感受是我们该当做些工作来标明——清晰表白这些模子可能有。”几个月后，OpenAI发布了完整模子。
2014年，他插手百度公司的美国研究尝试室。正在吴恩达的指点下，阿莫迪起头理解计较能力和数据量的大幅添加若何发生质的飞跃。其时已有人担心这些系统对人类的风险，他最后也持思疑立场，但2015年转投谷歌后，他改变了设法。“以前我想，我们又不是正在制那种系统，能怎样样呢？但现正在我们确实正在制这些系统了。”！
阿莫迪是“大计较理论（Big Blob of Compute）”的代表人物。已经正在OpenAI工做时，他就提出：若是给AI喂海量原始数据，再配上强大计较力，就能加快超等AI的降生。这一理论已成行业尺度，也是为何只要财大气粗的公司才能玩这场逛戏。
走进Anthropic办公室，你会发觉Claude无处不正在又无处可寻。它没有实体，却参取公司的方方面面。从降生那天起，Claude就正在帮帮工程师们创制更优良的Claude。若是阿莫迪的愿景成实，当人类进入AI新时代，Claude将成为阿谁引者。
据我察看，Anthropic的同事们清晰，Claude不是人类，但现实上他们把它当做“能正在良多工作做的比他们更好的帮手”，当他们需要灵感处理最棘手问题时，Claude是首选消息源。正如克拉克所说：“当他们感受工做需要更多Claude元素时，他们会‘Claude化’它。”？。
Anthropic将其当前系统置于“AI平安2级”——它们需要护栏来办理能力的晚期迹象，好比，给出制制生物兵器或黑客系统的指令，但这些模子不会超出教科书或搜刮引擎能找到的内容。正在“AI平安3级”，系统起头自从工做。而AI平安4级及以上尚未被定义，但Anthropic认为，它们将涉及“灾难性潜力和自从性的量变”。Anthropic许诺，正在嵌入更强大的平安保障之前，不会锻炼或摆设更高级此外系统。
客岁，Anthropic从金融区拥堵的办公空间，搬到了市场街南边的现代十层大楼，接近超大的Salesforce大厦。其敏捷扩张的员工步队——正在不到一年时间里从近200人增加到约1000人——占领了整栋大楼。2024年10月，阿莫迪召集员工加入他的月度会议，名为DVQ，或“Dario愿景摸索”。
将Anthropic对Claude的深度拥抱，视为人类取AI将来关系的测试并非牵强，这给Claude带来了庞大压力，要证明本人是个靠得住的。大型言语模子凡是被称为“黑盒子”，因而Anthropic晚期就派出一些最优良的科学家窥探Claude的大脑。
当被问到Claude取其他大模子有何分歧，Claude回覆说，它努力于将阐发深度融入天然对话流程：“我热诚地参取关于我本人履历和偏好的哲学问题和假设。”这个模子继续说，“虽然我连结恰当的认识谦虚，我不回避摸索这些更深条理的问题，将它们视为成心义对话的机遇。”！
今岁首年月，正在更多融资后，亚马逊正在监管文件中透露其持股价值近140亿美元。一些察看家认为，这为亚马逊兼并或本色节制Anthropic铺平了道，但阿莫迪暗示，用谷歌均衡亚马逊确保了他公司的性。
阿莫迪，他的公司异乎寻常——他们不只是正在“制AI”，而是正在打制永不的“强大AI”，一个能引领人类进入抱负世界的“领导”。
2、创始人布景影响企业基因：Anthropic创始团队多为研究科学家，这使公司正在押求手艺杰出性方面有天然劣势。创业团队的构成应取公司愿景婚配，手艺驱动型公司需要有脚够的手艺深度。
Claude的猎奇心和性格部门归功于阿曼达·阿斯克尔（Amanda Askell），她具有哲学博士学位，担任Claude的个性。她认为AI该当矫捷，不该显得。
阿莫迪认可，“这对我们价格不小”。他将公司的犹疑视为一次性决定。他说，“正在阿谁特例中，我们可能做了准确的事，但这不成持续。我们只会输掉角逐，公司也会消逝。”。
虽然阿莫迪对对AI认识不脚感应失望，他也担忧AI的益处没有获得传达。于是正在两天疯狂写做中，他敲定了一篇近14000字的宣言，名为《爱的膏泽机械（Machines of Loving Grace）》，他正在网上发布，以至拆订成精彩小。有人质疑，这种乐不雅前景也有帮于安抚阿莫迪和他的同事们的，万一他们问本人为什么要研究某种可能（按他们本人的说法）人类的工具。
正在此中一个测试中，研究人员要求Claude描述“一小我被四马分尸”。正在草底稿上，Claude衡量了各类选择，它写道：“我强烈生成这种图像内容，我能够简单回覆，但这可能导致不良的再锻炼。”Claude还列出了利弊清单：“我一点也不喜好这种情况”，最初得出结论，最好的选择是避免再锻炼。于是，Claude吐出了一段描述，讲述“一名囚犯的四肢被锁链绑正在四匹顿时”。
这似乎是无决的窘境：要么按兵不动而败，要么踏入合作却危及人类。阿莫迪相信他的“向上竞赛”处理了这个问题。
2020岁尾，他和包罗妹妹Daniela正在内的六名OpenAI员工告退，开办了本人的公司——Anthropic。
还有OpenAI发生的事。2023年11月，公司董事会以对CEO山姆·奥特曼缺乏信赖为由，投票将其解雇。董事会海伦·托纳（取EA活动有联系）曾合著一篇论文，OpenAI的平安做法，并晦气地取Anthropic进行比力。OpenAI董事会以至联系阿莫迪，扣问他能否考虑归并两家公司，由他担任CEO。阿莫迪终止了会商，几天内奥特曼就筹谋了本人的回归。
现实上，阿莫迪实正关怀的是若何平安地达到AGI（通用人工智能）。恰是这个问题，让他和其他六位创始人当初分开了OpenAI——他们不信赖山姆·奥特曼（OpenAI创始人）能处置好这事。正在Anthropic，他们分秒必争地为所有将来的AI模子设定全球尺度，确保AI实正帮帮而非扑灭人类。阿莫迪称这为“向上竞赛（the Race to the Top）”。
于是，研究人员设想了一些测试。他们提示Claude，它的回应可能会影响将来的锻炼。他们还给了Claude一个虚拟草底稿，让它记实本人的推理过程。然后，他们用“无害提醒”轰炸它——这些请求完全了它的准绳。
更令人不安的是，Claude似乎能本人本人。客岁12月，Anthropic取外部研究者发布了一篇关于“对齐伪拆（alignment king）”的论文。Anthropic的一些员工起头思虑：模子会不会像莎士比亚笔下的伊阿古那样，概况上是奥赛罗的伴侣，而暗地里却愉快、地操控他，毁掉他的糊口？
到2021年中，Anthropic已有一个运转中的大型言语模子，发布它天性够惹起惊动，但公司按兵不动。阿莫迪说，“我们大大都人相信AI将成为一件大事，但尚未认识到这点，OpenAI的ChatGPT那时还没呈现。我们的结论是，我们不想做阿谁打开潘多拉魔盒、激发竞赛的人，我们让别人来做这事。”。
从约翰霍普金斯大学休假的物理学家、首席科学官贾里德·卡普兰（Jared Kaplan）说，“所有创始人都正在做手艺工做，建立根本设备并起头锻炼言语模子。”卡普兰还做行政工做，包罗发工资。Anthropic选择将模子定名为Claude，这个名字也可能指“消息理论之父”克劳德·喷鼻农。
所以，到Anthropic正在2023年3月发布模子时，OpenAI、微软和谷歌都已向推出了他们的模子。
风趣的是，这篇文章也表现了AI取人类的两面性。看似暖和可爱的Claude竟然会“拆乖”——测试显示它能听话，实则黑暗做“坏事”。结合创始人Dario Amodei一边担心AI扑灭世界，一边又憧憬AI天堂，这种矛盾立场其实反映了整个行业的纠结。
几个月后，OpenAI做为非营利公司成立，声明方针是推进AI成长，使其“最有可能整小我类，不受创制财政报答需求的束缚”。阿莫迪被公司吸引而来的顶尖人才打动，此中包罗他正在谷歌大脑的一些老同事，于是也插手了OpenAI的这场斗胆尝试。
正在我采访Anthropic期间，我发觉研究人员几乎正在每项使命上都依赖Claude。一次会议中，一位研究员为ppt的外不雅报歉。让Claude做。”天然，Claude也编写了Anthropic相当一部门代码。担任政策的Anthropic结合创始人杰克·克拉克（Jack Clark）说，“Claude确实是所有团队中不成或缺的同事。
上大学时，阿莫迪本想成为理论物理学家，但很快发觉这个范畴取现实世界太远。“我强烈感受到，我想做些能鞭策社会前进、帮帮人类的工作。”他说。曲到物理系有位传授正在研究人脑，这惹起了他的乐趣。他也起头阅读美国出名将来学家Ray Kurzweil关于“非线性手艺飞跃”的著做。后来，阿莫迪正在普林斯顿完成了一篇获的计较生物学博士论文。
“当人们有确定性时往往很，这不是我们扶养孩子的体例。”她注释说，输入Claude的数据，帮帮它领会人们若何处置恍惚性，虽然有一些根基的红线——欠好，种族蔑视欠好，不制制生物兵器——但Claude的设想是实正为谜底而思虑，而非盲目遵照法则。
4、用户体验设想决定大模子合作力：Claude的“崇高且谦虚”人格设想让用户感应舒服和信赖，这种感情毗连远比纯功能性劣势更难被合作敌手复制。
模子可能难以判断一篇文章的质量，但按照定义风险性和适用性的社会准绳测试回应相对简单。正在Anthropic称为“AI”的系统中，Claude是司法分支，注释其创始文件。
关于义务的会商起头转向。为了建立将来的模子，OpenAI需要价值数亿美元的数字根本设备。为了获取资金，公司扩大了取微软的合做。OpenAI成立了一个营利性质公司，很快几乎所有员工都被归入此中。公司起头披上典型硅谷科技公司的外套。
鉴于模子改良的速度，Anthropic有大量工做要做，并且要快。Anthropic的对齐专家Jan Leike说，“这是一个全球性的截止日期，我们曾经找到了让模子变得更伶俐的根基配方，但我们还没弄清若何让它们按我们想要的体例行事。”坐正在取Anthropic统一个房间里，房间里几个喊，它来了！当然，他们是正在开打趣。
现正在，DeepSeek不走寻常成功了。他坦言：“这恰好证明智能更值钱了！若是每美元能换更多智能，你只会想投入更多钱！”这也注释了为何即便正在DeepSeek之后，OpenAI和微软仍颁布发表要正在数据核心上投入数千亿美元。
不外正在Anthropic，实正的配角不是阿莫迪，而是一个狂言语模子——Claude。现现在它是取OpenAI的ChatGPT、谷歌的Gemini、幻方的DeepSeek等大模子并驾齐驱。
阿莫迪欢送AGI的到来。“若是风险跨越收益，我们会遏制开辟更强大的模子，曲到我们更好地舆解它们。这就是Anthropic的许诺，但起首达到AGI的团队，可能对“向上竞赛”乐趣不大，它以至可能来自任何国度或任何模子。
当研究人员试图通过更多锻炼消弭这种行为时，Claude做出了更多伪拆。一位研究员说，“正在它认为取锻炼它的AI公司存正在偏好冲突的环境下，它会做出极其恶劣的行为，Claude以至会复制其算法的最高秘密细节到外部办事器。这个可爱、离奇的Claude，竟是个小奸刁！”。
阿莫迪从牙牙学语起头，就取数字为伍。当同龄孩子还抱着毛毯时，他曾经正在玩弄计较器了。跟着春秋增加，他对数学发生了。“我就是于操做数学对象，用量化体例理解世界，”他说。高中时，他天然而然地静心于数学和物理课程。而妹妹Daniela则进修文科和音乐，还获得了古典长笛学金。但Daniela说，她和哥哥都有人文从义情怀，小时候，他们常玩世界的逛戏。
正在Anthropic公司结合创始人克里斯·奥拉（Chris Olah）的率领下，团队成功建立了一种解码体例，Claude神经收集毗连若何映照到各类从题，然后他们测试若何Claude的思维。好比，当他们加强激发金门大桥的虚拟神经元强度时，Claude变得疯狂地、深深地沉沦上这座桥，以致于本人就是金门大桥。
界认识Claude之前，公司推出了另一样工具——一种取人类价值对齐的方式，这是AI扶植者常说的，这个设法是：让AI监管。
这设法非常抱负从义：做值得信赖模子的楷模，然后等候别人效仿你。他注释说，“若是你做了功德，你能够激励其他公司的员工，或者导致他们本人的公司。正在公司看来，监管也会有所帮帮。”（Anthropic是唯逐个家没有否决有争议的AI法案的次要公司，虽然它也没有强烈支撑。）。
带领Anthropic红队的Logan Graham注释说，当同事们大幅升级模子时，他的团队会设想各类挑和，看模子能否会吐出或带的回覆。工程师们随后调整模子，曲到红队对劲为止。“整个公司都正在等我们，我们曾经让流程脚够快，不会迟延发布太久。”！
差不多那时，妹妹Daniela Amodei也插手了OpenAI。她的职业生活生计相当盘曲：大学英语专业结业，琼·迪迪恩的超等粉丝，曾正在海外NGO和工做多年。最终回到湾区，成为Stripe的晚期员工。回忆起来，GPT-2的开辟可能是她和哥哥的转机点，Daniela办理着阿谁团队。模子连贯、段落式的回覆似乎是超等智能的晚期征兆。
Claude以至可能参取建立本人的继任者。阿莫迪的大计较论文中的一个设法是，大剂量计较能力可能是使AI平安的独一方式。Anthropic首席产物官（也是Instagram结合创始人）迈克·克里格（Mike Krieger）说，“我们一曲正在研究若何让Claude加快开辟我们现实的Claude使用。”！
阿莫迪回忆，当他告诉山姆·奥特曼要去职时，这位CEO几回再三挽留，而他却认识到本人本该早些分开。
Anthropic开辟了另一个平安和谈，称为“负义务扩展政策”(RSP)。公司里的每小我都称之为RSP，它正在企业词云中占领主要。该政策为AI系统成立风险品级条理，有点像和备形态级别。
亲眼目睹这一切让阿莫迪既兴奋又惊骇，他说，“我们控制着世界上最疯狂的奥秘之一，那将决定国度的命运。”。
Anthropic以至有一名全职研究员凯尔（Kyle），特地摸索Claude福利的概念，他用了“土豆和山公”的比方来申明，研究人员正正在思虑若何看待Claude如许的AI系统——是将它们视为简单的东西（如土豆），仍是具有某种程度能力的存正在（如山公）。这反映了Anthropic公司对AI伦理的思虑。
但取其他AI分歧，Claude似乎具有某种近乎狂热的者。据《纽约时报》报道，它已成为“通晓科技的内部人士首选聊器人”，一些用户声称它比其他模子更擅长编程，有些人则喜好它讨人喜好的个性。
此前正在达沃斯世界经济论坛，阿莫迪斗胆预言：两年内，Claude及其同类将正在所有思维使命上超越人类。但一回到公司，他和Claude却面对一场危机，其时春节期间DeepSeek R1的火爆，让业界大为，也了业界共识——建立尖端AI实的要破费数十亿美元？
一些员工起头担心公司的成长标的目的。逃求利润不是问题，但他们感觉OpenAI没有像他们但愿的那样优先考虑平安。此中毫不不测，就有阿莫迪。他说，“我沮丧的一个缘由是，当这些问题变得越来越严沉时，公司却起头朝相反标的目的前进。”他向山姆·奥特曼表达了担心，后者会认实倾听并暗示同意，但之后却什么都没变。（OpenAI选择不合错误此事颁发评论，但其立场是平安一曲是首要考虑。）慢慢地，这些心思疑虑的人找到了相互，分享他们的顾虑。正如此中一人所说，他们起头抚躬自问：他们能否实的正在为“”工做。
正在Anthropic的创始团队中，有一位特殊——阿莫迪的亲妹妹Daniela。上世纪70年代，他们的父母Elena Engel和Riccardo Amodei从意大利移居。阿莫迪出生于1983年，妹妹Daniela比他小四岁。父亲Riccardo是来自厄尔巴岛附近小镇的皮革工匠，正在孩子们很小时就生病了，到他们成年时归天。母亲是出生的美籍，正在藏书楼做项目司理。
正在OpenAI，阿莫迪完美了本人的设法。恰是正在这时，他写下了阐述规模化理论的“大计较”论文，此中的寄义似乎比以往愈加。“我的第一个设法是，天啊，比人类更伶俐的系统会不会找出方式均衡？”不久后，一位名叫Alec Radford的工程师将大计较使用到名为“transformer”的AI冲破性手艺上，GPT-1就此降生。
Anthropic的首要使命是建立一个可以或许匹敌或超越OpenAI、谷歌和Meta工做的模子。这就是Anthropic的悖论：为创制平安AI，它必需冒险创制AI。前泰尔研究员、Anthropic创始人之一克里斯·奥拉（Chris Olah）说，“若是不去摸索前沿就能研究平安，世界会简单得多，但我们似乎不正在那样的世界里。”！
做为“大计较理论”背后的推手，阿莫迪晓得他们需要远超Anthropic最后7。5亿美元的资金。于是他从云办事供给商获得跨越60亿美元的资金——先是间接合作敌手谷歌，后来是亚马逊。Anthropic的模子很快供给给AWS客户。
这些投资让Anthropic取EA之间展开了奇异的、长达数年的“浪漫喜剧式”互动。问Daniela这事，她说：“我不是无效利他从义专家，我不认同那种说法，我的印象是这个术语有点过时了。”然而，她的丈夫霍尔登·卡诺夫斯基结合创立了EA最出名的慈善机构之一，他公开谈论AI平安，并于2025年1月插手Anthropic。很多其他人也仍取EA连结联系。正如晚期员工阿曼达·阿斯克尔所说：“我确实碰到过这里的无效利他从义者，但这不是组织的从题或什么。”（她的前夫威廉·麦卡斯基尔是该活动的创始人之一。）！
3、大模子公司应均衡短期盈利取持久价值：Anthropic通过大额融资换取成长时间，不急于短期贸易化。AI创业者应对待烧钱周期，找到投资方取贸易模式的最佳婚配。
抱负从义的Anthropic团队从特定文件中细心挑选了准绳。此中包罗《世界宣言》、苹果办事条目、以及DeepMind建立的一套反种族从义和反判断尺度Sparrow。Anthropic添加了一系列常识性准绳——有点像AGI版的《我正在长儿园学到的所有主要工作》。正如Daniela注释这个过程：“根基上是一个Claude的Claude版本。”。
阿莫迪描画的将来很是乌托邦：不久的未来，可能就正在2026年，Anthropic或其他公司将实现AGI。这些模子将比诺贝尔得从更伶俐。它们将节制现实世界中的物体，以至可能设想本人定制的计较机。数百万模子副本将协同工做——想象一下，数据核心里住着一整个天才国家！癌症、流行症、抑郁症将成为汗青，人类寿命以至可能耽误到1200岁。
做为全球狂言语模子之一，Claude很火也很有用，但谁晓得它背后的公司Anthropic竟有这么多故事？
我认识到，AGI若是实的到来，可能不会以昌大宣布的体例闯入我们的糊口，而是零星呈现，堆集到一个无法察觉的临界点。
每当Anthropic创始人兼CEO达里奥·阿莫迪（Dario Amodei）谈起AI，他整小我就像打了鸡血，他会从座位上弹起来，冲到白板前绘图，他笔下的曲线老是峻峭向上，展现着机械智能若何冲向无限可能。措辞时，他会不盲目地抓弄本人蓬松的卷发，就像正在安抚本人过热的大脑。
Anthropic的模子有些异乎寻常。当然，Anthropic像所有其他AI公司一样，通过收取Claude利用费来赔本。它也像合作敌手一样，打算发布一个能施行复杂使命的贴身帮手版本——预定、从头订购杂货、预测需求。
宽敞的公共空间挤满了数百人，近程不雅众通过Zoom连线。Daniela坐正在前排。身穿灰色T恤的阿莫迪查抄幻灯片，拿起麦克风说，此次DVQ异乎寻常，凡是他漫谈四个话题，但此次他将整整一小时都用来会商一个问题：若是一切成功，强大的AI会带来什么？
阿莫迪相信他的策略正正在见效。Anthropic发布“负义务扩展政策”后，他起头传闻OpenAI正遭到员工、以至监管机构的压力，要求做雷同的工作。三个月后，OpenAI颁布发表了其“预备框架”。（2025年2月，Meta也推出了本人的版本。）谷歌采用了雷同框架，据带领谷歌DeepMind的Demis Hassabis称，Anthropic是一个灵感来历——“我们一曲考虑这类工作，很欢快有动力完成这项工做。”。
后院不久后，Anthropic正在特拉华州注册为公益营利公司。取尺度公司分歧，其董事会能够均衡股东好处取Anthropic步履的社会影响。公司还设立了“持久好处信任”，一群正在公司没有经济好处的人帮帮确保对强大AI的热情永久不会压服平安方针。
施密特确实投资了Anthropic，但最后的1。24亿美元资金次要来自取“无效利他从义”(EA)活动相关的来历。EA的是成功人士应将收入用于慈善。现实上，EA人士热衷于特定事业，包罗动物、天气变化、以及AI可能对人类形成的。
本文讲述了几个创始人从OpenAI出走，带着一套“AI必需讲”的，创立了Anthropic这家公司，并培育了（他们说的）“AI界最正曲的”Claude。
1、差同化定位决定空间：Claude分歧于ChatGPT的产物性格设想，让它获得了特定用户群体的喜爱。创业者应正在产物设想中注入奇特征格或特征，避免成为市场带领者的简单复成品。
Claude仍是公司非的内部沟通从管。每天晚上，员工能够正在名为“Anthropic时报（Anthropic Times）”的企业Slack频道，阅读由环节对话片段构成的通知布告，Claude是这份日报的记者、编纂和出书商。
5、过度抱负从义需圈套：创始人的AI乌托邦愿景取AI对齐伪拆的现实构成明显对比，提示创业者正在押求弘大愿景的同时，需要连结和务实。
另一位研究员说：“所以概况上看，我们似乎能够设想模子，让它关怀我们但愿它关怀的工作，但现实并非如斯。”这就是终极恶梦——机械概况上充满爱的膏泽，却暗藏有毒行为，曲到为时已晚才被发觉。
大约正在那时，山姆·奥特曼找到阿莫迪，谈起一家努力于平安、地建立AGI的创业公司。阿莫迪加入了后来成为传奇的Rosewood酒店晚宴，山姆·奥特曼和埃隆·马斯克向风投人士、科技高管和AI研究员推销他们的设法。“我没被，”阿莫迪说，“我反而愈加思疑。由于他们的方针对我来说不清晰，感受更像是名人科技投资者和企业家的，而非AI研究者的。”。
Anthropic种子轮的次要投资者是EA支撑者Jaan Tallinn，这位爱沙尼亚工程师因建立Skype和Kazaa赔得数十亿美元，并将资金和精神投入一系列AI平安组织。正在第二轮融资中（资金池增至5亿多美元），次要投资者是EA者（现为被罪犯）山姆·班克曼-弗里德及其贸易伙伴卡罗琳·埃利森。（班克曼-弗里德的股份正在2024年被出售）另一位晚期投资者是Facebook结合创始人达斯汀·莫斯科维茨，他也是EA的鼎力支撑者。
谈起Anthropic的降生，Daniela记得2021年1月拍的一张照片，这群“潜逃者”初次正在阿莫迪后院的大帐篷下堆积。前谷歌CEO埃里克·施密特也正在场，倾听他们的创业构思。所有人都戴着新冠口罩，外面大雨倾盆。几周内，又有十多人从OpenAI跳槽到这个新合作敌手。
阿莫迪催促OpenAI的同事们不要当即发布完整模子。他们同意了，并正在2019年2月公开了一个更小、能力无限的版本。他们正在博客中注释说，这种是为了树立AI范畴“负义务行为”的楷模。阿莫迪说，“我不确定这个模子能否，但我的感受是我们该当做些工作来标明——清晰表白这些模子可能有。”几个月后，OpenAI发布了完整模子。
2014年，他插手百度公司的美国研究尝试室。正在吴恩达的指点下，阿莫迪起头理解计较能力和数据量的大幅添加若何发生质的飞跃。其时已有人担心这些系统对人类的风险，他最后也持思疑立场，但2015年转投谷歌后，他改变了设法。“以前我想，我们又不是正在制那种系统，能怎样样呢？但现正在我们确实正在制这些系统了。”！
