Evan Conrad谈SF Compute的可编程数据中心与GPU算力物理交割
The Programmable Data Center — Evan Conrad, SF Compute
Evan Conrad说明SF Compute已用物理交割交付可交易GPU算力,并把数据中心虚拟化为可编程设施。订单簿上已有总产能的5%,客户花100美元买入的产能平均能再售收回25美元;集群融资周期为3到5年,也可买入从当下到未来3年的容量。公司不持有硬件以保持中立,客户可即时切分InfiniBand fabric,累计成交量为数亿美元。
本段录制于AIE NYC 全新 Compute Trading 专题的间隙。下一站请在AIE CODE与我们相见,这是我们面向全球顶尖 agentic 工程师的最后一场旗舰活动。
在云计算早期,前嘉宾 Martin Casado 做出了一项极具颠覆性的成果,以至于 Cisco 感到威胁,愿以 $600m 收购,而 VMware 则以 $1.3B 出价更高:
这一概念就是软件定义网络,它通过将控制平面与数据平面分离,实现了路由网络的虚拟化。这场革命如今正降临到 GPU 上——过去自建超算集群需要预先投入 $50-100m 才能拿到承诺,并完成从硬件到固件再到内核的整套技术栈,而SF Compute 如今让你不仅可以买卖现在和未来的 GPU 小时,还能以编程方式控制从网络到内存的一切。
我们上次与 Evan 谈的是算力商品化。在 AI Engineer New York,我们更进一步:实际交付一份 GPU 合约需要什么,以及算力市场要变得具有流动性,必须先满足哪些条件?
从卖一间房到经营整家酒店
Evan 用酒店作类比来描述 SF Compute 的扩张。客户想要一间房,接着又要求清洁、客房服务和安保。最终你会发现,交付这间房意味着经营整家酒店。SF Compute 起初只是试图转租一个集群;此后公司已经建立起云的大部分运营能力,以交付在其市场上交易的算力。
这项工作是实物交割:买方得到的是可用算力,而不只是对照某个指数的现金支付。它把集群的物理约束带进了市场本身。工作负载能否被中断?从存储恢复需要多快?它需要哪一代 GPU、怎样的网络和软件配置?这些细节既影响合约,也影响价格。
让算力可交易
SF Compute 并非等待每个 GPU 集群都变得可互换,而是匹配带有不同约束的订单。Evan 认为,这使得技术仍在变化时交易也能进行,代价是流动性被分散到更多变体上。我们还讨论了现货与远期定价、批量推理与实时推理,以及为什么指数会与实际购买算力的成本脱节。
独立性是 Evan 关于市场运营方这一主张的核心。他认为,拥有大规模硬件或推理业务的公司存在激励,使其更难运营一个中立的交易所。我们还谈到了不那么光鲜的工程工作:实地考察、设计集群、运行背板,以及让基础设施可编程。接近结尾时,他以能够即时细分 InfiniBand fabric 为例。
嘉宾: Evan Conrad,SF Compute 首席执行官。
节目笔记
时间戳
0:00 — 为什么 NVIDIA 做不了这个?
0:25 — 欢迎回到 Latent Space
2:23 — 从卖出一间房到经营整家酒店
3:47 — 实物交割:真正交付算力
6:00 — 流动性与 GPU 订单簿
8:42 — 交易非标准算力
10:00 — 中断并迁移工作负载
12:20 — 硬件同类组为何重要
14:32 — 算力合约的期限能到多远?
16:19 — 批量推理租约与实时推理租约
17:58 — 算力价格的形态
20:33 — GPU 代际、规格与 SKU
23:30 — 实物交割与现金交割
27:00 — 正在兴起的算力市场生态
29:03 — 交付一个 GPU 集群需要什么
32:24 — 主权算力
33:26 — 为什么 NVIDIA 打造不了这个市场
34:48 — 可编程的数据中心
文字稿
自动生成的文字稿,经轻度排版;发言人标注尚未核实。
00:00 NVIDIA 显然就像房间里那只 800 磅的大猩猩。他们为什么没有做出 SF Compute?所以我们的印象是,NVIDIA 做不成这件事,但它若存在,NVIDIA 会从中获益巨大。他们做不成的原因是,那样他们就不够独立,人们不会在上面进行交易。
00:25 总之,Evan,欢迎回到 Latent Space。谢谢。所以,欢迎回到 AIE。其实是第一次来 AIE。我想是的,对。这一场很特别,因为我觉得你做算力交易、算力市场已经有一段时间了。现在感觉正当时。对。Jump 基本上宣布他们要进入算力市场,所以我很兴奋,想把相关的人聚在一起。你见了 SemiAnalysis 的 Oliver,按我的理解,他基本上是在开始覆盖算力市场。所以大家会去看你的演讲。
01:00 我觉得它很好地解释了你的起源故事、你为什么需要存在,以及你在攻克的所有难题。对。以一种非常简单、吸引人的方式完成的。我很嫉妒你的写作功力,因为你展示了你在 New Reps 展示过的那份传单。对。我当时就觉得,它相当直白、简单,而且很好。对。所以总之,恭喜。谢谢。我很感激。也恭喜 AIE。看起来你们势头正盛。我们势头正盛。我刚从明年 AIE 的场地参观回来。那你有什么提示吗?在 Javits Center。就是他们办 Comic Con 的同一个地方。好。哇。
01:35 哇。哇。该死。但我觉得金融这个焦点真的打动了大家。对。所以我们打算试着拆分开。就像这次,我们在这里把所有东西都笼统归到金融里。比如你的金融、他们的金融,保险也是金融,但它们全都超级不同。对。所以我们以后可能会把内容拆得更细,因为人们想深入对冲基金、银行业或个人财富。对。尤其是在纽约。对。Anthropic 当时就像说,对,我们现在全心在做 RIA。对。RIA 就是注册投资顾问。是的。跟你完全不同。
02:10 不,不,不。我知道这件事。对。对。好的。所以对于不了解的听众来说,我们两年前做过一期播客,你当时谈了你的,你知道,SF Compute 当时在哪里。嗯,今天你,你更多地处于一种实物交割的状态。你在谈,你在谈你的,你的背板织物,或者该怎么叫?呃,背板。背板。对。这显然需要大量硬核的工程工作。对。嗯,你能给个现状更新吗,比如,和两年前最后一次在播客上听到你的听众相比,SF Compute 现在在哪里?所以,呃,我们刚开始时,我们是这家叫 Junark 的公司,然后我们只是想转租我们的集群。
02:45 嗯,我们是从技术栈的那里开始的。嗯,一种理解方式是,这就像你在一家酒店里,你想卖掉那间客房。然后有人问你,嘿,比如,你会打扫我的房间吗?嗯,然后你说,哦,我想我大概也需要那间客房。或者说我需要,嗯,清洁间。于是你去获得清洁间的使用权,然后他们想要客房服务。于是你获得厨房的使用权,然后,你知道,他们想要,嗯,安保。于是你获得安保间的使用权,你拿到这个,你做那个,你做这个。到了某个时刻,你就是在经营整家酒店。嗯,而就在你经营整家酒店的那一刻,你说,哦,等一下。
03:21 嗯,相反,我在这个市场上的供应商,嗯,是一个看起来更接近于一只基金的人,嗯,或者一家云,在我们的情况下,是一家能够接入数据中心的云。而我们要更上一层。所以过去几年我们一直在做的,是构建一家云的全部运营能力,嗯,以便提供,以便真正以可靠的水平交付,呃,算力。嗯,我们把这称为实物交割。我们借用的是期货市场里的一个术语,来自期货市场,来自其他市场,嗯,在那些市场里,你知道,
03:57 石油或大豆之类的,实物交割意味着石油和大豆会被交付给你。对。嗯,但是,嗯,在某些市场,嗯,比如石油,还有电力,嗯,石油方面有一种交付网络。你必须有管道。如果你希望石油被交付给你,就必须有一条途径让它到达你那里。对。嗯,还有金融,对于对金融史感兴趣的人来说,COVID 期间油价变成了负数,因为,呃,所以就像我会付钱让你把石油从我这里拿走,因为它就停在港口那里。呃,而且,我付不起这个。
04:32 对。所以我会付钱让你拿走我的石油。对。这就是实物交割的那种怪异之处。对。其他市场里也有一大堆类似的怪异之处。所以在电力市场和电网里,嗯,你填写的订单中有些部分,那些买单和卖家,嗯,之所以在那里,是因为锅炉需要一段时间才能冷却。嗯,而且你可以,你知道,停掉锅炉,然后在某段时间内再把它重新启动。所以这一点必须被纳入订单簿。嗯,这类事情在算力市场里也同样发生。所以我们共同设计了实物交割和订单簿,在
05:10 同时。这意味着我们得以真正应对算力的现实约束,其中可能包括类似这样的情况:哦,我可以接受被中断,但前提是那东西上有存储,让我能很快恢复。嗯,非常相似的问题类型。是的。所以,呃,大家可以去看你的演讲,你也已经做过几期其他播客了。嗯,所以我想做的是那种 201 级别,而不是 101 级别。当然。呃,而且因为我,我是,我曾经是衍生品交易员,所以我可以给大家多讲一些你通常不会深入的细节。嗯,所以比如说,那么,算力有多成熟、多深或多有流动性
05:45 市场今天?呃,并不是很成熟、很深或很有流动性。好的。所以我们一直在做的是,首先我们必须,我们必须先把一大批供给上线,而这本身就需要一段时间。然后我们必须搭建整个平台才能做这件事。嗯,而我们刚刚才让它跑起来。所以现在我们把,嗯,产能转移到订单簿上,嗯,这让它变得有流动性。嗯,所以我们总产能的 5% 在订单簿上,而且我们在持续把越来越多的产能转过去。然后我们还在引入更多产能。那些全都在订单簿上。嗯,好的一面是,嗯,也许我应该说,实际订单簿上的成交量很小,但,
06:21 嗯,订单簿上的流动性很高。所以对于你拥有的那一小部分产能,嗯,你拥有,嗯,非常集中的流动性。所以,嗯,我会说,对使用这个的人来说,一种标准指标是:一位客户从我们这里购买产能,他们花一百美元买下那部分产能。我们平均能通过把它再卖给别人赚回 $25。嗯,而这就是我们,或者说这是我们试图追踪的指标之一,因为我们希望流动性对商业参与者有用,而且你可以用很多不同方式衡量流动性。你可以说,比如,我只是想要大量的做市商之类的。
06:56 嗯,你也可以用那种比较高屋建瓴的方式来衡量它。我们试图这样衡量:这是否在为客户解决问题,嗯?是的。明白了。所以,呃,上次我们聊的时候,也有很多关于合同的,呃,关于标准化合同的讨论。是的。比如和,呃,CFTC 之类的机构谈,那些事情现在进展如何?嗯,所以我认为总体上标准化合同仍然还相当遥远。嗯,而当时我们试图做的是,嗯,或者说过去几年我们基本上学到的是,我们只需要
07:31 把整件事运营起来。否则你就无法把这件事标准化。所以要更接近某种可以被标准化的东西,你首先需要让这件事的所有操作都一样。对。举一个可能存在差异的例子:单个运营商可以提供两种不同类型的虚拟机。一种虚拟机,嗯,相比另一种虚拟机,可能会有 40% 的性能,嗯,下降。而 40% 是很多的。当你说性能下降时,你指的是像 MFU 这类东西,还是你经历过的 burn-in 程度,或者什么?它会有影响。所以在这个具体情况下,我说的是 GPU kernel 启动,以及那需要多长时间。
08:07 嗯,这是一个在你进行训练或推理之类操作时相当频繁发生的过程。嗯,那个,嗯,呃,那基本上,最终结果是你会得到更差的 MFU,但是,嗯,就像是中间层级。基本上就是中间层级。是的。是的。所以,所以我想,所以对于任何以前交易过大宗商品的人来说,商品有不同的等级。是的。对。就像,它不是石油。它是轻质低硫原油,相对于轻质低硫原油的反面之类的东西,或者就像,你知道,呃,玉米 A 级或玉米 B 级之类的。呃,所以人们试图,嗯,你必须建立这些东西的等价物。正确。是的。我想知道它们是否已经被确立。
08:42 所以我们改为做的,嗯,是创建了一个具有多种不同约束的订单簿,你可以说,我想要,嗯,你知道,介于这个和那个之间的某种东西。嗯,它从这一时间运行到那一时间。嗯,就像,呃,从 X 到 Y,有一堆不同的属性可以附加到你的订单上。然后我们在一个大型撮合引擎中,嗯,将其与具有这些属性的卖单进行匹配。嗯,我们这样做的原因是,它让我们能够产生流动性,而不必在知道技术能做什么之前就进行标准化。嗯,而且因为技术变化得如此之快,嗯,我们基本上希望能够做到这一点。这样做的权衡是,你会有更不集中的流动性。
09:18 所以价格将会有,买卖之间的价差会更大。是的。嗯,这很糟糕。是的。但另一方面,这意味着有很多套利可以做,嗯,如果你能正确地做到这一点。所以如果你有一个可以使用很多不同类型容量的产品,嗯,那么你可能会非常喜欢 SF compute,因为你将能够使用很多不同类型的容量,并且你会赚更多的钱。嗯,你可以赚取价差。好的。在这个事物网格中,哪些维度重要?嗯,有很多不同的东西。嗯,一个是我会说的维度类别,就像,是否有一个
09:53 工作负载此刻正在它上面运行,还是未来的容量?当然。它是此刻的容量吗?嗯,此刻的容量,为了让你卖掉它,嗯,你必须中断你当前的工作负载。所以你必须思考,我在不在乎我当前的工作负载是否被中断?已经售出、从一个月后开始的容量,嗯,你可以随时买卖它。所以你,嗯,很容易在那上面获得流动性。嗯,有一些担忧,比如,哦不,我下个月有容量,但这与你此刻正在中断一个工作负载非常不同。嗯,中断发生的方式很重要。所以一个例子是,如果你在一个集群上,而这个集群没有你想要的那么出色的存储。嗯,所以一个例子就像,底层有没有 Weco 或 Vast 系统?
10:31 嗯,你们提供这个吗?还有,它的规模有多大?嗯,这会改变你在被抢占或被移出集群时的应对方式。同时,存储的位置也很重要。所以,嗯,如果你能把那些数据从一个集群快速迁移到另一个集群,那么也许你就能分散到多个不同的集群上。嗯,你可以在这边被中断,然后在那边重新起来。嗯,要让这套做法可行,你还需要一条从一个集群到另一个集群的快速传输路径。通常这是用 WAN 实现的,但这些集群大多数并不
11:06 必然具备,嗯,那种广域网。对。广域网。所以基本上就是把各个集群连接在一起的线缆。也可以把它理解成一种私有互联网。呃,如今正在搭建的很多集群是这样的,它们并不像传统 CPU 集群那样为了延迟原因而靠近客户。对于 GPU,它们靠近电力,嗯,也就是说,你知道,你会把数据中心建在电力旁边,而不是客户旁边。嗯,这意味着很多东西被放在了以前人们并不预期那里会有数据中心的地方。
11:41 所以你可能没有,嗯,那么出色的、从一个到另一个的传输路径。所以这一点开始变得重要。嗯,其他例子是,嗯,一些奇怪的情况,我们理论上支持,但实际上并不,嗯,呃,就像这是我们在考虑、但基本上还没做的事情。嗯,早期的 GB 200 坏过。早期的 H 100 坏过。嗯,所以如果你当时在买 H 100,或者你在买 GB 200,你可能真的会想要在某个时间点之后部署的那些,因为你不想拿到刚下产线的第一批有问题的。
12:16 所以如果你是非常老练的客户,你可能愿意为此多付钱,嗯。哦,所以这关系到它们属于哪个生产批次,而且它们会随着时间变得更好。所以,呃,刚下产线的第一批也许有一些故障或问题。对。所以如果你拿到的是第一批,嗯,或者是它们第一批出货里的那些,嗯,那是的,它们会以某种方式出问题。我猜这个过程大概是,你看,缺陷到处都有。就是,它就是会发生。对。完全没错。所以就像你从 TSMC 之类的地方拿到一批新货,然后你就跑测试,然后你弄清楚
12:53 哪些是坏的,然后把它们扔掉。不就是这样运作的吗?而我之前并不知道这种分批次的因素,比如说 2026 年 Q4 的,呃,B300 会比 2027 年的 B300 差得多。是的。所以,嗯,我举个例子。嗯,你描述的是老化测试。对。所以当你拿到一个集群时,嗯,一家好的云厂商会做什么。它会试图把所有 GPU 都跑挂,嗯,在它们交到客户手里之前。嗯,然后,嗯,坏掉的 GPU 或坏掉的节点,嗯,你会去做 RMA。你基本上就是去申请。对。你把它退回去,再拿到一个新的,这会有交货周期,但是
13:30 不管怎样,你会拿回一些,你会拿回一些。嗯,然后客户就永远不必经历这些。嗯,我指的是,嗯,比如早期的 H100,有一些固件 bug,甚至可能跟具体的那个无关,比如它们可能不是 NVIDIA 的。可能是 Super Micro 在你买的那台、嗯、机器里有固件 bug。嗯,而且这适用于所有机器,也没关系。比如,嗯,解决办法是你得让他们更新固件。嗯,或者他们需要在每一台新机器里出货一个新的东西。
14:07 是的。我们拿到的那些、那些 B300 就遇到过这种情况。嗯,IQ 不得不用 Devin 去修复它。对。很好。所以像这样不同类型的问题都可能发生。有意思。好的。所以我在想,好吧,你看,跟整体比起来这似乎很小。比如,我只是想,比如,我想让人们理解这个市场的形态,嗯,你提到了抢占,你知道,而且我们谈过竞价实例,以及那个、那个类比是怎样的。是的。然后还有,你知道,提前一个月预订。这些、这些市场能延伸到多远?对你来说,实时或者说抢占更有意思,还是,
14:42 更远、更远期的?嗯,回答你的第一个问题,三到五年。嗯,哇。我们开始看到了。按月还是按季度,还是怎样?你是在问现金流是怎么运作的吗?比如那些合约,比如那些期货合约,对吧?再说一次,我以前是合约、呃、衍生品交易员。在、在市场本身里,嗯,就像在更广泛的市场里。是的。集群的融资期限是三到五年。好的。嗯,所以那些付款完全是在那段时间里进行的。是的。我们的订单簿里也有一些容量区块,嗯,可以延伸到任意时长。是的。关于那方面的现金流,有一些事情我们必须做,嗯,
15:18 现在。我们的做法就是只要求人们为一个区块全额预付。嗯,对于租约、对于更长期的合约,我们不要求他们那样做。这就涉及到一件我绝对需要白板才能解释的事情。嗯,但是,嗯,你还有另一个问题我正要回答。我忘了。你想要实时,还是你想要,比如,你更想要,呃,对你来说什么更有意思?实时还是长期、更远期?所以我们更关心更远期的,因为我们试图构建一条上面有大量流动性的远期曲线。嗯,这些某种程度上是同一件事,某种程度上又不是。嗯,所以我们的做法是,我们,既然
15:54 一个,你可以买一小时之后的,你可以买从现在到下一个小时,也可以买从现在到未来三年,以及其间的任何时段。这太疯狂了。我知道。嗯,所以,嗯,你知道,或者如果我,严格来说你,嗯,会有某种差异发生,这取决于每个客户。基本上,比如如果我有一个工作负载,嗯,呃,基本上是批量推理,我可以在任何时刻被中断。我其实并不在乎。嗯,那么我能够被
16:29 被中断,嗯,大概是这样:我需要一个小时的时间来知道,嗯,我将被中断,然后我就没问题。或者甚至提前,你知道,一两分钟通知我也可以。嗯,但如果我有,嗯,实时推理客户,他们期望我保持在线,嗯,那你可以中断我,但要提前一个月,也许两个月,也许三个月。嗯,然后我可以在那段时间内适应那个容量。嗯,但你不能在一分钟内中断我。嗯,所以这两件事的定价是不同的。而它们定价不同的原因在于,那个价格是多少
17:05 你愿意为中断你的批处理作业支付?这和你愿意为中断你的,嗯,实时作业所支付的价格非常不同。如果你有实时作业,你对客户违约时,大概要按 SLA 赔付。嗯,这说得通吗?是的,我明白了。所以这实际上是违约解约的市场。这些就是违约解约的市场。我的天。然后还有未来租约的市场,或者说那些,嗯。哦,我以为这像是转租的情况。这像是提前解约。所以一种理解方式,嗯,是在电力市场里,实际上有两个市场。嗯,有日前市场,以及
17:40 还有实时市场。算力差不多也是这样,嗯,它有即将上线的容量,嗯,或者即将,嗯,交付给你的容量。嗯,然后是当前正在使用的容量。而这些有着不同的价格动态。好的。有意思。是 backwardation 还是 contango?是 backwardation 还是 contango?对。所以,呃,更远期的算力价格是高于现货还是低于现货?嗯,更远期的算力价格呢?它是,它是这样走吗?它是那样走吗,呃,你知道,比如在一年、一年后、两年后?
18:16 会。哦,这是,呃,在不同时间两者都有。我觉得你居然不知道,这很有意思。是啊。我是说,两者都有。这取决于你是谁。嗯,好。所以,呃,我来说明一下。嗯,等等,所以你问的是现在出售的算力?今天同一单位的算力。对。呃,也许不是今天,也许是一个月后对比一年后对比两年后。那条,那条曲线是往上走还是往下走?我们看到,像一个驼峰。我的天。好。所以解释一下,嗯,比如,我觉得这会很直观,基本上就是如果我有牛奶而且它快过期了,我会降低它的价格。对。嗯,所以这基本上就是我们看到的。
18:52 这就像,这基本上就是 Nvidia 的发布周期,对吧?呃,嗯,我们更多是在说,如果有一块算力正在临近现在,嗯,它没法在过去被卖掉。所以它必须降价,才能以某个价格出清。对。所以一开始你会看到这种下跌,嗯,现在卖掉的东西,现在市场上的任何东西,嗯,都是还没被卖掉的东西。因此价格会下降。嗯,然后它会上升,嗯,升到它想要到达的位置。嗯,然后也许未来的算力更不值钱,嗯,因为人们不想要,就像人们更想要现在的算力。所以他们某种程度上是在为更短的前置时间付费。嗯,而对更远未来的算力,他们付得更少。
19:28 我觉得一条正常、健康的曲线看起来是这样。对。让我忍不住觉得“天哪,这不是明摆着的吗”的地方是,嗯,就是,嗯,现在如果你拿一块 B300 来跑推理,嗯,把它作为推理卖出去,每小时大概能赚 $40 左右。基本上任何模型都行。嗯,所以那是按 100% 使用来算的,如果你只有大概 50% 的利用率之类的,那就是每小时大概 $25。对。所以是每小时 $25。与此同时,你可以以大约每小时 5 到 $6 的价格买到 B300。这两个数字总得有一个要变。对。这是巨大的套利。巨大的套利。你在演讲里经常讲这个。
20:04 对。所以,嗯,基本上有一堆人在看这个,并且在想,嗯,如果我认为价格会上涨,我未来可能愿意支付比我之前所想更高的价格。嗯,因为我可能会想,好,我现在能以 5 买到,但如果以后再也买不到了,那也许我愿意在未来买得更多,只是为了锁定它,如果它要到以后才上线的话。所以我们也看到了另一面。嗯,这有点取决于你是谁。酷。所以,这样可以吗。而且,而且我真的很想把这一点说得超级清楚。当然。你们在意芯片的不同代际吗,还是你们只在意总体的 flops,然后把它分摊到你们想要的任何芯片上?
20:40 呃,我们在意不同代际的芯片,因为。你们在意。我觉得,我只是,我猜你们的客户在意吗?在意。对。哦,等等。当你说不同代的芯片时,你的意思是像。所以像 B300、B300。没错。对。或者甚至像 AMD 之类的。对。呃,是的。我觉得人们完全在意芯片的代际。嗯,呃,我觉得部分原因是像 VRAM 这样的东西。嗯,还有部分原因是像,嗯,更大的 NBLink 域。对。以及诸如此类的东西。所以根本没办法把这一切抽象成某种通用的计算单位,让你可以随便揉来揉去、随你喜欢。我觉得就像你说石油的时候,连石油也不是同一种石油。石油实际上就是一大堆不同类型的石油。
21:16 对。比如航空燃油或者汽车燃油,随便什么。我觉得是一回事。嗯,你会得到一大堆不同类型。是这样,但你有炼油厂。对。实际上可以有黑箱。你可以把石油放进去,然后得到差不多任何东西出来。嗯,如果是算力,它是如此异构,我想这个词就是这个。以至于你不得不把底层的复杂性暴露给你的终端客户,而这对作为做市商的你来说是坏事。也许吧。就像你想找出那一个瓶颈点,或者,我不知道瓶颈点有没有更好的说法,就像一个谢林点,大家都同意,好,这差不多就是标准,我们都会同意这个标准,呃,你知道,它会
21:53 会有些低效。对。呃,所以我们已经能够把,嗯,这些问题降低到一定程度,但没错。就像你的工作就是降维。对。我们降低了很多维度,但尽管如此,仍然还有维度。对。它仍然会存在。你,你知道你们有多少个 SKU 吗?所以,嗯,像是 5 乘以 100 再乘以像 5,000 等于,我不知道。像是什么,我们实际上把 SKU 做成了一个概念,嗯,而且目标是让别人也能做出自己的 SKU。所以如果我想买 Blackwells,我可以说我愿意
22:31 以每小时6美元或更低的价格购买Blackwell。你可以把我跟GB300匹配,也可以把我跟B300匹配,我不在乎是哪种Blackwell,只要每小时低于6美元就行。但你刚才说你在乎内存和其他东西。完全是这样。但并非每个客户都这样。所以有些客户,嗯,只要能在Blackwell上跑就行,不管是哪种。有些客户则超级极其具体,他们需要的就是这个确切的东西,而且他们会为此付更多钱,因为市场会向他们收取更多。好的。嗯,这就是我们所做的。所以,于是人们用你们的API以编程方式定义他们想要的东西,然后你们再把这与任何卖家组合匹配起来,呃,他们可能、他们可能、他们可能能够履约。
23:08 是的。嗯,有一个保留:拥有命名查询是我们正在做的一件新事。嗯,但查询系统作为一个概念,就是订单簿目前的运作方式。好的。有意思。嗯,好吧。所以,呃,你知道,我、我觉得这就像很多,我想,很细碎的细节。有没有什么,我想,是你想向人们讲解的,无论是金融人士还是工程师,关于算力交易市场的现状,按照、按照你们把它发展出来的样子?因为实际上是你们在定义它。嗯,主要就是对实物交割的要求。是的。嗯,我们认为,如果你,我们、我们花了三年时间才弄明白为什么你需要
23:44 实物交割。嗯,而且,嗯,我们今天的整场对话就是在说,嗯,这些东西并不像你以为我们会努力让它们变得可互换那样可互换。那是这个行业要做的事。嗯,但如果没有这一点,你会冒很多风险。嗯,如果你试图在你、在行业有时间把,嗯,实物交割建设起来之前,就构建,嗯,过多的金融化。嗯,我认为你所拥有的是一个非常容易被操纵的市场,以及一个存在大量基差风险的市场,在那里,嗯,你可能正在对冲的价格实际上与
24:22 那个价格毫无关系,嗯,也就是你实际上能买到该容量的市场价格。是的。所以对听众来说,呃,我们、我们上次简短谈过这个,但是,嗯,人们常常震惊地发现,比方说信用违约互换市场的规模是它们所承保债券规模的12倍,呃,差不多是这样,或者像,呃,抵押贷款,嗯,某种再保险市场,或者,呃,所有这些都、都大于底层的实物交割。所以这就是为什么要区分实物结算与现金结算。是的。而且,而且基本上现金结算就像恰好是你在《大空头》里看到的那种,呃,边注,嗯,在那里,呃,他们,
24:59 他们可能,呃,可能与底层事物本身有关,也可能无关。而且它可能、可能被用作整体上其他东西的代理。是的。就是那个,而你不希望那件事失控。是的。所以明确地说,我们认为,嗯,现金结算作为一种未来概念是个很好的主意。是的。嗯,我们只是认为它应当衍生自实物交割。是的。因为正如你所说,它是一种边注。嗯,而且这会有点像如果你,我的意思是,有点像如果你在做出实物交割之前就做出了未来的现金结算,嗯,我觉得人们已经有点在这么做了。是的。完全是。人们试图在你做出实物交割之前就在这上面赚钱。而且人们对各种各样的事情都这么做,包括
25:34 初创公司股票。是的。对。比如你可以买卖一份虚构的 OpenAI 股份,但它和实际股份毫无关系。是的。嗯,而且很多这类东西结局都很糟糕。嗯,比如如果你做了一个,嗯,如果你开始出售,嗯,一只还不存在的股票的衍生品,那会很糟糕。嗯,是的。是的。嗯,所以我的意思是,我们做的一件事,我以前是外汇交易员,对吧。是的。还有利率。而我们做的一件事是,有一个委员会聚在一起说,这就是伦敦银行同业拆借利率 LIBOR。是的。然后我们都同意,这就是、就是、就是月度定盘价,然后我们都
26:12 按那个定盘价交易。是的。呃,三年后的某个时候这甚至还有意义吗?所以关键是 LIBOR 曾被操纵。是的。我们目前的担忧。有 12 家银行?是啊。是的。嗯,我们的担忧是存在一个非常相似的问题,嗯,你可以操纵一个指数。嗯,我们的印象是,你之所以能操纵那个指数,是因为很多指数基于非常少量的数据,而这些数据,嗯,呃,与购买一份新预留合约的实际价格没有太大相关性。嗯,这就是我们担心的。好的。
26:47 有意思。嗯,好吧。我想,我想这就是、就是、就是大致的状况。呃,嗯,我想今天另外的部分只是、只是,呃,你、你、你、你谈到了和 Jump 的一场活动,而且你、你和 Silicon Data 是朋友。呃,你从所有这些其他参与者身上学到了什么?比如你想点名哪些主要参与者,认为他们在做有意思的事情?哦。嗯,所以我们是 Silicon Data 和 Compute Exchange 的忠实粉丝。嗯,我认为他们在这方面也很早。嗯,而且我认为他们在一条路径上做了还算合理的尝试,我们认为,嗯,我们最终很可能会与他们成为合作伙伴。
27:23 嗯,你能区分一下你们、你们不同的路径吗?所以,嗯,大致就是他们做现金结算。我们做实物交割。嗯,我们认为两者都可以存在,也应该存在。嗯,而且它们某种程度上彼此互利。嗯,所以完全没问题。嗯,所以我认为他们是这个领域最早的参与者之一,而且我认为他们非常明确地押了注,嗯,远早于其他任何人。我认为这样做非常可敬。嗯,嗯,你提到了,呃,Jump。Semi-analysis、Jump。这些就是正在涌现的参与者。就目前来看,你是我第一次接触到这个。是的。然后,我看到所有这些其他人都进来了,我就想,好吧,这里正在发生一些事情。
27:58 我对这个格局的了解没有你那么清楚。是的。所以,嗯,我们看到的几类人是,有些人在试图制定更好的标准。所以我认为 Semi-analysis 正在努力创造更好的标准。嗯,有些人在试图做,嗯,残值保险等等。嗯,这个领域有许多不同的公司。我对它们都不太了解,但是,嗯,我知道,知道这是一个概念,而且我认为这很重要。嗯,有些人在试图做,嗯,呃,押金,嗯,借贷,比如他们会替你垫付云的信用风险。围绕我们如何解决算力的财务瓶颈,一个公司生态正在形成。
28:34 嗯,看到这个挺酷的。我觉得在这个生态里,你实际上想要的是买方和卖方。你想要分析师。你想要,呃,我们说过保险,或者,呃,那个叫什么,呃,残值。对。对。而且你,我们希望外面有这样一个健康的生态。嗯,但显然你们在扛下实物交割这个问题,这,这真的很有意思。嗯,好。所以,我的意思是,我们可以聊聊,比如那个,硬科技这一面,因为显然你们也在招聘,呃,极其厉害的工程师。对。描述一下你们的技术栈。嗯,我们做云所做的所有事情,但自己并不是
29:10 云。嗯,也就是说我们不拥有硬件。我们不拥有硬件的原因是,如果我们拥有了,我们就能够操纵远期市场。所以我们必须当瑞士。我们必须保持独立。嗯,这给这家公司带来了很多有点奇怪的事情。嗯,但为了做实物交割,你必须做现场走访。必须去数据中心看看。嗯,你必须,嗯,你必须设计物料清单,并确保,嗯,你基本上必须做类似供应链咨询的事,嗯,你要和不同的 OEM 建立关系,嗯,确保东西能够被交付
29:46 按时。嗯,然后你必须,嗯,做集群架构。嗯,呃,所以你算是在设计集群本身。嗯,然后你在,嗯,部署机架,或者你在和合作伙伴一起部署机架并监督这件事。嗯,然后你在做,呃,背板管理。所以你在接管那些,嗯,呃,PDU、交换机和 DPU,还有,嗯,UFM 和 BMC,并且你在运维,嗯,你所出售的节点周围的整套,嗯,配套系统。当你说「你」时,是指 SF Compute 的员工。对。哇。嗯,所以,呃,当你从云那里买一个节点时,嗯,有裸金属,但这一堆破事都在裸
30:23 金属周围。对。嗯,而为了让那个裸金属节点运转起来,你必须运维其他的一切。然后我们。因为我就是觉得,传统上数据中心的工作就是把其中一些从你这里抽离出去。对。做这件事的是我们。好。对。嗯,但你们不是,你们不在数据中心这门生意里。你们不是世界上那种 Equinix 之流。我们,我们算不上在做数据中心生意,嗯,我们所合作的是,所以我们提供超算即服务。嗯,这意味着人们会来找我们说,你知道,
30:58 我有 X,这里的 X 是,我有,你知道,这里有 X 兆瓦。有时候他们的意思也许是我有一个数据中心。嗯,就是那种,嗯,想把它变成一个 GPU 集群。比如我的选择是,我可以把 GPU 集群卖掉,或者我可以把数据中心卖给某个人,或者我可以自己成为云。然后我们去找他们说,太好了。嗯,我们会把你变成云。我们是超算那一部分。你是数据中心。我们合作吧。然后我们会去卖,我就能赚钱。嗯,有时候是一些人拥有可以变成数据中心的东西,这种情况下我们基本上会把项目管理做到那一层。
31:33 嗯,然后我们会和那些远的合作,我们会和那些人合作,把他们有电力的土地,嗯,或者他们拥有的任何东西,嗯,通过与合作伙伴合作变成数据中心。嗯,然后我们在超算部分接手。好的。这要求我们内部具备某种数据中心专业知识,但我们不自行施工建设。嗯,所以是的。是的。所以它,呃,有些模块化,因为你需要在不同的场景下运作。是的。呃,有人曾经把我们描述成,嗯,呃,像算力领域的 Palantir,嗯,因为这就像这些,每次都是一场新的牛仔竞技。
32:10 嗯,呃,但是,而且我们喜欢,我们,我们与人们深度合作。双方都是。是的。呃,而且主要是美国,主要是美国,但我们在世界各地运营。是的。到某个时候,SF Compute 会不会变成名不副实?呃,所以当,所以我们正在世界各地部署集群。是的。而当我们这样做时,我们是在与那些自己也试图在世界各地成为云的人合作。嗯,他们看起来像主权算力参与者。嗯,而我们对主权算力的说辞非常棒。呃,让我们帮你在自己的国家搭建一套云。嗯,而且我们会带来旧金山的承购量。我们会带来旧金山的专业知识。
32:45 我们会搭建这些集群。嗯,这就是我们的全部业务。啊,嗯,我们会做成的。你们主要的、呃、可以点名的、已经公布的最大合作伙伴是谁?嗯,没有我能点名的。真的吗?哇。呃,我们会有一些公告,嗯,在一两周内,嗯,我们预计会出来。是的。各种事情都算是。当然。当然。祝你好运。是的。不,我的意思是,呃,我,我认为这对每个国家来说真的很有意思,比如谁,谁在投资主权 AI,来把这件事搞清楚。嗯,而且有趣的是,SF 仍然有点像那个品牌名,而且,呃,那,那是,那非常好卖。
33:20 所以我认为有趣的事情之一,就是把这个市场想透。NVIDIA 显然就像房间里那只800磅的大猩猩。他们为什么没有做出 SF Compute?而且,答案又会是市场操纵。但让我们真正深入了解多个参与者的激励。是的。所以我们的印象是,NVIDIA 做不了这件事,但它的存在让 NVIDIA 受益巨大。他们做不了的原因是,那样他们就不够独立,人们无法在它上面交易。如果你不在它上面交易,那么就没有足够的流动性,让贷款方能够对照远期市场进行融资。
33:55 这也是为什么 Crusoe、CoreWeave 和 Lambda 做不了,为什么超大规模云厂商做不了,为什么 Base 10、Fireworks 和 Modal 做不了,因为他们在那一侧的需求太大。这件事惠及整个行业,因为它让融资成本下降。但除非放弃赚取所有大规模推理的钱和所有大型云交易的能力,否则没人能做成这件事。你必须毁掉自己的业务才能做成这个。这就是为什么没人做。从结构上说,他们并不是为做那件事而设立的。而你基本上是在减少摩擦,那就是你的全部收入。
34:30 你们已经宣布了一些里程碑。其实,我一开始忘了说。你能再重复一下它们是什么,并稍微庆功一下吗?我们已经达成了数亿美元的成交额。我们还有相当数量的新集群即将上线。然后,我认为我最兴奋的是,我们已经推出了一大批新功能,使 SF Compute 对平台即服务公司非常可行。一个例子是,我们允许客户细分
35:06 他们的 InfiniBand 网络结构,而无需向我们申请。很多云服务商,当你去购买时,只会给你一个 InfiniBand 网络结构。然后如果你想重新划定该 InfiniBand 网络结构的边界,你需要联系他们,然后他们再为你处理。我们现在可以为客户即时完成这件事,我认为这非常棒,因为它与市场衔接得非常好,你希望能够重新划分,以便对集群进行扩容和缩容。你会把这描述为你们正在将数据中心虚拟化并使其可编程吗?是的,我们正在将数据中心虚拟化并使其可编程。所以,如果你自己拥有
35:43 硬件本会得到的所有东西,我们都在尝试将其虚拟化,我认为这对我们来说很令人兴奋。有趣的是,上一次发生这种情况大概就是云计算,那真的很酷。然后最后,我认为你对人们的行动号召是什么?是工程师吗?是类似于把你的供给给我吗?到底是什么?如果你想拥有一个 GPU 集群,并且想从中获得残值,想把它纳入你的投资组合,我们很乐意与你合作来构建这个 GPU 集群。我们将接手,并负责其中的超级计算部分,并且
36:18 确保一切顺利进行。SLA 由我们负责。然后如果事实证明那是个坏主意、你需要退出该集群,我们可以立即把该集群卖给别人,这样它就不会影响你的资产负债表。非常简单的推介。好,非常感谢你抽出时间。你正在为这个行业做出巨大贡献,我很高兴能成为你的朋友。我很感激。好的。谢谢。就到这里。
来源:Latent Space · latent.space