私有化部署模型,正在变成一件平常的事。要让它在整个机构里安全运行,则不然。
Apple、Microsoft 与开放模型生态都在把私有推理变成基础设施,我们预期这个趋势会继续。我们不打算在硬件上跟他们竞争,也不会假装我们在竞争。
不会被商品化的,是模型周围的一切:一次请求可以读取哪些记录、谁有权提问、任何内容保留多久、每一项输出都需经人工审核,以及答案最终落在哪一段工作流程里。这才是我们建造的部分。
在您认定一台笔电就够用之前,有两件事值得知道。
上下文长度。Apple 设备端模型的上下文窗口为 4,096 个 token,输入与输出共用;Private Cloud Compute 提高到 32,000,同样共用。这些长度足以处理一份文件,但不足以一次读完两年的个案脉络 —— 而那正是最能替团队省下时间的工作。这不代表在贵机构自己的硬件上做不到:检索、分段处理,或改用上下文更长的本地模型都办得到。它代表的是:检索方式、权限、保留规则与审核步骤,仍然需要有人设计。模型只是问题的其中一环,不是全部。
一个人不等于一个机构。Microsoft Foundry Local 的官方文件说明,它是为单一用户的个人设备而设计,多用户的情境应改用服务器端方案。设备端模型给一位同工一个私人助理;它不会给整个机构一份共享、受治理、可稽核的记录访问权限 —— 附带角色权限、保留规则,以及董事会可以查验的稽核轨迹。
我们在自己的场地自建并运营 AI 服务器,让贵机构不必自行处理这件事。若贵机构希望跑在自己的硬件上,或跑在同工手上已有的设备上,我们也一样协助 —— 并会坦白告诉您,三种方式中哪一种真正符合贵机构的治理要求。
我们自建 AI 服务器,让敏感对话、个案数据与会议纪要可以在我们的受控环境中处理,减少将敏感信息发送至外部 AI 服务的需要,并降低某些可能危及弱势或敏感群体的数据暴露风险。
这是一条路径,不是绑约。许多客户从订阅开始,待治理需求收紧后再迁移至自有基础设施 —— 我们以透明方式为这一过渡定价。
路径 1 是 Trellistry Operations · Private AI —— 平台的第六个模块。路径 2 与 3 属于 Trellistry Private AI Services:不含 Operations 订阅、单独出售的能力建设与专属部署。因此购买专属部署并不等于购买平台授权。
由我们运营、套用您的政策的受治理环境。
建立您自己的能力 —— 服务器、工作站,或您已拥有的设备。
客户自有的基础设施,适用于治理要求如此的机构。
主流供应商的滥用监控流程在默认情况下可能保留输入最多 30 天。若此期间发生泄漏或恶意访问,内容仍然暴露。
OpenAI 于 2023 年 3 月披露一个软件漏洞,部分 ChatGPT 用户可看到他人的对话标题。
荷兰数据保护局已警告,将个人数据输入 AI 聊天机器人本身可构成或导致个人数据外泄事件。
2026 年 3 月 LiteLLM 供应链入侵导致超过 2,500 个组织的重建暴露数据集。新加坡相关实体,包括上市公司和金融行业企业,出现在重建数据集中 —— 属潜在暴露,并非已确认的入侵。
同行评审研究表明,语言模型可以逐字记忆并再现训练数据,包括个人身分信息。将模型介导的个人信息泄露描述为“纯属假设”是错误的。
这些都不意味着 AI 不可用。它意味着“内容在哪里被处理,谁能看到”这个问题必须有答案。这就是我们存在的意义。