生成式AI的快速的提升使得企业难以有效地实施和衡量这项技术，同时防范偏见和风险。

  企业要么已经部署了生成式AI、要么正在积极探索生成式AI的速度，正在加快达到一个基本上没有什么企业会拒绝的转折点上。

  2022年11月，还几乎没什么企业使用生成式AI，唯一可用的工具就是AI图像或者早期的文本生成器。但是根据IDC的调查显示，到2023年5月，有65%的企业正在使用生成式AI，而到了9月这一个数字上升至71%，另有22%的企业计划在未来12个月内实施生成式AI。

  根据IBM在今年1月发布的一份报告数据显示，即使在起步阶段，生成式AI也慢慢的变成了一种公认的行动和应用方案，最常见的用例包括IT流程自动化、安全和威胁检测、供应链智能、客户服务和网络流程自动化。另外，当你添加了ChatGPT等基于云的生成式AI工具时，以某种形式使用生成式AI的用例几乎随处可见。

  然而，再深入到难度更大一些的实施环境中，就可能会出现很多问题，例如微调模型、向AI系统提供上下文和最新信息的矢量数据库，以及将AI集成到工作流程中的API。构建企业级生成式AI平台就像要射中一个移动的目标，AI的进步速度远远快于他们可以适应的速度。

  卡内基梅隆大学人工智能教授Anand Rao表示：“这使得组织实施生成式AI变得充满挑战。不同的工具、模型和向量数据库持续不断的发展，新的论文不断涌现，这对企业来说很具有挑战性。他们要稳定。告诉我接下来三个月要做什么；不要每两周一切就都变了。”

  根据英特尔cnvrg.io在去年12月发布的调查的最终结果显示，由于这一挑战的复杂性，加上所涉及的成本和所需的专业相关知识，去年只有10%的组织实际上能够将生成式AI模型投入生产。

  但这并不代表企业应该坐等事情平息下来。为帮助重新获得主动权，现在能应用一些最佳实践来开始构建生成式AI平台——这些实践将使其能够随技术的变化而快速适应，包括构建强大的现代数据和API基础设施、在企业应用和他们使用的AI模型之间构建一个AI抽象层、设置安全和成本策略、使用护栏和道德框架来指导他们部署生成式AI的方式。

  “数据仍然很重要，”伦敦独立分析师和咨询公司Omdia的AI平台、分析和数据管理首席分析师Bradley Shimmin这样表示。然而，根据IBM的调查，数据复杂性是继缺乏专业相关知识之后采用的第二大障碍，对那些希望将大型语言模型投入生产环境的企业来说，基础设施是最大的挑战。

  另一个挑战是企业由于数据管理能力不够而不足以满足业务的需求。麦肯锡公司合伙人Nayur Khan表示，最重要的一个问题是大多数组织都没有计划。“他们尝试做一些事情，看看什么能坚持到底。”但随着生成式AI模型以服务的形式（例如OpenAI API）提供，在某些用例中，公司能够跳过去直接把AI部署为服务。

  Khan说：“现在生成式AI成为我可以调用的服务，我不用担心训练的问题，这很好，但是语言模型对于语言来说很有用，模型不擅长知识，”知识是存在于组织内部的。

  例如，一家零售企业可能拥有360度的客户视图，这些视图全部输入到分析引擎、机器学习和其他传统AI中，以计算下一个最佳行动策略，然后生成式AI可以用其向客户发送个性化的消息。因此，通用语言模型利用企业数据成为一种有用的业务工具，任何一个人都在尝试构建这种类型的应用。

  Khan说：“我在所有行业都看到了这种情况的发生，从高科技和银行业一直到农业和保险业。”他说，这迫使企业加快了数字化的步伐，解决所有他们说过要做但从未抽出时间去做的事情。

  企业不仅一定要具有基本的构建能力用于分析和MLOps，而且还需要专门为生成式AI构建新的数据结构和管道。

  当一家企业想要在特定领域微调模型或创建新模型的时候，就需要做出关于采用什么数据架构、采用哪种模型或者模型类型等等。全球数字咨询公司Publicis Sapient的高级副总裁Sheldon Monteiro表示：“这让复杂性陡然增加。”

  即使是一个较为简单的项目，比如向现有的AI模型添加外部数据源，也需要矢量数据库、恰当的模型选择和工业级管道。

  但这一切都始于数据，而这是许多企业落后的方面。如果没有单一的整体战略，每个部门都会制定他们自己的解决方案。

  Monteiro表示：“如果你这样做了，最终就会犯更多的错误，一遍又一遍地重新学习同样的事情，作为CIO，你一定要采取架构上的方法并且投资一个通用的平台。”

  然后是收集和准备数据这项艰苦的工作。他说，质量检查和验证，对于建立坚实基础来说是至关重要的，这样就不会引入偏见，从而损害客户和业务。

  因此，如果特定数据集排除了最高价值的交易处理，因为这些交易都是手动处理的，那么生成的模型可能会偏向规模较小的、利润较低的业务线。垃圾进、垃圾出，这适用于生成式AI的新时代，就像以前各种技术发展时代一样。

  Monteiro表示，对于已经投资了数据基础设施的企业来说，这些投资将在未来继续获得回报。他表示：“投资了数据基础的企业在生成式AI方面拥有巨大的领先优势。”

  尽管如此，这些最初为高级分析和机器学习用例设计的传统数据基础也只能走到这一步了。

  Omdia公司的Shimmin说：“如果你想超越基础知识这个层面，你就有必要了解生成式AI的一些更深层次的微妙之处。不同的嵌入模型之间有啥不一样的区别，什么是分块，什么是重叠？你能够正常的使用哪些不同的方法以最有效的方式对数据来进行标记？你想要高维的还是低维的方法来节省矢量数据库的空间？我们的MLOps工具并不是为做到这一点而构建的。这一切都很复杂，如果你不清楚自己在做什么，就可能会浪费掉大量的时间和金钱。”

  但他表示，MLOps平台厂商正在加紧努力。“Dataku、DataRobot和Databricks等公司都提供了对LLMOps或者GenAIOps的支持，所有的小细节都开始就位了。”

  去年11月，OpenAI出人意料地解雇了首席执行官Sam Altman，引发了一场马戏团般的寻找新CEO的争夺战，员工威胁要罢工，而微软则提出要接纳所有人。在那段动荡的日子里，许多使用OpenAI模型的企业突然意识到，他们把所有的鸡蛋都放在了一个不稳定的篮子里。

  Constellation Research副总裁兼首席分析师Dion Hinchcliffe表示：“我们正真看到了很多和OpenAI的集成，但是OpenAI发生的整个管理问题让人们质疑他们是否做出了过度承诺。”

  即使一家公司没有倒闭，也可能很快就会被淘汰。去年夏初，ChatGPT几乎是市场中的唯一，然后Facebook发布了Llama 2，对大多数企业客户免费，随后是Anthropic推出的Claude 2，提供了200000个token的上下文窗口——这足以让用户将相当于一本600页的书剪切并粘贴到提示中，也把GPT-4的32000个token甩在了身后。然而，谷歌也不甘示弱，2月宣布新的Gemini 1.5能处理多达1000万个token，有了这个，再加上提高了对视频、音频和书面副本处理的速度、效率和准确性，几乎就没有限制了。

  免费开源模型的数量以及特定行业模型的数量持续激增，这些模型经过金融、医学或材料科学等方面的预先训练。

  他说，这就是“模型花园”的用武之地。若企业严格选择和管理模型，并构建系统以便能轻松地换入和换出模型，那么就能够应对这一领域的波动。

  但这个抽象层需要做的不单单是允许企业升级模型或为每个特定用例选择最好的模型。

  技术和咨询公司Wipro Technologies的首席技术官Subha Tatavarti表示，这个抽象层还能够适用于可观察性、计量和基于角色的访问控制。

  她说，Wipro公司有245000名员工，别无选择，只能采用生成式AI，因为客户对此是抱有期望的。

  可观察性使企业能了解数据的去向、使用的模型、提示以及响应需要多长时间才能返回，还可以包括编辑或混淆敏感数据的机制。

  一旦企业知道模型发生了什么，就可以实施计量控制——例如限制特定模型的使用量——以避免成本发生意外的飙升。

  Tatavarti说：“目前，计量的工作方式是token消费模式，这样的形式可能会变得成本非常高。”

  此外，针对普遍的问题解答这个场景，公司能够缓存响应以节约时机和金钱。对某些用例，可能不需要昂贵的高端商用大型语言模型，因为本地托管的开源模型可能就足够了。

  “所有这些都让我们着迷，我的团队正在努力解决这一个问题，这对我们来说是当务之急。”

  当涉及访问控制时，根本原则应该是永远别向组织公开原生API，而是有一个中间层来检查权限并处理其他安全和管理任务。

  IT企业Xebia的首席数字官Rajat Gupta表示，例如，如果人力资源平台使用生成式AI来回答基于政策和别的信息向量数据库的问题，那么员工应该能够询问有关自己工资的问题,但不能询问关于其他员工的问题——除非他们自己是经理或在人力资源部门工作。

  考虑到生成式AI在企业中跨不同业务部门和职能部门迅速普及，要从头开始针对每个场景构建这些控件，将是一场噩梦。

  Gupta也认同需要构建此类功能的企业应该构建一次然后再复用。他说：“把他们所需一切的共同点提取处理啊，例如安全、监控、访问控制，将其构建为企业级平台的一个组成部分。”

  他将这称为AI网关，开源MLflow AI Gateway就是一个例子。MLflow AI Gateway是在去年5月发布的，现已经被弃用，取而代之的是MLflow DeploymentsServer。他的公司使用的另一个工具是Arthur AI的Arthur Shield，一个针对大型语言模型的防火墙，会过滤提示注入攻击、脏话和其他恶意或危险提示。

  然后是Ragas，它能够在一定程度上帮助根据矢量数据库中的实际信息检查生成式AI的反应，以提高准确性并减少幻觉。

  Gupta说：“AIECO的发展方式令人惊讶，我们原以为步伐会放慢，但事实并非如此，速度迅速加快。”

  因此，为了更快地进入市场，Xebia正在将这些不同的项目编织在一起，他说，但这并不能帮助AI公司不断推出新的东西，例如由AI驱动的自主代理。

  “如果你正在使用自主代理，如何实际衡量整个代理项目的效率？实际监控和控制是一个挑战。”

  如今，Xebia限制了代理的自主权，只允许他们执行非常有限和精确的任务。“这是目前唯一的方法，限制他们能够使用的技能，并设置一个中央控制器，这样他们就不会互相交谈。我们对其来控制，直到我们有更进化的理解和反馈循环。这是一个非常新的领域，所以要看看未来会怎么样发展。”

  根据cnvrg.io的调查，对那些实施生成式AI的企业来说，合规性和隐私是他们最关心的问题，其次是可靠性、成本和技术技能匮乏。

  同样地，根据IBM的调查，对那些尚未实施生成式AI的企业来说，其中有57%的受访者将数据隐私视为一大障碍，43%的受访者将透明度视为障碍。此外，有85%的收房的人说，消费者更有可能选择那些具有透明性且道德AI实践的公司，但只有不到一半的受访者致力于减少偏见、跟踪数据来源、致力于使AI可解释或制定道德的AI政策。

  技术人员很容易专注于技术解决方案。道德AI超越了技术的范畴，还涉及法律和合规性，以及企业价值观和身份问题。因此，这是首席信息官或者首席人工智能官可以挺身而出、为大型组织提供指导的一个方面。

  甚至比这更进一步。建立生成式AI友好型数据基础设施、安全和管理控制以及道德准则可能是全方面实施大型语言模型的第一步。

  安永美洲新兴技术负责人Matt Barrington表示，生成式AI将要求CIO们重新思考技术。他说，在AI出现之前，软件是具有确定性的。

  他说：“你要设计、构建、测试和迭代，直到软件按预期运行。如果没有按预期运行，那就是一个错误，你会回去修复它。如果按预期运行，你就可以将它部署到生产中。”无论软件模式如何，所有大型计算堆栈都是具有确定性的。他说，现在，除了量子计算之外，生成式AI是第一个广为人知的、具有非确定性的软件模式。“错误实际上就是功能。它能自行生成东西，这是它的主要卖点。”

  但这并不代表旧的东西应该全部扔掉。他说，MLOps和Pytorch仍然很重要，以及你要知道何时要做RAG嵌入模型、DAG或者采用多模态以及为生成式AI准备数据一样。

  “所有这些事情都将保留下来并且很重要，但是，将会出现一个新的非确定性平台堆栈，与传统堆栈并存，具有全新的基础设施工程和运营领域，以支持这些功能。”

  他表示，这将改变企业在核心层面的运营方式，朝着这个方向成为真正的AI驱动型企业，将成为一个快节奏的转变。他说：“看到这些变化的发生，将会是一件非常酷的事情。”

  本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。