Utility算力调度中心即将上线. 引领分布式计算新篇章

2023-12-25 23:12:04

近日，由UtilityNet团队主办的AMA（Ask Me Anything）活动上，分享了UtilityNet算力调度中心——AI容器云的相关信息并邀请全球开发者通过邮箱申请试用。此次AMA分享嘉宾包括联合创始人Vincent、亚洲开源团队技术负责人Terrill以及utlab CTO Tom。

UtilityNet算力调度中心作为项目的核心组成部分，将实现对大规模计算资源的高效调度和管理。该调度中心采用先进的机器学习和预测算法，结合历史任务数据、任务类型和系统负载，以动态方式调整资源分配。同时，调度中心具备自动化故障检测和处理机制，确保系统在面对硬件故障时能够迅速响应并采取相应措施。

图1.容器云调度页面

为了保障用户安全和隐私，UtilityNet采用虚拟化技术实现资源隔离，确保不同用户或组织的计算环境相互独立。项目团队还计划在未来引入量子计算、边缘计算等创新技术，以满足未来计算需求的多样性。同时，UtilityNet将深化与边缘计算和物联网技术的整合，提供更分布式和本地化的计算资源。

图2.容器云用户端页面

随着UtilityNet算力调度中心的上线，有望为人工智能、大数据分析、科学研究等领域带来更高效、安全、可靠的分布式计算环境。项目团队表示，他们将继续优化算法和技术，提高资源调度和任务执行的效率，为构建更加丰富的UtilityNet应用生态系统而努力。

图3.AI模型训练页面

AMA活动原文（同声翻译版本）

（主持人）

大家好！欢迎来到由UtilityNet主办的AMA 交流会，本期主题是【UtilityNet 算力调度中心即将开放】，我是Utility Net首席品牌官兼主持人Lidi，今天很荣幸邀请到UtilityNet的联合创始人 vincent、UtilityNet亚洲开源团队tech lead Terrill以及 utlab CTO Tom这三位重量级嘉宾，作客我们的UtilityNet中文社区，来为UtilityNet 算力调度中心做一些介绍以及未来发展做一个详细的讲解。

（嘉宾Vincent）

大家好，非常感谢大家的邀请，我是vincent，是UtilityNet的联合创始人。

（嘉宾Terrill）

大家好，我是Terrill，是UtilityNet亚洲开源团队 tech lead。

（嘉宾Tom）

我是utlab 的CTO Tom，很高兴今晚能来到这里。

（主持人）

那就让我们正式开始吧，在进入正题之前，vincent您能简单的给我们介绍一下UtilityNet 吗？

（嘉宾Vincent）

当然可以，如今人工智能AI发展迅速也备受世人关注，但无论是简单的数据计算、图片生成，还是复杂的函数探索、智能训练应用，都离不开AI算力。世界上目前的AI算力处于匮乏状态，AI计算需求大，而能提供AI算力的设备少，能提供AI算力的设备损耗多，要完全承载目前人工智能发展的需求，我们需要目前100万倍的AI算力，而UtilityNet是为了改变这是现状而生的。

UtilityNet是一项全新聚焦于异构并行计算技术的区块链网路，将点对点支付和针对并行计算的去中心化可验证共识流程结合，为应用级Layer-1区块链网路带来革命性变革，是一种基于指令签名的可验证计算网络。它能解决目前区块链技术中工具链脱节、集群预投入昂贵、数据隐私无法保证、机时使用成本高昂等问题。

（主持人）

那请问UtilityNet是打算怎么解决AI算力的问题呢？

（嘉宾Terrill）

现在全球各地大多数人工智能公司都在搞大模型，这在我看来注定九死一生，风险太高，但未来不管哪个大模型走向成功，最终统一全行业甚至垄断全球用户，它都注定需要庞大的算力基础来建立大模型，所以，算力基建和算力供应才是真正的长期稳健投资，但这需要时间去建设，而不是投机，就像无论手机造的多好怎么垄断市场，都需要信号基站去发射信号，UtilityNet做的就是信号基站的事情。

我们建设的第一步，就是扩大群体共识，要知道基于UtilityNet的技术特点，算力贡献者可以通过异构并行计算晶片（如TPU）来贡献多种算力（INT8 FP16 FP32）以获得Token奖励，我们认为这些计算能力是AI时代的模型训练基石，矿工们将算力以合理的价格租给需要的客户。通过Token激励的方式能大大降低AI研发和部署需求的云算力使用成本，也能让越来越多的共识者自愿提供更多的算力给UtilityNet。在这样的良性循环下，UtilityNet将能成为全球最大的应用型分布式计算网络，能帮助人们以更低的成本获取更多更弹性更稳定的计算资源，让人们更高效地提升生产力。

（主持人）

感谢Terrill 的介绍，我们现在都明白了Utility Net的一些基本情况，也明白了它想要解决的问题以及未来的目标，那么现在能否请Terrill 再给我们说一些UtilityNet的技术特点。

（嘉宾Terrill）

OK，拿一个比较有特点的计算方式来说吧，UtilityNet使用的是不同于传统区块链上的计算方式，它采用的是芯片刻录私钥采取分布式计算的特点去进行区块链业内统称的“挖矿”行为，这不同于区块链上的计算，分布式计算的计算任务被分发到多个计算节点上，有助于提高计算效率和系统的可伸缩性；同时每个节点可以独立执行计算任务不需要智能合约协调，数据可以分散存储与分散执行，能够最大化的提供AI算力。

UtilityNet通过分布式算力来进行“挖矿”，即通过解决复杂的数学问题来添加新的区块，也确保了去中心化的网络的安全性和可信度，分布式算力为区块链系统提供了一种安全、去中心化、抵御攻击的手段，使得Utility Net在不依赖单一中心控制的同时，能够达成全网的一致共识。这为构建安全可信的去中心化应用提供了基础。

（主持人）

这样听来，UtilityNet的未来价值完全超乎了我们的想象，谢谢Terrill 为我们进行详细的介绍，我相信我们已经有许多小伙伴想要加入到UtilityNet中来了，接下来我们要进入今天的重头戏了，UtilityNet 算力调度中心即将开放，可以请Tom给我们说一下吗？

（嘉宾Tom）

没问题，UtilityNet算力调度中心是UtilityNet项目的核心组成部分，旨在实现对大规模计算资源的高效调度和管理，该调度中心采用先进的算法和技术，确保资源在整个UtilityNet AI 容器云中得到最佳利用，以满足不同用户的任务需求。

简单说，UtilityNet算力调度中心就是全球分散的数据处理能力市场，结合区块链技术，通过撮合租赁，支持未来的分散应用，使它们在具有微服务的架构中具有类似性，能够进行水平扩展，为个人和企业提供以相对较低的费用使用大量分散AI算力资源的机会，也使提供AI算力资源的个人所有者能够通过出租来获得稳定的收入。

（主持人）

明白了，这边想问一下您，UtilityNet的研发进度目前到了什么阶段，可以稍微给大家透露一下吗？

（嘉宾Vincent）

这样我就稍微也给大家说一下UtilityNet吧，我们是要做一种基于指令签名的可验证计算网络，这是在算力领域的一次巨大跃进，从研发以来，光技术架构的预研阶段、原型设计阶段、测试阶段UtilityNet就已经耗资800余万美元，把架构做的越完整，才能有足够的基础去进行生态发展，我们首先要确保的，就算稳定，让生态中每一个角色都能各取所需，各司其职。

而UtilityNet已经部署了不少时间，成功用TPU芯片将点对点支付和针对并行计算的可验证去中心化计算结合，为区块链网络生态和计算市场带来了一场革命性的变革。目前UtilityNet正在通过引入执行虚拟机、Kubernetes等跨域数据调度技术，为分布式计算提供更强大的软硬件支持，让UtilityNet能够承载更多的数据量。

（主持人）

真想不到UtilityNet光前期研发，就已经花了近千万美元，那请问UtilityNet算力调度中心是怎么分配任务的呢？

（嘉宾Tom）

Utility Net算力调度中心采用先进的机器学习和预测算法，结合历史任务数据、任务类型和系统负载，以动态方式调整资源分配。这种智能决策基于任务的复杂性、执行时间预测、资源需求和当前系统状态等多个因素，以实现高效的资源利用。

而任务分配则是通过智能的资源分配算法，一方面实施并行任务调度，通过智能并行化算法将相互独立的任务同时执行，提高整体计算速度；另一方面也将任务协同执行，通过共享资源和数据，减少任务之间的冲突，提高执行效率。对大规模任务的分解和调度，将大型任务划分为可管理的子任务，然后合理安排这些子任务的执行顺序，以最大程度地利用集群中的资源。根据任务的需求和优先级，动态地将计算资源分配给相应的任务，确保了资源的高效利用和任务能够及时完成的同时。

（主持人）

这真的非常了不起，这听起来算力调度中心自身也是需要算力来执行这些动态资源的调整是吗？

（嘉宾Tom）

UtilityNet算力调度中心通过实时监控系统中各个节点的资源利用情况，采用弹性伸缩策略。这包括根据工作负载的变化调整资源规模，实现资源的弹性扩展或收缩。同时，针对节点硬件故障，中心具备自动化故障检测和处理机制，它能够快速响应硬件故障或其他异常情况，以确保系统在面对硬件故障时能够迅速响应并采取相应的措施，例如任务迁移或自动重启，保证供应双方的算力与Token收益不受影响。

（主持人）

好的，但UtilityNet算力调度中心其实是属于分布式算力，UtilityNet的用户管理和权限控制是如何实现的，能否维护系统的安全性和用户隐私？

（嘉宾Tom）

用户的安全与隐私是重中之重，Utilit Net算力调度中心也一直致力于维护系统的安全性和用户隐私，在UtilityNet中，每个用户都有唯一的身份标识，用户提供算力的设备中，芯片都会使用加密技术将私钥烧录到芯片中以实现数据加密和签名，从而确保数据安全和产权保护，属于物理硬件级别的安全性方案。用户的身份验证涉及到严格的多因素认证，授权基于用户角色和策略，确保每个用户只能访问其被授权的资源。

同时UtilityNet系统采用虚拟化技术实现资源的隔离，确保不同用户或组织的计算环境互相独立。这有效地防止了横向攻击，提高了系统整体的安全性。

（主持人）

好的，UtilityNet的技术架构是相当完整与稳固的，那么我们都知道任务需求是算力调度中至关重要的一环，请问一下您之前提到的UtilityNet AI容器云是如何运作使用的呢？

（嘉宾Tom）

我们为了增强Utility AI容器云的使用体验，Utility AI容器云的使用界面设计了矿工管理端与芯片用户端，区分不同的用户与操作逻辑，使得Utility AI容器云平台中不同类型的用户可以出色地协调配合。

这么说吧，资源池是用于隔离集群的服务器资源。横向纵向看，资源都是以服务器节点为粒度。服务器节点面向管理员，资源规格面向用户。如果要更好地将资源与用户解耦与隔离，则需要一个资源池的概念，去将资源逻辑地重新分割，Utility AI容器云以服务器节点为粒度，将资源以服务器节点的形式整体划分到不同的资源池，不同的资源池可以绑定到用户群组。以这样的形式，可以很好地将集群的资源隔离，不同的资源可分配给不同的用户群。

（主持人）

明白了，好了，那今天的AMA活动已经到了尾声，我相信大家对UtilityNet算力调度中心已经非常期待了，它也即将迎来上线，现在请 vincent再给大家总结一下，我想以UtilityNet算力调度中心的作用与意义作为今天AMA的收尾应该是比较不错的。

（嘉宾Vincent）

好的，我先总结一下吧，总体而言，算力调度中心在UtilityNet中的实际作用和意义在于通过先进的技术手段，实现了计算资源的高效利用、弹性伸缩、成本效益、安全可靠、实时监控等多个方面的优势，为用户提供了一个可信赖、高效的分布式计算环境。我相信这对于推动人工智能、大数据分析、科学研究等领域的发展具有重要意义。

在未来，UtilityNet算力调度中心也将有一系列的计划，目前已经有一些大致开发方向与定位，可以先给大家透露一部分。首先我们不断优化算法和技术，提高资源调度和任务执行的效率的同时，也将引入创新技术，如量子计算、边缘计算等，以满足未来计算需求的多样性；其次我们将引入可持续性计算理念，优化能源利用效率，降低计算过程的碳足迹，探索利用可再生能源和绿色数据中心技术，推动绿色计算的发展；再者会深化与边缘计算和物联网技术的整合，提供更为分布式和本地化的计算资源，也支持物联网设备通过算力调度中心实现智能计算和协同决策；最后会提供开放式API，鼓励开发者和企业接入算力调度中心，构建更加丰富的UtilityNet应用生态系统；支持开发者社区，鼓励创新性应用的开发和共享。

（主持人）

感谢三位的耐心解答，非常荣幸能对UtilityNet 有如此深入的了解。

（嘉宾Vincent）

谢谢大家，我也很荣幸来到这里给大家做一个分享。

（嘉宾Terrill）

感谢大家对UtilityNet的大力支持，UtilityNet一定不会辜负大家的期待！

（嘉宾Tom）

谢谢大家，我坚信我们能互相成就未来。

（主持人）

好的，那么今天的AMA就到此结束，感谢大家，我们有缘再见！