Back to Ants

README ZH

README_ZH.md

2.12.018.0 KB
Original Source
<p align="center">

<b>Go 语言的 goroutine 池</b>

<a title="Build Status" target="_blank" href="https://github.com/panjf2000/ants/actions?query=workflow%3ATests"></a> <a title="Codecov" target="_blank" href="https://codecov.io/gh/panjf2000/ants"></a> <a title="Release" target="_blank" href="https://github.com/panjf2000/ants/releases"></a> <a title="Tag" target="_blank" href="https://github.com/panjf2000/ants/tags"></a>

<a title="Minimum Go Version" target="_blank" href="https://github.com/panjf2000/gnet"></a> <a title="Go Report Card" target="_blank" href="https://goreportcard.com/report/github.com/panjf2000/ants"></a> <a title="Doc for ants" target="_blank" href="https://pkg.go.dev/github.com/panjf2000/ants/v2?tab=doc"></a> <a title="Mentioned in Awesome Go" target="_blank" href="https://github.com/avelino/awesome-go#goroutines"></a>

</p>

英文 | 中文

📖 简介

ants 是一个高性能的 goroutine 池,实现了对大规模 goroutine 的调度管理、goroutine 复用,允许使用者在开发并发程序的时候限制 goroutine 数量,复用资源,达到更高效执行任务的效果。

🚀 功能:

  • 自动调度海量的 goroutines,复用 goroutines
  • 定期清理过期的 goroutines,进一步节省资源
  • 提供了大量实用的接口:任务提交、获取运行中的 goroutine 数量、动态调整 Pool 大小、释放 Pool、重启 Pool 等
  • 优雅处理 panic,防止程序崩溃
  • 资源复用,极大节省内存使用量;在大规模批量并发任务场景下甚至可能比 Go 语言的无限制 goroutine 并发具有更高的性能
  • 非阻塞机制
  • 预分配内存 (环形队列,可选)

💡 ants 是如何运行的

流程图

<p align="center"> </p>

动态图

🧰 安装

使用 ants v1 版本:

powershell
go get -u github.com/panjf2000/ants

使用 ants v2 版本 (开启 GO111MODULE=on):

powershell
go get -u github.com/panjf2000/ants/v2

🛠 使用

基本的使用请查看示例.

Pool 配置

通过在调用 NewPool/NewPoolWithFunc/NewPoolWithFuncGeneric 之时使用各种 optional function,可以设置 ants.Options 中各个配置项的值,然后用它来定制化 goroutine pool。

更多细节请查看 ants.Optionsants.Option

自定义 pool 容量

ants 支持实例化使用者自己的一个 Pool,指定具体的 pool 容量;通过调用 NewPool 方法可以实例化一个新的带有指定容量的 Pool,如下:

go
p, _ := ants.NewPool(10000)

任务提交

提交任务通过调用 ants.Submit 方法:

go
ants.Submit(func(){})

动态调整 goroutine 池容量

需要动态调整 pool 容量可以通过调用 ants.Tune

go
pool.Tune(1000) // Tune its capacity to 1000
pool.Tune(100000) // Tune its capacity to 100000

该方法是线程安全的。

预先分配 goroutine 队列内存

ants 支持预先为 pool 分配容量的内存, 这个功能可以在某些特定的场景下提高 goroutine 池的性能。比如, 有一个场景需要一个超大容量的池,而且每个 goroutine 里面的任务都是耗时任务,这种情况下,预先分配 goroutine 队列内存将会减少不必要的内存重新分配。

go
// 提前分配的 pool 容量的内存空间
p, _ := ants.NewPool(100000, ants.WithPreAlloc(true))

释放 Pool

go
pool.Release()

或者

go
pool.ReleaseTimeout(time.Second * 3)

重启 Pool

go
// 只要调用 Reboot() 方法,就可以重新激活一个之前已经被销毁掉的池,并且投入使用。
pool.Reboot()

⚙️ 关于任务执行顺序

ants 并不保证提交的任务被执行的顺序,执行的顺序也不是和提交的顺序保持一致,因为在 ants 是并发地处理所有提交的任务,提交的任务会被分派到正在并发运行的 workers 上去,因此那些任务将会被并发且无序地被执行。

👏 贡献者

请在提 PR 之前仔细阅读 Contributing Guidelines,感谢那些为 ants 贡献过代码的开发者!

<a href="https://github.com/panjf2000/ants/graphs/contributors"> </a>

📄 证书

ants 的源码允许用户在遵循 MIT 开源证书 规则的前提下使用。

📚 相关文章

🖥 用户案例

商业公司和开源组织

以下公司/组织在生产环境上使用了 ants

<table> <tbody> <tr> <td align="center" valign="middle"> <a href="https://www.tencent.com/">
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.bytedance.com/zh/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://tieba.baidu.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://weibo.com/" target="_blank">
      
    </a>
  </td>
</tr>
<tr>
  <td align="center" valign="middle">
    <a href="https://www.tencentmusic.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.futuhk.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.shopify.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://weixin.qq.com/" target="_blank">
      
    </a>
  </td>
</tr>
<tr>
  <td align="center" valign="middle">
    <a href="https://www.baidu.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.360.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.huaweicloud.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://matrixorigin.cn/" target="_blank">
      
    </a>
  </td>
</tr>
<tr>
  <td align="center" valign="middle">
    <a href="https://adguard-dns.io/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://bk.tencent.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://cn.aliyun.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.zuoyebang.com/" target="_blank">
      
    </a>
  </td>
</tr>
<tr>
  <td align="center" valign="middle">
    <a href="https://www.antgroup.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://zilliz.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://amap.com/" target="_blank">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a href="https://www.apache.org/" target="_blank">
      
    </a>
  </td>
</tr>
<tr>
  <td align="center" valign="middle">
    <a href="https://www.coze.cn/" target="_blank">
      
    </a>
  </td>
</tr>
</tbody> </table> 如果你也正在生产环境上使用 `ants`,欢迎提 PR 来丰富这份列表。

开源软件

这些开源项目借助 ants 进行并发编程。

  • gnet: gnet 是一个高性能、轻量级、非阻塞的事件驱动 Go 网络框架。
  • milvus: 一个高度灵活、可靠且速度极快的云原生开源向量数据库。
  • nps: 一款轻量级、高性能、功能强大的内网穿透代理服务器。
  • TDengine: TDengine 是一款开源、高性能、云原生的时序数据库 (Time-Series Database, TSDB)。TDengine 能被广泛运用于物联网、工业互联网、车联网、IT 运维、金融等领域。
  • siyuan: 思源笔记是一款本地优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。
  • BillionMail: BillionMail 是一个未来的开源邮件服务器和电子邮件营销平台,旨在帮助企业和个人轻松管理他们的电子邮件营销活动。
  • WeKnora: 一款基于大语言模型(LLM)的文档理解与语义检索框架,专为结构复杂、内容异构的文档场景而打造。
  • coze-loop: Coze Loop 是一个面向开发者,专注于 AI Agent 开发与运维的平台级解决方案。
  • osmedeus: A Workflow Engine for Offensive Security.
  • jitsu: An open-source Segment alternative. Fully-scriptable data ingestion engine for modern data teams. Set-up a real-time data pipeline in minutes, not days.
  • triangula: Generate high-quality triangulated and polygonal art from images.
  • teler: Real-time HTTP Intrusion Detection.
  • bsc: A Binance Smart Chain client based on the go-ethereum fork.
  • jaeles: The Swiss Army knife for automated Web Application Testing.
  • devlake: The open-source dev data platform & dashboard for your DevOps tools.
  • matrixone: MatrixOne 是一款面向未来的超融合异构云原生数据库,通过超融合数据引擎支持事务/分析/流处理等混合工作负载,通过异构云原生架构支持跨机房协同/多地协同/云边协同。简化开发运维,消简数据碎片,打破数据的系统、位置和创新边界。
  • bk-bcs: 蓝鲸容器管理平台(Blueking Container Service)定位于打造云原生技术和业务实际应用场景之间的桥梁;聚焦于复杂应用场景的容器化部署技术方案的研发、整合和产品化;致力于为游戏等复杂应用提供一站式、低门槛的容器编排和服务治理服务。
  • trueblocks-core: TrueBlocks improves access to blockchain data for any EVM-compatible chain (particularly Ethereum mainnet) while remaining entirely local.
  • openGemini: openGemini 是华为云开源的一款云原生分布式时序数据库,可广泛应用于物联网、车联网、运维监控、工业互联网等业务场景,具备卓越的读写性能和高效的数据分析能力,采用类SQL查询语言,无第三方软件依赖、安装简单、部署灵活、运维便捷。
  • AdGuardDNS: AdGuard DNS is an alternative solution for tracker blocking, privacy protection, and parental control.
  • WatchAD2.0: WatchAD2.0 是 360 信息安全中心开发的一款针对域安全的日志分析与监控系统,它可以收集所有域控上的事件日志、网络流量,通过特征匹配、协议分析、历史行为、敏感操作和蜜罐账户等方式来检测各种已知与未知威胁,功能覆盖了大部分目前的常见内网域渗透手法。
  • vanus: Vanus is a Serverless, event streaming system with processing capabilities. It easily connects SaaS, Cloud Services, and Databases to help users build next-gen Event-driven Applications.
  • trpc-go: 一个 Go 实现的可插拔的高性能 RPC 框架。
  • motan-go: Motan 是一套高性能、易于使用的分布式远程服务调用 (RPC) 框架。motan-go 是 motan 的 Go 语言实现。

所有案例:

如果你的项目也在使用 ants,欢迎给我提 Pull Request 来更新这份用户案例列表。

🔋 JetBrains 开源证书支持

ants 项目一直以来都是在 JetBrains 公司旗下的 GoLand 集成开发环境中进行开发,基于 free JetBrains Open Source license(s) 正版免费授权,在此表达我的谢意。

<a href="https://www.jetbrains.com/?from=ants" target="_blank"></a>

☕️ 打赏

当您通过以下方式进行捐赠时,请务必留下姓名、GitHub 账号或其他社交媒体账号,以便我将其添加到捐赠者名单中,以表谢意。

<table> <tbody> <tr> <td align="center" valign="middle"> <a target="_blank" href="https://buymeacoffee.com/panjf2000">
    </a>
  </td>
  <td align="center" valign="middle">
    <a target="_blank" href="https://www.patreon.com/panjf2000">
      
    </a>
  </td>
  <td align="center" valign="middle">
    <a target="_blank" href="https://opencollective.com/panjf2000">
      
    </a>
  </td>
</tr>
</tbody> </table>

🔋 赞助商

<p> <a href="https://www.digitalocean.com/"> </a> </p>