蚂蚁集团与vLLM联合开源Humming:高性能、灵活的量化推理内核
【蚂蚁集团与vLLM联合开源Humming:高性能、灵活的量化推理内核】金色财经报道,10月21日,蚂蚁集团与vLLM社区联合开源Humming,一个通用、高性能的量化推理算子库。Humming具备以下特点:广泛的设备支持,覆盖多种GPU,以及兼容CUDA编程的设备;丰富的量化支持,通过统一架构支持Dense和MoE中丰富的权重与激活格式组合,覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。()
