AI21 Jamba 1.6 Large

产品介绍

AI21 Jamba 1.6 Large 是首个生产级 Mamba-Transformer 混合 SSM 架构大模型，398B 总参数 / 94B 激活参数（MoE），256K 上下文窗口。长文本吞吐量比 Transformer 高 3 倍，同等规模中单 GPU 可处理 140K 上下文。支持 Function Calling、结构化输出（JSON）、接地生成。开源权重可自部署。

核心功能

• Mamba-Transformer 混合：首个生产级 SSM 架构
• 256K 上下文：超长文档处理
• 3 倍吞吐：长文本比 Transformer 高 3 倍
• 单 GPU 140K：同等规模中单 GPU 可处理
• Function Calling：结构化输出（JSON）、接地生成

API 调用示例

from openai import OpenAI

client = OpenAI(
    base_url="https://api.ai21.com/studio/v1",
    api_key="YOUR_AI21_API_KEY"
)

response = client.chat.completions.create(
    model="jamba-1.6-large",
    messages=[
        {"role": "user", "content": "总结这份长文档的核心要点"}
    ]
)
print(response.choices[0].message.content)

定价：输入 $2.00/百万 token，输出 $8.00/百万 token（API）；开源权重可免费自部署。

典型使用场景

• 长文档处理与摘要
• 高吞吐 RAG 系统
• 企业知识库问答
• 成本敏感的大规模推理

平台支持

AI21 Studio API（api.ai21.com）、HuggingFace 自部署（ai21labs/AI21-Jamba-Large-1.6）、Amazon Bedrock、Microsoft Azure。