AI

Menyelesaikan Masalah Inferensi untuk Proyek AI Open Source dengan GitHub Models

Jiajun

— 4 min read
GitHub inference API
How using GitHub’s free inference API can make your AI-powered open source software more accessible.

source: Solving the inference problem for open source AI projects with GitHub Models - The GitHub Blog

Fitur AI dapat membuat proyek open source bersinar. Setidaknya, sampai pengaturan meminta kunci API inferensi berbayar. Mengharuskan kontributor atau bahkan pengguna biasa untuk menyediakan kunci large language model (LLM) mereka sendiri akan menghentikan adopsi:

$ my-cool-ai-tool
Error: OPENAI_API_KEY not found

Developer mungkin tidak ingin membeli paket berbayar hanya untuk mencoba tool Anda, dan hosting model sendiri bisa terlalu berat untuk laptop atau runner GitHub Actions.

GitHub Models menyelesaikan hambatan tersebut dengan API inferensi gratis yang kompatibel dengan OpenAI yang dapat digunakan setiap akun GitHub tanpa memerlukan kunci, konsol, atau SDK baru. Dalam artikel ini, kami akan menunjukkan cara mengintegrasikannya ke proyek Anda, menjalankannya di CI/CD, dan melakukan scaling ketika komunitas Anda berkembang.

Mari kita mulai.

Biaya Tersembunyi dari "Tambahkan AI Saja"

Fitur AI terasa ada di mana-mana hari ini, tapi menjalankannya secara lokal masih menjadi tantangan karena beberapa alasan:

  • API Berbayar: Cara termudah adalah meminta pengguna untuk kunci OpenAI atau Anthropic. Itu bukan pilihan untuk banyak hobbyist dan mahasiswa karena API berbayar terlalu mahal.
  • Model Lokal: Menjalankan LLM 2 miliar parameter bisa bekerja untuk tugas ringan, tapi apapun yang memerlukan lebih banyak kecerdasan akan dengan cepat melampaui memori laptop biasa — apalagi container 14 GB yang mendukung runner GitHub Actions.
  • Docker Images dan Weights: Anda bisa menggabungkan model dengan aplikasi Anda, tapi mendistribusikan weights multi-gigabyte akan membesarkan ukuran instalasi dan memperlambat CI.

Setiap persyaratan tambahan menyaring pengguna dan kontributor potensial. Yang Anda butuhkan adalah endpoint inferensi yang:

  • Gratis untuk proyek publik
  • Kompatibel dengan SDK OpenAI yang ada
  • Tersedia di mana pun kode Anda berjalan, seperti laptop, server, atau runner Actions

Itulah yang disediakan GitHub Models.

GitHub Models dalam Ringkasan

  • Apa itu: Endpoint REST yang menggunakan spesifikasi chat/completions yang sudah Anda kenal.
  • Apa yang Anda dapatkan: Kumpulan model terpilih (GPT-4o, DeepSeek-R1, Llama 3, dan lainnya) yang di-host oleh GitHub.
  • Siapa yang bisa memanggilnya: Siapa pun dengan GitHub Personal Access Token (PAT), atau GITHUB_TOKEN bawaan repositori ketika Anda opt-in melalui permissions.
  • Berapa biayanya: Tier gratis untuk semua akun personal dan org OSS; tier berbayar terukur membuka throughput lebih tinggi dan context window lebih besar.

Karena API mencerminkan OpenAI, setiap klien yang menerima baseURL akan bekerja tanpa perubahan kode. Ini termasuk OpenAI-JS, OpenAI Python, LangChain, llamacpp, atau skrip curl Anda sendiri.

Cara Memulai dengan GitHub Models

Karena GitHub Models kompatibel dengan API chat/completions OpenAI, hampir setiap SDK inferensi dapat menggunakannya. Untuk memulai, Anda dapat menggunakan SDK OpenAI:

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "https://models.github.ai/inference/chat/completions",
  apiKey: process.env.GITHUB_TOKEN // atau PAT apa pun dengan models:read
});

const res = await openai.chat.completions.create({
  model: "openai/gpt-4o",
  messages: [{ role: "user", content: "Hi!" }]
});

console.log(res.choices[0].message.content);

Jika Anda menulis software AI open source dengan GitHub Models sebagai penyedia inferensi, semua pengguna GitHub akan dapat menjalankannya hanya dengan menyediakan GitHub Personal Access Token (PAT).

Dan jika software Anda berjalan di GitHub Actions, pengguna Anda bahkan tidak perlu menyediakan PAT. Dengan meminta permission models: read dalam file workflow Anda, token GitHub bawaan akan memiliki permissions untuk membuat permintaan inferensi ke GitHub Models. Ini berarti Anda dapat membangun serangkaian Actions bertenaga AI yang dapat dibagikan dan diinstal dengan satu klik. Misalnya:

  • Bot code review atau triage PR
  • Workflow smart issue tagging
  • Generator laporan aktivitas repositori mingguan
  • Dan apa pun yang dapat dilakukan GitHub Action

Plus, menggunakan GitHub Models memudahkan pengguna Anda untuk mengatur inferensi AI. Dan itu memiliki efek positif lain: lebih mudah bagi kontributor Anda untuk mengatur inferensi AI juga. Ketika siapa pun dengan akun GitHub dapat menjalankan kode Anda end-to-end, Anda akan dapat mendapat kontribusi dari seluruh jangkauan pengguna GitHub, bukan hanya yang memiliki kunci OpenAI.

CI Zero-Configuration dengan GitHub Actions

Menerbitkan Action yang bergantung pada AI dulu mengharuskan pengguna menambahkan kunci API inferensi mereka sebagai secret GitHub Actions. Sekarang Anda dapat mengirimkan instalasi satu klik:

# .github/workflows/triage.yml
permissions:
  contents: read
  issues: write
  models: read # 👈 membuka GitHub Models untuk GITHUB_TOKEN

jobs:
  triage:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Smart issue triage
        run: node scripts/triage.js

GITHUB_TOKEN runner membawa scope models:read, jadi Action Anda dapat memanggil model apa pun tanpa pengaturan tambahan. Ini sangat cocok untuk:

  • Ringkasan pull request otomatis
  • Deduplikasi dan tagging issue
  • Digest repositori mingguan
  • Apa pun yang dapat Anda skrip dalam Action

Scaling Ketika Proyek Anda Berkembang

API inferensi GitHub Models gratis untuk semua orang. Tapi jika Anda atau pengguna Anda ingin melakukan lebih banyak inferensi dari yang diizinkan batas tarif gratis, Anda dapat mengaktifkan inferensi berbayar dalam pengaturan Anda untuk context window yang jauh lebih besar dan requests-per-minute yang lebih tinggi.

Ketika komunitas Anda tumbuh, traffic juga akan meningkat. Jadi penting untuk mempertimbangkan hal berikut:

  • Requests per minute (RPM): Sementara tier gratis menawarkan batas default, tier berbayar menawarkan kelipatan yang lebih tinggi.
  • Context window: Tier gratis dibatasi pada batas model standar; berbayar memungkinkan 128k token pada model yang didukung.
  • Latency: Tier berbayar berjalan dalam deployment terpisah sendiri, jadi Anda tidak dalam antrian yang sama dengan pengguna tier gratis.

Untuk memulai, Anda dapat mengaktifkan penggunaan berbayar di Settings > Models untuk org atau enterprise Anda. Klien dan token yang ada akan tetap bekerja (tapi akan lebih cepat dan mendukung konteks yang lebih besar).

Kesimpulan

LLM sedang mengubah cara developer membangun dan mengirimkan software, tapi mengharuskan pengguna menyediakan kunci API berbayar mereka sendiri bisa menjadi penghalang masuk. Keajaiban hanya terjadi ketika npm install, cargo run, atau go test pertama langsung bekerja.

Jika Anda memelihara codebase open source bertenaga AI, Anda harus mempertimbangkan menambahkan GitHub Models sebagai penyedia inferensi default. Pengguna Anda sudah memiliki inferensi AI gratis melalui GitHub, jadi tidak ada kerugian yang berarti untuk membiarkan mereka menggunakannya dengan kode Anda. Ini berlipat ganda jika proyek Anda dapat berjalan di GitHub Actions. Kunci API terbaik adalah tidak ada kunci API!

Dengan membuat inferensi berkualitas tinggi sebagai default gratis untuk setiap developer di GitHub, GitHub Models menghilangkan penghalang terbesar untuk adopsi OSS AI. Dan itu membuka pintu untuk lebih banyak kontribusi, onboarding yang lebih cepat, dan pengguna yang lebih bahagia.

Ingin mencobanya? Lihat dokumentasi GitHub Models atau langsung ke referensi API dan mulai mengirimkan fitur AI yang langsung bekerja hari ini.

Ditulis oleh
Sean adalah software engineer di GitHub, bekerja pada GitHub Models.

Read more