가격무료
인기 태그
딥러닝 · 0오픈소스 · 0+1개
도구 개요
이런 분께 딱 맞아요
⭐ 특히 추천
LLM 엔지니어
모델 서빙 비용을 낮추며 속도를 올리고 싶어요
플랫폼 엔지니어
많은 요청을 안정적으로 처리하고 싶어요
AI 연구원
큰 모델을 빠르게 시험 배포하고 싶어요
주요 기능
✨ 차별점
고속 추론
요청을 묶어 응답 속도를 크게 끌어올립니다
메모리 절약
키 캐시를 효율적으로 써 자원을 아낍니다
표준 API
널리 쓰는 호출 규격을 그대로 지원합니다
유저 태그
리뷰
아직 리뷰가 없어요
첫 리뷰를 남기면 다른 사용자에게 큰 도움이 돼요