Azure OpenAI 와 Gradio를 활용하여 나만의 GPT 제작 및 웹 배포하기 (2)- Gradio를 사용해 나만의 GPT 배포

 

이번 포스팅에서는 MicroSost AI school 5th에서 배운 Azure OpenAI API를 활용하여 개인화된 GPT를 만들고, Gradio를 사용해 이를 웹 애플리케이션으로 배포하는 방법을 정리했습니다.

https://nakyung1007.tistory.com/5

Azure OpenAI 와 Gradio를 활용하여 나만의 GPT 제작 및 웹 배포하기 (1)-REST API를 활용하여 Azure OpenAI 모

 

5.  Huggingface에서 Gradio 프로젝트를 배포

(1) Huggingface 사이트에 접속후 Create a new space를 클릭

 

(2) huggingface에서 밑에 화면처럼 나온다. 

 

6. 터미널을 열어서 git clone 해준다. 

(1) 터미널을 키고 git clone 해주고 폴더에 들어가면 파일 생성된다.

 

(2) 자신의 폴더에 들어가서 app.py 만들어준 후 밑에 코드 작성후 자신의 endpoint, api_key를 넣어줍니다.

import gradio as gr
import requests

# Azure OpenAI API 호출 함수
def ask_gpt(user_text):
    endpoint = "자신의 endpoint"
    api_key = "자신의 api_key"
    
    headers = {
        "Content-Type": "application/json",
        "api-key": api_key
    }
    payload = {
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": user_text}
        ],
        "temperature": 0.7,
        "max_tokens": 800
    }
    
    response = requests.post(endpoint, headers=headers, json=payload)
    if response.status_code == 200:
        return response.json()["choices"][0]["message"]["content"]
    else:
        return f"Error: {response.status_code}, {response.text}"

# Gradio 인터페이스
interface = gr.Interface(
    fn=ask_gpt,
    inputs="text",
    outputs="text",
    title="자신의 맞게 작성",
    description="자신의 맞게 작성"
)

# 실행
interface.launch()

 

(3) 터미널에가서 git add 해준다.

 

(4) 터미널에서 git push해준다.

- 이때, Username에는 자신의 huggingface 아이디 넣어준다.

- password는 자신의 huggingface에서 access token을 넣어준다. 

 

7. 이제 나만의 GPT-4o-mini가 완성된걸 볼수있다.