본문 바로가기
반응형

AI19

모델 서빙 솔루션 비교 vLLM, TensorRT-LLM, Ollama 비교 60B 대형 모델 서빙 솔루션 비교: vLLM, TensorRT-LLM, Ollama최근 인공지능(AI) 모델이 급격히 커지면서, 대형 언어 모델(LLM)을 효과적으로 서빙하는 방법이 점점 중요해지고 있습니다. 특히 60B 정도 크기의 모델을 서빙할 때, 성능과 효율성을 극대화하는 게 관건이죠. 오늘은 이런 대형 모델을 서빙하는 세 가지 솔루션인 vLLM, TensorRT-LLM, 그리고 Ollama를 비교해볼게요! 🤖1. vLLM개요vLLM은 대형 언어 모델의 메모리 사용과 처리 성능을 극대화하기 위한 오픈소스 프레임워크힙니다.. 주로 NLP 애플리케이션에서 다수의 사용자 요청을 실시간으로 처리해야 할 때 유용한데요, 비동기 텐서 할당이라는 독특한 메모리 최적화 기술을 사용합니다.장점 👍메모리 효율.. 2024. 9. 5.
DeepL 자꾸 실수해... AI 카테고리에 쓰는건 좀 이상하지만, DeepL 관련 내용이니까.. 제가 DeepL 을 많이 쓰는데요, 번역에 상당히 심각한 오류들이 몇번 나와서 글 남겨봅니다. 그 예로, 최근에 번역했던 내용입니다. Which of the following animals is the LEAST ferocious? a. a killer whale b. a wolf c. a cheetah d. a goat DeepL 의 번역 papago 의 번역 google 의 번역 DeepL 만 완전 반대되는 질문을 하고 있네요. 이번 한번이 아니라 저렇게 질문을 반대로 해석하는 경우가 정말 종종 있습니다. 번역 비용은 잴 비싼데, 저런 오류가 자주 보여서 사용을 해야할지 고민이 되네요. 이 글은 참고, 선택은 자유, 2024. 2. 12.
[Stable Diffusion] Sampling Steps 에 따른 결과 보기 # prompt a close up portrait photo of 26 y.o woman in wastelander clothes, long haircut, pale skin, slim body, background is city ruins, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3 # Negative prompt (deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime, mutated hands and fingers:1.4), (deformed, distort.. 2023. 3. 23.
Hugging Face txt2img 인기모델 리스트 및 링크 (모델 링크 업데이트 2024-09-17)Realistic_Vision_V5.1.safetensors, Realistic_Vision_V5.1-inpainting.safetensorsanything-v4.5-vae-swapped.safetensorssd-v1-5-inpaintingmdjrny-v4moDi-v1-pruneddreamlike-photoreal-2.0(링크는 hugging face repository 주소입니다)어떤 모델이 좋다고 할수 없는게, 상황에 따라서 써야 할것 같고 prompt 를 어떻게 입력하고 sampling method 와 steps 등.. 설정에 따라 결과물이 많이 바뀝니다.여기에 controlnet 과 lora 를 사용하면 만족할 만한 결과물을 얻을 수 있을 것 같습니다.시간.. 2023. 3. 23.
[Stable Diffusion] Anything V4 prompt 로그 이하 Negative prompt 추가 Negative prompt: lowers, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name 2023. 3. 23.
[Stable Diffusion] AnythingV3 생성 sample Sampling Method : Euler a 2023. 3. 22.
[Stable Diffusion] Sampling method 에 따른 이미지 생성 결과 로그성 포스팅입니다. 별 내용없이 생성된 이미지 비교하려고 작성했습니다. 아래는 여러 커뮤니티에서 주워들은 이야기 입니다. PLMS, DPM++ 2M Karras 또는 LMS/Keras 을 사용하면 속도가 빠르다더라 txt2img의 경우 Euler를, img2img의 경우 LMS 를 쓴다더라 Euler a와 DDIM 두 개만 사용한다더라 같은 프롬프트에 Sampling Method 만 바꿔서 생성한 이미지들을 쌍으로 올려보겠습니다. Mac 은 하나 생성 시 10~15초 정도 걸리는듯 합니다.. Windows 에서 더 해봐야겠네요. 결론 많이 해보지는 않았지만, txt2img 만 변환해봤는데 LMS 보다는 Euler 이 더 잘 나오는 것 같습니다. LMS 는 뭔가 언발란스한.. LMS 는 txt2txt 해.. 2023. 3. 22.
[Stable Diffusion] Prompt 에 따른 생성 이미지 예제 Stable Diffusion 여러가지 prompt 를 입력하고, 결과를 확인하기 위해서 작성한 로그성 포스트 입니다. prompt {{{masterpiece}}}, {{{best quality}}}, {{ultra-detailed}}, {cinematic lighting}, {illustration}, {beautiful detailed eyes}, {1girl}, upper body, looking at viewer, depth of field Negative prompt: lowers, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, no.. 2023. 3. 22.
[Stable Diffusion] WebUI Mac M1 에서 실행해보기 제 Mac 에서 webui 실행해서 생성한 이미지 입니다. 1. Brew 설치는 이전 글 참고https://hello-bryan.tistory.com/223 [Mac] brew install . brew 설치하기Linux의 apt-get 이나 yum 같은 패키지 매니저입니다. Brew site https://brew.sh/index_ko Homebrew The Missing Package Manager for macOS (or Linux). brew.sh 위 사이트에 설명이 다 나와있지만 간단히 설명하면 아래 명령어를hello-bryan.tistory.com 2. 필요한 것들 설치터미널을 열어서 아래 명령어 실행.arch -arm64 brew install cmake protobuf rust python.. 2023. 3. 22.
Quantization (양자화) 에 대해서. 간단히 예를들어 float32(아래 라인) 범위의 값들을, int8(위 라인)의 범위에 맞추는 것 신경망(Neural Networks)을 양자화하는 이유 신경망에는 많은 매개변수가 있고 공간을 차지합니다. 모델 파일의 크기를 줄일 수 있습니다. 컴퓨팅 리소스를 줄일 수 있습니다. 모델을 더 빠르게 실행하고 더 적은 전력을 사용합니다. 양자화의 이점 Faster compute Low memory bandwidth Low power Integer operations supported across CPU/DSP/NPUs 양자화의 Trade-offs 모델 정확도가 낮아짐. - 위 사진처럼 넓고 자세한 범위에서 작은 범위로 줄어들기 때문에. - 하지만 드물게 약간의 정확도를 더 얻는 경우도 있음 - 즉, 레이어 .. 2022. 1. 26.
728x90
반응형