Llama 3란? : 초보자를 위한 Llama 사용법

라마 3 한줄 요약

Llama 3는 2024년 4월 18일 Meta가 공개한 차세대 LLM(Large Language Model, 대규모 언어 모델)으로, 구글의 제미나이(Gemini)와 앤트로픽의 클로드(Claude), 미스트랄(Mistral) 등 주요 LLMs 중 가장 높은 성능을 보여주고 있는 오픈소스 언어모델입니다.

Meta는 최근 Llama 3(8B, 70B)라는 차세대 대규모 언어 모델을 발표(클릭)했습니다. Llama 3는 현재 가장 강력한 오픈 소스 언어 모델 중 하나로, 그로크(groq)와 허깅챗(huggingchat) 등 다양한 플랫폼에서 사용할 수 있습니다. 아래 그림에서 보는 바와 같이 클로드 소넷, 미스트랄 미디엄, GPT-3.5 등 인간의 평가에서 50% 이상의 비교우위의 성능을 보여주고 있습니다.

A-Dic

• META: 페이스북의 모회사로 변경된 기업으로, 메타버스 구축에 주력하며 사회적 가치 창출을 목표로 하는 기술 기업입니다.
• LLM: Large Language Model의 약자로, 방대한 데이터를 학습하여 인간과 유사한 자연어 처리 능력을 갖춘 대규모 언어 모델입니다.
• Gemini: 구글이 개발한 최신 AI 모델로, 텍스트, 이미지, 오디오, 동영상을 이해하고 다양한 분야의 복잡한 작업을 수행할 수 있습니다.
• Claude: 미국 스타트업 Anthropic이 개발한 대화형 AI 모델로, 25개 이상의 언어를 지원하고 다양한 텍스트 기반 작업 수행 가능하며, PDF파일 등 업로드를 통한 요약 서비스도 가능합니다.
• Mistal: 프랑스의 AI 스타트업으로, 2023년 4월 28일에 아르튀르 멘슈와 티모테 라크루아가 설립했습니다. 본사는 파리에 있으며, 마이크로소프트와 협력하여 자체 개발한 LLM을 제공하고 있습니다.
• 오픈소스: 누구나 자유롭게 사용, 수정, 배포할 수 있는 소프트웨어로, 협업과 혁신을 촉진하는 개방형 개발 모델입니다.

A-Book

메타는 2023년 7월 라마 2를 많은 사람들이 이용할 수 있는 오픈소스로 세상에 공개했습니다. ..중략.. 메타는 인공지능 모델을 개방함으로써 함께 모델을 테스트하고, 결과를 공유하는 과정을 통해 인공지능 도구의 문제점을 . 더빠르게 발견하고 개선하여 궁극적으로 더 큰 사회적 혜택으로 돌아올 것이라 밝혔습니다. ..중략.. 모델의 크기를 키우는 것은 전력 소비와 탄소 배출량 등 비용과 환경의 문제를 발생시킵니다. 라마는 이 부분에 관심을 두고 GPT-3.0(175B)보다 모델의 크기는 절반(66B)로 줄였지만 양질의 데이터를 대규모로 투입하여 더 좋은 성능을 보여 주었습니다. 라마2는 누구나 쉽게 용도에 맞추어 인공지능 모델을 활용할 수 있도록 기본형(66B)를 비롯해 3가지 버전(7B, 13B, 33B)을 추가로 출시했습니다.

한눈에 보이는 생성형 AI와 자연어 처리 그림책 p.203

인공지능(Artificial Intelligence)은 인간의 인지/추론/판단 등의 능력을 컴퓨터로 구현하기 위한 기술 혹은 그 연구 분야 등을 총칭하는 용어로 사용된다. 컴퓨터와 같은 기계는 인간에 비해 제어, 연산 등의 능력이 뛰어나지만, 사람이 가지고 있는 지능을 기반으로 하는 인지/추론/판단 등의 능력은 가지고 있지 않다. 이러한 사람 고유의 능력을 컴퓨터에서 구현해보고자 시작된 것이 인공지능이다.

두산백과의 인공지능 정의

Llama 사용법(feat. groq)

직접 모델을 내 컴퓨터에 설치하지 않고 라마 3의 성능을 확인할 수 있는 방법을 소개드립니다. 바로 그로크(Groq) 클라우드를 통해 무료로 이용해 볼 수 있습니다.

그로크 웹사이트 접속

우선, 그로크 웹사이트(groq.com)에 접속해서 ‘sign in to Groq’을 클릭해서 구글 등으로 로그인 합니다.

모델 선택

그로크 웹사이트에 로그인하고 나면 상단에서 모델을 선택할 수 있습니다. 모델의 종류로는 아래 그림과 같이 Gemma-7b, Llama3-70b, Llama3-8b, Mixtral-8x7b 등이 있습니다.

라마 3 70B 사용 예시(feat. groq)

메시지 입력 창에 원하는 지시를 입력합니다. 라마 3에 대한 소개를 부탁했더니 아래 그림과 같이 영어로 설명을 해줍니다. 한글로 질문했지만 영어로 답을 하도록 디폴트 세팅이 되어 있는거 같습니다. 프롬프팅을 할 때 마지막에 한글로 말해달라고 해야 할 것 같습니다.

Llama 사용법(feat. huggingface)

허깅챗 접속하기

라마3 사용을 위해 허깅페이스의 허깅챗 페이지에 접속합니다. 조금 아쉬운 것은 클릭 몇번만으로 로그인할 수 있는 옵션이 없어서 허깅페이스 회원가입을 별도로 하셔야 합니다. 물론 비회원으로도 3회 정도는 무료로 사용 가능합니다.

모델 선택

톱니바퀴 모양을 눌러서 모델을 선택합니다. 선택할 수 있는 모델은 아래 그림과 같이 라마3, 미스트랄, 젬마, 파이-3 등 그로크보다 더 많은 것을 알 수 있습니다. 그리고 해당 모델 공식 홈페이지와 소스코드 공개 페이지 링크를 통해 더 세부적인 것도 알 수가 있습니다. 모델 선택후 ‘Activate’를 클릭해 줍니다. System Prompt를 통해서 페르소나 등 사전에 세팅가능한 옵션도 있습니다. 프롬프팅 관련된 일반사항은 Life2.0: IT Playground(클릭)에서 확인해 보시기 바랍니다.

라마 3 70B 사용 예시(feat. 허깅챗)

허깅챗에서도 그로크와 마찬가지로 영어 응답이 기본 세팅입니다. 지시를 내릴 때 한글로 작성해달라고 주문할 필요가 있습니다. 아래 그림에서 보시다시피 한글로 응답시에 일본어를 명시하는 등 약간의 오류가 발생하고 있음을 알 수가 있습니다.

정리하기

Meta의 Llama 3 발표는 오픈 소스 AI 기술의 또다른 지평을 열었습니다. Llama 3는 현재 가장 강력한 오픈 소스 언어 모델 중 하나로, 그로크나 허깅페이스와 같은 플랫폼에서 사용할 수 있습니다. 라마3에 대해 더 체계적으로 알아보시려면 메타에서 소개하고 있는 Getting Started Guide로 접속해 보시기 바랍니다.

Meta는 현재 라마 3 400B 모델을 학습 중이라고 하는데 현재 성능평가는 GPT-4-터보 보다 더 우수한 것으로 알려져 있습니다. 조만간 연구 논문을 공개할 것이라고 하는데 오픈소스 언어모델로 GPT4 등과 같은 상용모델보다 더 활발히 사용되기를 기대해 봅니다.

‘secondlife.lol’의 모든 콘텐츠는 저작권법의 보호를 받습니다. 무단 전재와 복사, 배포 등을 금합니다.