개요

LLM 의 발전으로 많은 분야에서 전에 없던 생산성의 향상이 나타나고 있습니다.
개발자 역시 copilot 과 chatgpt 를 사용해 개발하는 것에 많이 익숙해져있습니다.

그럼 쿠버네티스를 사용하는 sre, devops 는 어떨까요?
제 발표에서는 개발자, sre, devops 를 위한 쿠버네티스 copilot k8sgpt 를 소개합니다.
k8sgpt 는 K8sGPT gives Kubernetes SRE superpowers to everyone 이라는 내용으로 쿠버네티스 사용자, 관리자에게 superpower 를 주는 툴입니다.
쿠버네티스에 아직 입문 단계라면 무엇을, 어떻게 해결해야하는지에 대해 도움을 주고, 관리자라면 업무에 도움을 줘 생산성을 높여줍니다.
물론 "인프라에 대해서는 너의 뇌를 믿어라!"라는 강경 sre, devops 가 있었지만 시대의 흐름을 막을 순 없었습니다.
모두 k8sgpt 의 데모를 보고는 태도가 달라졌기 때문입니다.

발표

쿠버네티스 gpt

동작방식

예시
크룹백 발생
analyze를 하면 프롬프터화 되고 llm 프로바이더에게 넘김
이를 llm이 답변하는 방식
cli로 사용도 가능

아마도 에러를 이벤트를 기준으로 찾는 게 아닐까 싶다.
많은 리소스의 모든 이벤트가 담기는 곳을 기준으로 찾는건가.

현황

현재는 샌드박스 프로젝트로도 등재됨
두뇌파의 공격을 받고 있음
5000개 가량의 스타를 받음

필요성

쿠버 - 현대 인프라의 표준
그러나 막상 사용해보면 꽤 어렵다.
다양한 리눅스 배포판에서 발생하는 문제가 있기도 하고, 내부 관리할 것도 많다.
버전이 자주 올라가서 팔로업하기 쉽지 않다.

그래서 클러스터를 사용하는 모든 사람들이 필요하다.

사용법

--interactive 모드를 하면 대화형 모드 진입
이건 초심자에게 유용함

고수한테는 문의가 줄어드니 이득..?

k8sgpt opt

오퍼레이터
클러스터 내부에 서버 형태로 띄우면 여러 팀이 사용하는 네임스페이스를 모니터링하고 솔루션을 내놓음
멀티 클러스터모니터링도 가능

분석 결과를 슬랙에 보내는 것도 가능

커스텀 로직도 만들 수 있다.
쿠버에서 문제느 아닌데, 운영 입장에서 문제라 생각할 만한 사항
가령, 가용가능한 gpu가 n개 이하일때라던가, 잡이 n분 이상 도는 것.

프로메테우스 메트릭 수집 기능도 제공해서 그라파나로 볼 수도 있다.

llm에 넘길 데이터가 걱정되니 비식별화도 지원한다.
사내망의 ai에다가 넘겨도 되니까 보안적으로도 얼마든지 안전하게 사용할 수 잇다.

커뮤니티

파인튜닝 데이터셋도 있음
허깅페이스 프로바이더로 사용해볼 수도 있다.

후기

솔직히.. 그냥 현재 문제를 진단하는 것 자체가 핵심 기능 같다.
어차피 llm에 넘기는 게 어려운 것도 아니고.

커스텀한 에러에 대해서도 잘 답변해준다면 모르겠는데 그것도 아니고..

아니면 llm의 답변을 기반으로 알아서 조치까지 해준다면 확실히 기능이 좋다고 생각할 것 같다.

참고