로컬 Ollama로 자동화 프로젝트 해보신 분들 조언 좀 부탁드려요!
05-30
27
안녕하세요 다들 잘 지내시죠? 그동안 바이럴리에서 정보 좀 얻으면서 로컬 LLM이랑 Ollama를 가지고 이것저것 만져보고 있었는데요. 이제 슬슬 본격적으로 자동화 프로젝트를 좀 키워보고 싶어서 경험 있으신 고수님들께 조언을 좀 구하려고요. 지금 자동화 봇을 위한 AI 백엔드를 만들고 있는데, Ollama로 모델 돌리는 것까진 좋지만 봇이 계속 캐릭터를 유지하면서 장기 기억까지 갖추게 하려니 생각보다 쉽지 않네요. 봇이 대화가 길어져도 일관된 성격을 유지하도록 만드는 게 정말 관건인 것 같아요. 그래서 아예 Ollama 외부에서 파이썬이나 타입스크립트로 프롬프트랑 데이터베이스 메모리를 직접 관리하는 구조로 넘어가려고 하거든요. 혹시 SQLite나 벡터 DB 같은 걸로 로컬 Ollama 모델에 대화 맥락을 계속 주입하는 시스템을 성공적으로 만들어보신 분 계실까요? 그리고 봇 캐릭터 유지할 때 다들 그냥 정교한 시스템 프롬프트를 쓰시나요, 아니면 아예 마음먹고 LoRA로 파인튜닝을 하시나요? 마지막으로 API 제어나 필터링 없는 로우 데이터를 뽑아내는 게 목적이라면 Ollama보다 더 추천할 만한 대체제가 있을지도 궁금해요. 혹시 로컬 모델 기반으로 나만의 스택을 직접 구축해보신 분 계시면 경험담 좀 공유해주시면 정말 감사하겠습니다!
등급 1등급 2
2P100P
댓글
제목글쓴이날짜조회
페이스북 광고 성과가 좋아서 너무 기분 좋네요!
06-0218
OFM VA 경력이 있는데 이제 뭘 하는 게 좋을까요?
06-0216
프리랜서를 노린 악성코드 주의하세요+2
06-0216
텔레그램 중개인 믿어도 될까요?+4
06-0219
도움 좀 구하고 싶어요
06-0221
체리 나무용 방조망, 얼마나 사야 할까요?+23
06-0218
오늘자 뉴스 공유합니다.+16
06-0122
영화 역사상 가장 웃긴 장면들을 공유해 봐요+19
06-0122
정보가 너무 많아서 정신이 없네요+13
06-0116
레볼루트 쓰는 분들 아마존 기프트카드 확인해보세요+10
06-0119
2026년에도 유료 백신 프로그램 쓰시는 분들 계신가요?+8
06-0119
여러분은 어떤 AI 툴을 주로 쓰고 계신가요?
06-0120
태국 마사지 경험 공유 부탁해요+18
06-0123
바이럴리에서 페이스북 광고 클로킹 전문가 찾고 있어요(암호화폐 믹서, 아르헨티나 타겟)
06-0118
마이크로소프트 스토어에서 무비 메이커 다운로드 페이지가 안 떠요.+10
05-3118
개인적인 만남을 위해 직접 광고를 돌려본 적 있으신가요?+4
05-3116
바이럴리 블랙햇 광고 전문가 구합니다
05-3117
연간 496만 달러 이상 버는 방법 공유해요+1
05-3122
요즘 자꾸 나 자신을 잃어가는 기분이에요+13
05-3121
로컬 Ollama로 자동화 프로젝트 해보신 분들 조언 좀 부탁드려요!+1
05-3027