로컬 Ollama로 자동화 프로젝트 해보신 분들 조언 좀 부탁드려요!
2시간전
1
안녕하세요 다들 잘 지내시죠? 그동안 바이럴리에서 정보 좀 얻으면서 로컬 LLM이랑 Ollama를 가지고 이것저것 만져보고 있었는데요. 이제 슬슬 본격적으로 자동화 프로젝트를 좀 키워보고 싶어서 경험 있으신 고수님들께 조언을 좀 구하려고요. 지금 자동화 봇을 위한 AI 백엔드를 만들고 있는데, Ollama로 모델 돌리는 것까진 좋지만 봇이 계속 캐릭터를 유지하면서 장기 기억까지 갖추게 하려니 생각보다 쉽지 않네요. 봇이 대화가 길어져도 일관된 성격을 유지하도록 만드는 게 정말 관건인 것 같아요. 그래서 아예 Ollama 외부에서 파이썬이나 타입스크립트로 프롬프트랑 데이터베이스 메모리를 직접 관리하는 구조로 넘어가려고 하거든요. 혹시 SQLite나 벡터 DB 같은 걸로 로컬 Ollama 모델에 대화 맥락을 계속 주입하는 시스템을 성공적으로 만들어보신 분 계실까요? 그리고 봇 캐릭터 유지할 때 다들 그냥 정교한 시스템 프롬프트를 쓰시나요, 아니면 아예 마음먹고 LoRA로 파인튜닝을 하시나요? 마지막으로 API 제어나 필터링 없는 로우 데이터를 뽑아내는 게 목적이라면 Ollama보다 더 추천할 만한 대체제가 있을지도 궁금해요. 혹시 로컬 모델 기반으로 나만의 스택을 직접 구축해보신 분 계시면 경험담 좀 공유해주시면 정말 감사하겠습니다!
등급 1등급 2
2P100P
댓글
제목글쓴이날짜조회
요즘 자꾸 나 자신을 잃어가는 기분이에요N
34분전0
로컬 Ollama로 자동화 프로젝트 해보신 분들 조언 좀 부탁드려요!N
2시간전1
base 44로 어드민 패널 있는 앱 만들 수 있나요?N
11시간전3
성공적인 백링크 프로필 구축 팁N
12시간전3
마이클 만 감독의 '블랙햇' 어땠나요?+1N
12시간전3
2026년에는 수사기관이 어떻게 바이럴리 해커들을 추적할까요?+1N
15시간전1
주말 퀴즈 17탄이 왔어요!+9N
15시간전3
여러분은 자아를 극복하셨나요? 어떻게 하셨는지 궁금해요.+7N
15시간전1
바이럴리에서 해외 법인 판매 가능한가요?N
17시간전3
구글이 욕을 많이 먹는 것 같아요+9N
23시간전4
범블 인증 대행해요
1일전4
25K 팔로워 틱톡 계정 라이브 정지 먹었어요+3
1일전4
이제 남부 델리에서 콜걸 서비스를 이용할 수 있어요+2
1일전2
A2P 인증 때문에 너무 힘들어요
1일전4
독일 쪽 게스트 포스팅 가능하신 분 찾아요
1일전4
여러분이 생각하는 최고의 소름 돋는 장면은?+7
1일전4
40세 전에 부자가 되는 현실적인 방법 알려드려요+4
2일전6
휴가 가려니까 고객들이 몰려오네요, 진짜 화납니다!
2일전5
.site 도메인으로 검색 상위 노출해 보신 분 계신가요?+1
2일전6
다들 가장 자신 있게 만드는 요리가 뭐예요?+34
2일전8