로컬 Ollama로 자동화 프로젝트 해보신 분들 조언 좀 부탁드려요!
05-30
24
안녕하세요 다들 잘 지내시죠? 그동안 바이럴리에서 정보 좀 얻으면서 로컬 LLM이랑 Ollama를 가지고 이것저것 만져보고 있었는데요. 이제 슬슬 본격적으로 자동화 프로젝트를 좀 키워보고 싶어서 경험 있으신 고수님들께 조언을 좀 구하려고요. 지금 자동화 봇을 위한 AI 백엔드를 만들고 있는데, Ollama로 모델 돌리는 것까진 좋지만 봇이 계속 캐릭터를 유지하면서 장기 기억까지 갖추게 하려니 생각보다 쉽지 않네요. 봇이 대화가 길어져도 일관된 성격을 유지하도록 만드는 게 정말 관건인 것 같아요. 그래서 아예 Ollama 외부에서 파이썬이나 타입스크립트로 프롬프트랑 데이터베이스 메모리를 직접 관리하는 구조로 넘어가려고 하거든요. 혹시 SQLite나 벡터 DB 같은 걸로 로컬 Ollama 모델에 대화 맥락을 계속 주입하는 시스템을 성공적으로 만들어보신 분 계실까요? 그리고 봇 캐릭터 유지할 때 다들 그냥 정교한 시스템 프롬프트를 쓰시나요, 아니면 아예 마음먹고 LoRA로 파인튜닝을 하시나요? 마지막으로 API 제어나 필터링 없는 로우 데이터를 뽑아내는 게 목적이라면 Ollama보다 더 추천할 만한 대체제가 있을지도 궁금해요. 혹시 로컬 모델 기반으로 나만의 스택을 직접 구축해보신 분 계시면 경험담 좀 공유해주시면 정말 감사하겠습니다!
등급 1등급 2
2P100P
댓글
제목글쓴이날짜조회
돈 좀 필요해요, 도와주세요.+2N
4시간전1
틴더 관련 정보 구해요 N
5시간전1
오늘 프랑스에 400달러 걸었어요 :D (피파) +18N
5시간전0
가장 좋은 농담 좀 주세요 N
7시간전1
내 사업에서 가장 시간을 잡아먹던 건 일이 아니라 정보 찾는 거였어요.N
8시간전0
스트라이프와 동작하는 프록시는 어디서 구할 수 있나요?N
10시간전0
프랑스 vs 스페인 & 잉글랜드 vs 아르헨티나 — 준결승 예측+6N
10시간전0
준결승 예측: 프랑스 vs 스페인 & 잉글랜드 vs 아르헨티나
+6N
10시간전0
정액 묻은 USB 포트 내부 말리는 방법 (맥북 사용자) +5N
11시간전0
포럼에서 번 크립토로 집 사기
contentN
12시간전0
프리미엄 가입하려고 하는데 조언 좀 주세요!+2N
13시간전0
트위터로 하루에 2,000달러 벌었어요
content+3N
13시간전0
AI 여자친구가 사업을 도와주면 세금 공제 처리할 수 있나요? +6
1일전0
당신의 마음 상태를 반영하는 게임은 뭘까요?
+2
1일전0
온라인에서 고수 해커와 얘기를 나눠보고 싶은데, 혹시 바로 잡아먹힐까 봐 두렵네요 +4
1일전0
AI 결과물이 실제로 전환되고 있나요? +8
1일전0
미국 기업이 반사 햇빛을 팔려고 우주에 거울을 보낸다
FCC가 목요일에 142kg짜리 단일 데모 위성에 대한 라이선스를 승인했어요. 냉장고 크기 만한 Eärendil-1은 얇은 60피트 사각 거울을 펼어서 태양빛을 반사해 지구 위에 3마일 너비의 영역을 비출 거예요. 제작사 Reflect Orbital의 홈페이지에 따르면, 하늘에서 보름달만큼 밝은 점을 +6
1일전0
시간을 아껴주는 가장 똑똑한 ‘게으른’ 요령은 무엇인가요?","contente careful with quotes. Let's output exactly: {+14
1일전0
AI가 4차 산업혁명이라고 볼 수 있을까?+2
1일전0
더 이상 살 수 없는 AI 도구 하나 뭐예요? (ChatGPT 제외)+4
1일전0