배경이전 단계에서 두 가지 모델을 별도로 테스트해봤다.빠르지만 정확도 80% llama3.2 모델9배 느리지만 정확도 100% qwen3.5:2b 모델정확도 100%는 가지고 싶지만, qwen은 너무 느려서 아쉽다고 생각했다. 처음에는 상호 피드백을 기반으로 하는 자가 진화적 시스템을 구상했으나, 기능에 맞지 않는 오버 엔지니어링이라 생각하여 채택하지 않았다. 다른 방법을 구상하기 위한 조사를 시작했다. llama가 실패하는 케이스를 살펴보면 일반적으로 좀 '헷갈릴만한' 질의였음이 드러났다. 가령, `-1 - 1 = ?`의 답은 -2인데, 기존의 프롬프트는 이를 `subtract(-1, -1)`로 처리하기도 했다. 나는 llama 모델의 기본적인 지능이 낮다는 것을 인정했다. 대신 그에게 정형화된 형태의..

프리 티어 LLM 사용이번 문제를 해결하기 위해, 그리고 글을 쉽게 작성하기 위해 프리 티어 Gemini, ChatGPT를 사용했다. Gemini는 내가 제공했던 컨텍스트를 걷어내는 것을 추천해주었고, 그것이 실제로 정확도를 향상시켰는지의 여부와는 별개로, 오버헤드의 원인을 알게 되었다는 측면에서 큰 도움을 받았다. 이들 LLM에게는 시스템 프롬프트 작성을 거의 전적으로 의지했다. 불릿 포인트로 정리된 내용들은 Gemini가 정리해준 질의 컨텍스트를 내가 다시 다듬은 것이다. 업계에서 사용하는 정식 용어는 아닐지라도, 문제 상황을 잘 요약했다고 생각하여 그대로 사용했다.구조 개선: '가짜 컨텍스트' 제거테스트 케이스를 늘려 나갈수록 현재 에이전트가 얼마나 견고하지 못한지 느끼게 됐다. 막연하게 시스템 프..

가장 쉽게 검증할 수 있는 주제인 '계산기 만들기'로 가볍게 시작해보려 한다. 덕분에 테스트는 단순 명료하다.from model import plusdef test_answer(): assert plus(1, 1).value == 2 Ollama는 '구조화된 출력(structured-outputs)' 기능을 자체적으로 지원해서 정말 쉽고 빠르게 구현할 수 있었다. 다음에는 좀 더 복잡한 계산 기능을 구현하도록 해보자. from ollama import ChatResponsefrom pydantic import BaseModelclass Result(BaseModel): value: intdef chat(message: str): from ollama import chat respon..

2026 / 04 / 29전기세만 내면서 내가 원하는 기능을 수행하는 코딩 에이전트 최종 목표는 로컬에서 '무엇이든' 할 수 있는 시스템을 구축하는 것이다. 그 전과정을 함께할 코딩 에이전트가 있으면 좋을 것 같다고 생각했다. 매달 나가는 구독료가 아까운 것도 있지만, 크게 보면 데이터 주권이나 프라이버시와도 연관이 있다. 한국에서도 자체적으로 모델을 만들어내고 있는데, 이를 사용해보는 경험 자체로 의미가 있다고 생각했다.자투리 시간을 이용한 솔로 빌딩으로 유의미한 결과물을 만들 수 있을지 자신은 없지만, 소프트웨어 엔지니어로서 필요한 역량들을 키울 수 있을 것 같아 기대 중이다. 틈틈이 시간을 내서 작업하고, 시행착오나 진전을 기록할 예정이다. 2026 / 04 / 30로컬 inference 환경 조사..