생각 풀어내기
close
프로필 사진

생각 풀어내기

github: @mete0rfish

  • 분류 전체보기 (14)
    • Java & Kotlin (2)
    • Spring (7)
    • Server (1)
    • DB (2)
    • Reflection (0)
  • 홈
  • 태그
  • 방명록

LLM으로 데이터 형식 통일하기

개요구글 폼으로 설문 받은 내용들을 구글 시트에 저장한다. 그 이후 배치를 돌려 구글 시트로 부터 데이터를 가져와 DB에 저장하도록 한다.그런데 구글 폼에서 입력받는 항목 중 '회사명'이 통일되어 있지 않아 같은 회사여도 응답자마다 다르게 작성하는 경우가 발생한다. 예) 삼성 전자 / 삼성전자 / (주)삼성전자 / 삼전 등 이를 통일하기 위해 어떤 가공이 필요하다. 그 가공을 할 수 있는 방법으로 2가지가 존재한다.규칙 기반인 ElasticSearch와 인공지능 기반 LLM이다. 각 방법의 특징 및 장단점을 표로 정리하면 아래와 같다. 비교 항목ElasticSearch (규칙/검색 기반)LLM (인공지능 기반)주요 방식키워드 매칭, 유의어 사전, 퍼지 검색문맥 파악, 의미론적 추론정확도규칙 내에서는 1..

  • format_list_bulleted 카테고리 없음
  • · 2026. 1. 8.

[n8n] 일일 로그 분석기 도입

개요현재 운영 중인 스프링 부트 애플리케이션에 대한 로그를 일일히 확인하는데에 귀찮음이 따른다.이를 n8n 파이프라인을 통해 자동화하면 좋을 것 같다는 생각이 들어 적용해보고자 한다. 흐름현재 로그 수집을 위해 Loki를 사용 중이다. 이렇게 수집된 로그를 바탕으로 Gemini에게 로그를 바탕으로 평가해달라는 프롬프트를 작성한다. 그리고 완료된 결과물을 Discord를 통해 알림으로 받아볼 수 있도록 설정한다. 트러블 슈팅생각보다 환각 문제가 많이 발생했다.처음에 Gemini에게 Loki에서 가져온 로그를 바로 분석하도록 구현했더니 완전히 이상한 결과물을 내놓았다. [Input][ { "total_count": 34, "info_count": 30, "warn_count": 2, ..

  • format_list_bulleted 카테고리 없음
  • · 2025. 12. 29.

[Java] 딥 다이브 (String, Wrapper Class, Asynchronize)

StringString의 불변성과 finalString은 클래스 자체가 final이고, 내부에 문자 배열도 final이라 한 번 생성하면 내용이 절대 바뀌지 않는 불변객체이다. 이런 연산들(+, substring, replace 등)은 기존 객체를 수정하는 게 아니라 새로운 String 객체를 생성해 반환한다. 불변성이 있기 때문에 멀티스레드 환경에서도 동기화 없이 안전하게 공유할 수 있고, 해시값이 변하지 않아 HashMap 키로 쓰기에도 적합합니다. 그렇기 때문에 String을 + 와 사용하는 경우 아래와 같은 원리로 문제가 발생한다.매 반복마다 새로운 String이 생성되고, 기존 문자열 전체를 새 배열에 복사시간 복잡도 관점에서 사실상 누적 O(n²) 수준이 되어 큰 입력에서 속도가 급격히 느려짐..

  • format_list_bulleted Java & Kotlin
  • · 2025. 11. 30.

[Spring Boot] Redis Pub/Sub 기반 쿠폰 발급 시스템 구축

개요대규모 시스템이라는 상황을 가정하고 쿠폰 발급이라는 주제로 아키텍처 설계 및 구현을 해보려고 한다.현재 Spring Boot와 Kotlin을 통해 웹 서버를 구축하고, Docker Compose와 JMeter를 이용하여 부하 테스트를 진행한다.https://github.com/mete0rfish/huge-traffic-test/tree/main GitHub - mete0rfish/huge-traffic-test: 가상 시나리오 기반 대규모 트래픽 시스템 구축 실험가상 시나리오 기반 대규모 트래픽 시스템 구축 실험. Contribute to mete0rfish/huge-traffic-test development by creating an account on GitHub.github.com 시나리오 ..

  • format_list_bulleted Spring
  • · 2025. 11. 30.

[Spring Boot] AI 서빙에서 WebClient와 RestClient 비교

https://github.com/dog-feet-bird-feet/server/commit/b5879ac57777dba96bd58d0fd9128c9391ba85ac개요기존 RestTemplate의 블로킹 통신 방식이 동시 요청 처리 시 병목 현상을 일으켜 응답 지연을 발생시키는 것을 발견했다. 이를 해결하고자 WebFlux 기반의 WebClient를 도입하여 웹 서버와 AI 서버 간의 통신을 논블로킹 비동기 방식으로 전환했다.그러나 JPA의 Blocking으로 인해 큰 성능 차이는 발생하지 않았다.따라서, 블로킹 방식이고 러닝 커브가 없는 RestClinet를 도입하였다. 문제 정의K6을 통한 부하 테스트로 발견한 기존 방식의 RestTemplate 기반의 통신 방식의 한계가 있다고 판단했다. Rest..

  • format_list_bulleted Spring
  • · 2025. 11. 30.

[AI] FastAPI를 활용한 Tensorflow 모델 서빙

🔎 현재 상황AI 기반의 필적 감정 서비스를 개발하게 되었다. 검사하려는 검증물과 비교 대상인 대조물 사이의 유사도 및 필적 특징을 추출하여 제공하는 서비스이다. 내가 담당하게 된 파트는 AI 서빙이었다. 평소 AI 기반 서비스가 어떻게 이루어지는지 많이 궁금하였고 이 참에 공부해보는 것도 좋겠다고 생각했다. 🤔 기술적 고민현재 제공하는 AI 서빙 방법은 총 3가지이다.웹 서버 프레임워크로 직접 서빙하기TensorFlow Serving 이용하기NVIDIA Triton카카오 테크 블로그에서 비교된 아티클을 발견하여 참고하였다.https://tech.kakaopay.com/post/model-serving-framework/“FastAPI와 TensorFlowServing, Trioton과의 가장 큰 차..

  • format_list_bulleted Server
  • · 2025. 11. 30.
  • navigate_before
  • 1
  • 2
  • 3
  • navigate_next

Github Profile


Today I Learned

공지사항
  • 블로그 목표
전체 카테고리
  • 분류 전체보기 (14)
    • Java & Kotlin (2)
    • Spring (7)
    • Server (1)
    • DB (2)
    • Reflection (0)
인기 글
전체 방문자
오늘
어제
Copyright © 개발자 성원 모든 권리 보유.
SKIN: Copyright © 쭈미로운 생활 All rights reserved. Designed by JJuum.
and Current skin "dev-roo" is modified by Jin.

티스토리툴바