[Deep Learning] 기초 개념 정리

Weight Initialization가중치를 어떻게 초기화하냐도 중요한 문제인데, 0으로 초기화하는 경우, 모델이 동일한 특징(symmetry feature)에 집중할 수 있어, 0으로 일괄적으로 초기화하는 것은 좋지않다. 따라서, 특정 initialization 방법을 사용하는게 좋다. Xavier initialization은 가중치 초기화시 in_features와 out_features를 모두 고려한 방식이며, He initialization은 in_features만을 고려한 방식이다. nn.Linear : pytorch에서는 in_features 수를 활용한 uniform distribution 활용 (bias도 똑같이 함)nn.Conv2d : ​He initialization에서는 in_feat..

• format_list_bulleted Robot/Deep Learning
• · 2025. 11. 14.

[Generative AI] VAE

Intro나는 로봇지능에 관심이 많기 때문에 생성형 AI, Representation learning과 같은 것들은 나랑 거리가 뭔 컴공님들이 하는 것들인 줄 알았다. 하지만 최근에 비디오를 통한 로봇학습이 많이 이루어지고 있는데 이때 작업에 대한 Representation을 뽑는 방법으로 생성형 AI 기법 혹은 contrastive learning과 같은 self-supervised learning 방식이 많이 사용되고있다. 피상적으로 이해하고 있던 것들이었는데 대학원 진학을 결심해서 이번 기회에 제대로 이해해보고자한다. 생성형 AI 계보가 VAE에서 시작하고, 비슷한 증명과 같은 것들을 DDPM에서 본 거 같아 아마 잘 공부해놓으면 유용하지싶다. 또한 Groot N1 논문을 읽는데 VQ-VQE를 사용..

• format_list_bulleted Robot/Generative AI
• · 2025. 11. 5.

[Computer Network] TCP/UDP

TCP IntroductionTCP통신은 신뢰할 수 있는 통신을 위한 연결형 프로토콜이다. TCP통신은 세그먼트가 제대로 전송이 안됐으면 이를 파악해 다시 보내기도하며, 요청이 너무 많으면 전송량을 조절하는 혼잡제어도 수행하며, 처리할 수 있는 만큼의 데이터를 주고 받을 수 있도록 흐름제어도 수행한다.TCP통신은 프로토콜이기에 데이터가 구성되어져있는 형식이 존재한다. 형식은 아래와 같다. TCP헤더가 총 20byte로 이루어져있고, 나머지는 데이터로 이루어져있다. TCP프로토콜을 구성하는 Sequence number, Acknowledgement number, control bits, window등에 대해서 알아야한다.데이터를 한 번에 다 보낼 수 없기때문에 분할해서 보내는데 각각의 요소를 세그먼트라고 ..

• format_list_bulleted Robot/Computer Network
• · 2025. 10. 18.

[Computer Network] HTTP/TLS/HTTPS

DNS(Domain Name System)네트워크상의 어떤 호스트를 특정하기 위해서는 IP주소를 사용한다. 하지만 브라우저에서 특정 웹사이트에 접근하기위해 해당 사이트의 IP주소를 외우고 있는 것은 상당히 번거로운 일이다. 따라서, IP주소의 별명과 같은 도메인 네임을 사용하고, 도메인 네임을 관리하는 시스템이 DNS이다. 내 컴퓨터에서 www.google.com에 접속한다고 가정하자. 현재 내 브라우저는 이 서버의 IP를 모른다. 아래 오른쪽 사진에 과정이 잘 나와있는데, 브라우저는 먼저 PC에 설정된 로컬 DNS서버에 해당 IP주소를 물어본다(Step 2). 없다면 루트 서버에 해당 IP주소를 물어본다. 루트 서버는 .com 네임 서버의 ip 주소를 전달한다(Step 3). 이곳에 .com과 관련된 ..

• format_list_bulleted Robot/Computer Network
• · 2025. 10. 18.

[Computer vision] Table of contents

[1] Harris Corner Detection두 이미지의 일치여부를 판단하기 위해서 이미지의 특징점을 추출한다. 이때, 코너가 이미지의 특징점이라 할 수 있고, Harris Corner Detection 알고리즘을 사용하여 이미지의 특징점을 추출하는 방법을 배운다.[2] SIFT(Scale-invariant-Transform)Harris Corner Detection같은 경우 커널의 크기에 따라 코너의 여부가 달라진다. 이러한 단점을 보완한 알고리즘인 SIFT를 배운다.[3] Two Image Feature Matching[4] Image alignment (feat. RANSAC)[5] Image stiching[6]

• format_list_bulleted Robot/Computer Vision
• · 2025. 10. 10.

[Computer Vision] Two Image Feature Matching

두 이미지간의 특징점을 매칭하기위해서는 distance function을 정의해준 후, 가까운 것을 매칭해주면된다. 하지만, 가까운 것이 여러개 나올 수도 있고, 아래에 오른쪽 사진과 같이 동일한 형상이 반복될때는 잘못 매칭될 수 있다. 최종적으로 특징점을 찾아 매칭하는 목적은 image stiching을 해보기 위함이므로, 두 이미지간의 모든 특징점을 빠짐없이 찾을 필요는 없다. 확실한 것만 고르면 된다. 따라서 Nearest Neighbor search, Ratio Test, Bi-directional consistency test와 같은 방식을 사용해 아닐거 같은 것은 제거한다. 본 글에서는 두 사진의 특징점을 찾은 후, 어떻게 Feature Matching을 수행하는지 알아본다. SIFT를..

• format_list_bulleted Robot/Computer Vision
• · 2025. 10. 9.