본문 바로가기

전체 글184

데이터 마이닝3 - 데이터 마이닝 분석 기법 - 데이터 마이닝3- 데이터 마이닝 분석 기법 - 데이터 마이닝을 사용하는 분석 기법들의 종류는 다양하다. 이에 대해 간단하게 살펴볼 것이다. 연관 규칙 분석에는 Association Rules이라는 규칙이 있다. Association Rules 대규모의 데이터 항목들 중에서 유용한 연관성과 상관관계를 찾는 기법이다. 상품 또는 서비스간의 관계를 살펴보고, 이로부터 유용한 규칙을 찾아내고자 할 때 이용한다. 함께 구매하는 상품의 조합이나 서비스 패턴을 발견하고 싶을 때 많이 사용하여 장바구니 분석이라고도 불린다. 예를 들어 감자 칩을 구입하는 고객의 40%는 콜라도 함께 구입한다. 목요일 저녁 맥주 구입 고객의 30%는 기저귀도 함께 구입한다. 와 같은 연관성을 분석하는 기법을 말한다. 확률 값을 보고 제일.. 2017. 5. 3.
컴퓨터 네트워크 29장 - RTP 프로토콜 - 컴퓨터 네트워크 29장- RTP 프로토콜 - 실시간 서비스로 멀티미디어 서비스 환경에 변화가 생겼다. 기존에는 비디오, 오디오 파일 전체를 다운받은 후 서비스를 받는 것이었다면 실시간 스트리밍 서비스의 등장으로 실시간으로 다운로드하며 재생하는 시대로 바뀌었다. 이로 인해 데이터를 전송하는 방식에서 데이터 변형/분실 오류를 복구하는 기능이 상대적으로 덜 중요하고 도착순서나 패킷의 지연 간격, 데이터 압축 등이 더 중요하게 되었다. 이런 멀티미디어의 서비스를 제공하기 위해서 프로토콜이 필요한데 TCP는 패킷의 순서와 신뢰성에 지나치게 강조를 하여 재전송 기능, 복잡한 흐름 제어 기능으로 인해 실시간 환경에서는 부적합하다. UDP의 경우 기능이 단순하여 빠른 전송을 할 수 있지만 데이터그램을 보낼 때 순서를 .. 2017. 5. 3.
컴퓨터 네트워크 28장 - UDP 프로토콜 & OSI TP 프로토콜 - 컴퓨터 네트워크 28장- UDP 프로토콜 & OSI TP 프로토콜 - UDP는 비연결형 서비스를 제공하여 작지만 빠른 전송을 할 수 있는 프로토콜이다. 헤더와 전송 데이터에 대한 체크섬 기능을 제공한다. Best Effort 전달 방식을 지원하여 데이터 전송에 최선을 다하지만 제대로 도착했는지는 보장할 수 없다는 것을 의미한다. 전송한 데이터가 제대로 도착했는지 확인을 하지 않아 신뢰성이 낮지만 데이터 처리가 빠르게 되어 데이터 전송 시간이 민감한 환경에서는 유리할 수 있다. UDP의 헤더는 매우 간단한 구조이다. UDP는 앞에서 말했듯 수행하는 기능이 매우 간단하다. 데이터 전송에 대한 제어도 하지 않으므로 헤더에 포함되어야할 정보가 비교적 많지 않다. 송수신 포트 번호에 대한 필드가 있고 UDP 데이.. 2017. 5. 3.
운영체제 18장 - 메모리 관리(5) : 페이징(2) - 운영체제 18장- 페이징(2) - 다중 프로그래밍 환경으로 바뀌면서 다양한 프로그램들이 메인 메모리 공간에 올라가서 프로세스로 되어 동작하기 시작했다. 프로그램들은 필요할 때 메인 메모리로 적재되고 사용이 다 되면 다시 하드디스크로 돌아가게 된다. 이런 작동이 반복되면서 메모리 공간에는 hole이라고 하는 빈 공간이 만들어지게 된다. 이런 빈 공간이 흩어져 있게 되어 총 합으로는 충분한 공간의 빈 메모리 공간이 있을지라도 사용할 수 없는 공간이 되어버린다. 왜냐하면 프로세스는 연속된 공간에서 존재해야 동작했기 때문이다. 이러한 문제를 외부 단편화라고 했다. 그리고 외부 단편화를 해결하고자 노력을 많이 하였다. 연속 메모리 할당을 하는 방식에 차이를 두기도 하고 compaction 기법을 사용하기도 하였다.. 2017. 5. 3.
데이터 마이닝2 - 데이터 마이닝 분석 절차 - 데이터 마이닝2- 데이터 마이닝 분석 절차 - 데이터 마이닝 분석 철차에 대해서 알아보도록 하자. 데이터 마이닝 분석하기 위해서 먼저 적용 업무에 대한 정의가 필요하다. 어떠한 업무에 사용하기 위해서 데이터 마이닝을 사용하는지에 대해 먼저 판단을 만들어야 한다. 그 후 어떤 데이터를 사용할지를 선택해야한다. 원천 데이터를 선택하는 것이다. 데이터를 선택한 후 이 데이터로부터 우리가 직접적으로 사용하고자 하는 데이터를 끄집어 내야한다. 데이터 클리닝, 코딩, Enrichment 등을 통해 원천 데이터로부터 우리가 직접 사용하고자 하는 데이터를 가지고 나와야한다. 이 후 데이터 마이닝 툴을 선정한다. 데이터 마이닝을 하는 방법에는 여러 가지 방법이 있다고 했다. 이러한 통계적 다양한 방법들 중 우리 데이터에.. 2017. 5. 2.
컴퓨터 네트워크 27장 - TCP 프로토콜을 이용한 데이터 전송 - 컴퓨터 네트워크 27장- TCP 프로토콜을 이용한 데이터 전송 - TCP 프로토콜은 전이중 방식의 양방향 통신을 지원하므로 가상 회선으로 연결된 두 프로세스가 동시에 데이터를 전송할 수 있다. 따라서 전송 데이터와 응답 데이터를 함께 전송하는 피기배킹 기능을 사용한다. TCP 프로토콜은 연결형 서비스를 제공하므로 데이터를 전송하는 과정은 연결 설정, 데이터 전송, 연결 해제 3단계를 순차적으로 진행하게 된다. 연결 설정은 3단계 설정을 통해 이루어진다. A 프로세스와 B 프로세스가 있다고 가정하면 A 프로세스에서 먼저 연결 설정을 요청한다. 임의의 순서번호를 선택한 후 SYN(연결 설정 요청하는 플래그 비트)을 전송한다. B 프로세스는 이에 대해 응답을 하는데 A 프로세스가 보낸 순서 번호에 1을 더해서.. 2017. 5. 2.
컴퓨터 네트워크 26장 - TCP - 컴퓨터 네트워크 26장- TCP - TCP는 IP 프로토콜 위에서 연결형 서비스를 지원하는 전소 계층의 프로토콜로 Transport Control Protocol이다. 연결형 서비스를 제공하고 전이중 방식의 양방향 가상회선을 제공한다. 연결형 서비스이므로 신뢰성 있는 데이터 전송을 보장한다. 신뢰성 있는 데이터를 전송하나다는 것은 오류 제어, 흐름 제어를 통해 데이터를 안전하게 전송한다는 것을 의미한다. 일반적으로 전송계층 프로토콜은 운영체제 내부 기능으로 구현되므로 시스템 콜이라는 프로그램 호출 방식을 이용해야 서비스를 사용할 수 있다. TCP에서는 데이터를 세그먼트라는 블록 단위로 분할하여 전송한다. 데이터 링크 계층에서는 프레임, 네트워크 계층에서는 패킷이라는 단위를 사용했다. 세그먼트라는 블록의 .. 2017. 5. 2.
운영체제 17장 - 메모리 관리(4) : 페이징(1) - 운영체제 17장- 페이징(1) - 메모리의 낭비 공간인 hole을 최소한으로 만들기 위해 앞 장에서 많은 방법을 사용하였다. 최초 적합과 최적 적합을 통해 메모리의 공간에 적재하는 방식에 변화를 주었는데 이를 통해서도 메모리 공간의 1/3 정도가 낭비가 되었다. 이렇기 때문에 다른 방식인 Compaction이라는 방식을 사용하였으나 프로세스나 hole을 메모리 공간에서 이동시키기 위해서는 메모리 계산의 부담이 발생하기 때문에 힘들었다. 그래서 사용한 방식이 바로 페이징이다. 페이징은 프로세스를 일정 크기인 페이지로 잘라서 메모리에 적재하는 방식이다. 프로세스는 항상 연속해서 들어가야 한다는 생각을 통해 메모리 공간 활용에 있어서 앞장에서는 연속 메모리 할당에 초점을 맞추었다. 이런 생각부터 뒤집어서 프로.. 2017. 5. 2.
운영체제 16장 - 메모리 관리(3) : 연속 메모리 할당 - 운영체제 16장- 연속 메모리 할당 - 컴퓨터의 구조가 발달되어 오면서 운영체제는 다중 프로그래밍 환경을 조성하게 된다. 부팅 직후 메모리에 운영체제가 하드디스크로부터 적재되고 컴퓨터가 동작을 하는 것을 기다린다. 그 후 여러 가지의 프로그램이 동시에 올라와서 스케줄링에 의해 CPU나 I/O를 할당받는다. 처음에 부팅 직후에는 운영체제만 적재되어 있으므로 운영체제를 제외한 공간이 모두 비어 있게 된다. 그래서 big single hole이 생기게 된다. 이 후 프로세스가 생성되고 종료되는 작업을 반복하며 컴퓨터가 동작하게 된다. 이 때는 프로세스들은 여러 위치의 메모리에 적재되기 때문에 scattered holes가 생성되게 된다. 프로세스가 순서대로 쌓이더라도 작업이 끝나는 순서는 정해져 있지 않고 다.. 2017. 5. 2.
데이터 마이닝 1장 - 데이터 마이닝 기초 지식 - 데이터 마이닝 1장- 데이터 마이닝 기초 지식 - 마이닝이라고 하는 것은 광부가 광산에서 석탄과 같은 것을 캐는 과정을 말한다. 결과적으로 데이터 마이닝이라고 하는 것은 기업의 특정한 데이터들로부터 무언가를 캐내는 것을 의미한다. 그러면 여기서 무엇을 깨낼 것인가? 바로 새로운 지식에 대해서 알아내는 것이다. 이렇게 기존에 있던 데이터들로 새로운 지식을 캐어내는 것을 데이터 마이닝이라고 한다. 데이터 마이닝을 하는 기법에는 여러 가지 종류가 있다. 크게 두 가지로 나눌 수 있다. 자율학습 분석기법과 지도학습 분석기법이 있다. 데이터 마이닝의 예시를 보게 되면 추천 제도를 들 수 있다. A라는 사람이 쇼핑 사이트에서 여러 가지 제품을 구매 했는데 이에 대해 기업은 데이터를 모으게 된다. 기업은 이를 이용해.. 2017. 4. 29.

티스토리툴바