본문 바로가기

MySQL2

웹 크롤링 with Python 2장 웹 크롤링 with Python 2장 웹 크롤러라는 이름은 웹을 크롤링하기 때문에 붙여진 이름이다. 그 핵심은 재귀이다. 웹 크롤러는 URL에서 페이지를 가져오고, 그 페이지를 검사해 다른 URL을 찾고, 다시 그 페이지를 가져오는 작업을 무한히 반복한다. 하지만 웹 크롤러를 사용할 때는 반드시 대역폭에 세심한 주의를 기울여야 하며, 타켓 서버의 부하를 줄일 방법을 강구해야 한다. API는 애플리케이션 프로그래밍 인터페이스로 서로 정보를 공유해야 하는 소프트웨어 사이에서 국제어 구실을 하도록 디자인된 인터페이스이다. API가 요청을 보낼 때는 HTTP를 통해 데이터를 요청하며 API는 이 데이터를 XML이나 JSON 형식으로 반환한다. HTTP를 통해 웹 서버에 정보를 요청하는 방법은 GET과 POST가.. 2017. 7. 11.
컴퓨터 네트워크 35장 - 웹 서비스 구조 - 컴퓨터 네트워크 35장- 웹 서비스 구조 - 웹은 익명 FTP 기능과 유사한 네트워크 서비스로 인터넷에 연결된 다수의 사용자가 로그인 절차 없이 WWW 서버에 접속할 수 있게 해준다. 웹 환경은 서비스를 제공하는 서버와 서비스를 이용하는 클라이언트의 연결 구조를 지원하는 클라이언트-서버 모델을 사용한다. 전 세계적으로 웹 서버의 TCP 포트 번호는 80번으로 지정된다. 보안을 위해 8000, 8080 등을 이용하기도 한다. 보안이 강화된 HTTPS의 경우 TCP 포트 번호 443을 이용한다. 웹 브라우저는 http 또는 https 서비스에 지정된 포트를 통해 서버와 연결을 시도한다. 실제로 인터넷 익스플로러, 구글 크롬과 같은 다양한 웹 브라우저가 존재한다. 웹 서버와 연결이 되면 클라이언트의 정보 요구.. 2017. 5. 11.