NeXTSTEP Programming Mastermind

    iterable-ndjson

    1.1.0 • Public • Published

    iterable-ndjson

    Build Status dependencies Status JavaScript Style Guide

    Takes an (async) iterable that yields ndjson and returns an async iterable that yields JS objects

    Install

    npm install iterable-ndjson

    Usage

    const ndjson = require('iterable-ndjson')
    const it = ndjson.parse(source) // where `source` is any iterable that yields ndjson
     
    for await (const obj of it)
      console.log(obj)

    Examples

    Node.js streams are async iterable:

    const ndjson = require('iterable-ndjson')
    const fs = require('fs')
    const source = fs.createReadStream('/path/to/file.ndjson')
     
    for await (const obj of ndjson.parse(source))
      console.log(obj)

    Async iterable:

    const ndjson = require('iterable-ndjson')
     
    // An ndjson async iterator
    const source = (() => {
      const array = ['{"id": 1}\n', '{"id"', ': 2}', '\n{"id": 3}\n']
      return {
        [Symbol.asyncIterator] () {
          return this
        },
        async next () {
          await new Promise(resolve => setTimeout(resolve))
          return array.length
            ? { done: false, value: array.shift() }
            : { done: true }
        }
      }
    })()
     
    async function main () {
      for await (const obj of ndjson.parse(source))
        console.log(obj)
        // Logs out:
        // { id: 1 }
        // { id: 2 }
        // { id: 3 }
    }
     
    main()

    Async iterable generator:

    const ndjson = require('iterable-ndjson')
     
    // An ndjson async iterator
    const source = (async function * () {
      const array = ['{"id": 1}\n', '{"id"', ': 2}', '\n{"id": 3}\n']
      for (let i = 0; i < array.length; i++) {
        yield new Promise(resolve => setTimeout(() => resolve(array[i])))
      }
    })()
     
    async function main () {
      for await (const obj of ndjson.parse(source))
        console.log(obj)
        // Logs out:
        // { id: 1 }
        // { id: 2 }
        // { id: 3 }
    }
     
    main()

    Regular iterable (like an array):

    const ndjson = require('iterable-ndjson')
    const source = ['{"id": 1}\n', '{"id"', ': 2}', '\n{"id": 3}\n']
     
    async function main () {
      for await (const obj of ndjson.parse(source))
        console.log(obj)
        // Logs out:
        // { id: 1 }
        // { id: 2 }
        // { id: 3 }
    }
     
    main()

    Stringify JS objects to NDJSON:

    const ndjson = require('iterable-ndjson')
    const source = [{ id: 1 }, { id: 2 }, { id: 3 }]
     
    async function main () {
      for await (const obj of ndjson.stringify(source))
        console.log(obj)
        // Logs out:
        // '{"id":1}\n'
        // '{"id":2}\n'
        // '{"id":3}\n'
    }
     
    main()

    Contribute

    Feel free to dive in! Open an issue or submit PRs.

    License

    MIT © Alan Shaw

    Install

    npm i iterable-ndjson

    DownloadsWeekly Downloads

    6,882

    Version

    1.1.0

    License

    MIT

    Unpacked Size

    9.63 kB

    Total Files

    11

    Last publish

    Collaborators

    • alanshaw