test: add test case for systemd-repart --seed=random

For issue #34257.

repart: initialize seed earlier

As the seed is used by context_load_partition_table() -> derive_uuid().

Fixes #34257.

man: ARP=no also disables IPv6 Neighbor Discovery Protocol

Addresses https://github.com/systemd/systemd/issues/18063#issuecomment-2323410288.

Merge pull request #34090 from DaanDeMeyer/cow-fix

Rework COW <=> NOCOW copying behavior

Merge pull request #34212 from YHNdnzj/recvmsg-safe-trunc

tree-wide: handle MSG_TRUNC with recvmsg_safe()

copy: Introduce COPY_NOCOW_AFTER and use it when copying images

When dealing with copying COW images, we have to make a tradeoff:

- Either we don't touch the NOCOW bit on the copied file COW and get
  an instant copy because we're able to reflink, but we might get
  reduced performance if the source file was COW as COW files and lots
  of random writes don't play well together.
- Or we force NOCOW for the copied file, which means we have to do a
  full copy as reflinking from COW files to NOCOW files or vice versa
  is not supported.

In exec-invoke.c, we've opted for the first option. In nspawn.c and
discover-image.c, we've opted for the second option.

In nspawn, this applies to the --ephemeral option to make ephemeral
copies. In discover-image.c, this applies to cloning images into
/var/lib/machines. Both these features might be used to run many
machines of the same original image. We really don't want to force
a full copy onto users in these scenarios when they're expecting
reflink behavior, leading to them running out of disk space. Instead,
degraded performance in their machines is a much less severe issue,
which they will discover on their own if it affects them, at which
point they can make their original image NOCOW at which point they'll
get both the reflinks and better performance.

Given the above reasoning, let's switch nspawn.c and discover-image.c
to use COPY_NOCOW_AFTER as well instead of enabling NOCOW upfront and
forcing a copy if the original source image is COW.

copy: Copy nocow flag by default

Unless otherwise requested, if we're going to copy a nocow file, make the
target file nocow as well.

Aside from keeping the performance characteristics of the cow or nocow file
intact, reflinking also only works from cow to cow or nocow to nocow files.
Reflinking from cow to nocow or nocow to cow files does not work and can
easily lead to unexpected copies for users, so by keeping the nocow bit
intact across copies by default we also make sure reflinks always work.

chattr-util: Optimize read_attr_at()

Let's make sure we only reopen O_PATH file descriptors.

socket-util: make recvmsg_safe() handle MSG_TRUNC too

Also, unify MSG_TRUNC handling all across the codebase.

machine-dbus: use in_same_namespace() at one more place

udev-ctrl: drop unused next_datagram_size_fd() call

core/manager: close all cmsg fds where none is expected

udev-ctrl: add missing size check of received message

While at it, downgrade log level of ignored errors to LOG_WARNING.

audit-util: check correct errno

sd-varlink: check correct errno

'n' can also be assigned from recvmsg_safe(), which is our own
func returning negative errno.

fd-util: also close pidfd from SCM_PIDFD in cmsg_close_all()

Revert "copy: Copy file attributes as well"

This reverts commit 2356104efcc599439c887b087da83fbeca1fa9a6.

Revert "tree-wide: Don't explicity disable copy-on-write when copying images"

Let's still try to disable COW after copying. It won't do much, but
it doesn't hurt either.

See https://github.com/systemd/systemd/pull/33825/files#r1727288871.

This reverts commit 42e9288180ce37abd86c58774950636ebce35432.

Merge pull request #34251 from DaanDeMeyer/multiq

network: Add support for multiq qdisc

network: Add support for mq qdisc

network: Add support for multiq qdisc

Merge pull request #34205 from yuwata/pretty-print-buffering

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Merge pull request #34224 from yuwata/network-make-qdisc-reconfigurable

network: make qdisc reconfigurable

Merge pull request #32487 from YHNdnzj/bind-journal-sockets

core: introduce BindJournalSockets=

build(deps): bump softprops/action-gh-release from 2.0.5 to 2.0.8

Bumps [softprops/action-gh-release](https://github.com/softprops/action-gh-release) from 2.0.5 to 2.0.8.
- [Release notes](https://github.com/softprops/action-gh-release/releases)
- [Changelog](https://github.com/softprops/action-gh-release/blob/master/CHANGELOG.md)
- [Commits](https://github.com/softprops/action-gh-release/compare/69320dbe05506a9a39fc8ae11030b214ec2d1f87...c062e08bd532815e2082a85e87e3ef29c3e6d191)

---
updated-dependencies:
- dependency-name: softprops/action-gh-release
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump super-linter/super-linter from 6.6.0 to 7.1.0

Bumps [super-linter/super-linter](https://github.com/super-linter/super-linter) from 6.6.0 to 7.1.0.
- [Release notes](https://github.com/super-linter/super-linter/releases)
- [Changelog](https://github.com/super-linter/super-linter/blob/main/CHANGELOG.md)
- [Commits](https://github.com/super-linter/super-linter/compare/88ea3923a7e1f89dd485d079f6eb5f5e8f937589...b92721f792f381cedc002ecdbb9847a15ece5bb8)

---
updated-dependencies:
- dependency-name: super-linter/super-linter
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

TEST-50-DISSECT: add explicit coverage for BindJournalSockets=

test: drop unneeded journal socket bind mounts
(where BindJournalSockets=yes is implied)

portable/profile: use BindJournalSockets=

core/namespace: create /dev/log only if journal socket is present

core: introduce BindJournalSockets=

Closes #32478

build(deps): bump systemd/mkosi

Bumps [systemd/mkosi](https://github.com/systemd/mkosi) from 8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8 to 31b4e756c1484c302435653da5d3b9bdfae38518.
- [Release notes](https://github.com/systemd/mkosi/releases)
- [Changelog](https://github.com/systemd/mkosi/blob/main/NEWS.md)
- [Commits](https://github.com/systemd/mkosi/compare/8c2f828701a1bdb3dc9b80d6f2ab979f0430a6b8...31b4e756c1484c302435653da5d3b9bdfae38518)

---
updated-dependencies:
- dependency-name: systemd/mkosi
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #34240 from DaanDeMeyer/mkosi

mkosi: Rework debian/ubuntu prepare script to install dependencies

mkosi: Use apt patterns to install dependencies on Debian/Ubuntu

Instead of parsing the human readable output of apt-cache, let's
use apt patterns to figure out the dependencies.

We also filter out virtual packages as apt will fail and say we need
to install an implementation of the virtual package even if a package
that provides the virtual package is already installed.

mkosi: Make systemd package filtering more robust

Let's not just filter everything with systemd in the name, but instead
use the same list of volatile packages that we install to do the
filtering.

Merge pull request #34236 from DaanDeMeyer/manager-split

json-util: Add more builders

json-util: Add JSON_BUILD_PAIR_UNSIGNED_NOT_EQUAL()

json-util: Add JSON_BUILD_TRISTATE() and friends

json-util: Add JSON_BUILD_PAIR_BASE64_NON_EMPTY() and friends

json-util: Add JSON_BUILD_PAIR_BYTE_ARRAY_NON_EMPTY()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_NEGATIVE()

json-util: Add JSON_BUILD_PAIR_INTEGER_NON_ZERO()

json-util: Add JSON_BUILD_PAIR_CALLBACK_NON_NULL()

Like JSON_BUILD_PAIR_CALLBACK(), but doesn't add anything to the variant
if the callback doesn't put anything in the return argument.

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP_NON_NULL()

json-util: Add JSON_BUILD_PAIR_DUAL_TIMESTAMP()

json-util: Add JSON_BUILD_RATELIMIT()

json-util: Add JSON_BUILD_STRING_ORDERED_SET()

Merge pull request #34190 from DaanDeMeyer/repart-compress

repart: Add compression support

Merge pull request #34228 from poettering/uki-with-many-prep1

Two preparatory EFI library additions

repart: Add compression support

Now that mkfs.btrfs is adding support for compressing the generated
filesystem (https://github.com/kdave/btrfs-progs/pull/882), let's
add general support for specifying the compression algorithm and
compression level to use.

We opt to not parse the specified compression algorithm and instead
pass it on as is to the mkfs tool. This has a few benefits:

- We support every compression algorithm supported by every tool
  automatically.
- Users don't need to modify systemd-repart if a mkfs tool learns a
  new compression algorithm in the future
- We don't need to maintain a bunch of tables for filesystem to map
  from our generic compression algorithm enum to the filesystem specific
  names.

We don't add support for btrfs just yet until the corresponding PR
in btrfs-progs is merged.

TEST-58-REPART: Only skip part of testcase_minimize() that requires root

TEST-58-REPART: Always run TEST-58-REPART in virtual machine

Required for various tests in TEST-58-REPART.

mkosi: Don't create sanitizer wrappers for every mkfs binary

mksquashfs for some reason ends up in nss_systemd and mkfs.btrfs
links against libudev. The others don't need a sanitizer wrapper
script.

Merge pull request #34149 from DaanDeMeyer/btrfs

repart: Switch to new mkfs.btrfs subvolume API

resolve: fix typo

Follow-up for 67d0ce8843d612a2245d0966197d4f528b911b66.

resolved: include Varlink error on inconsistent DNS-SD services in introspection data

Let's also rename the error slightly, since what happens here is that a
a valid service RR name is CNAME'd onto an invalid one. That's an
inconsistency on the server side, which we really should report as such.

Follow-up for: b48ab08732a76b7337628e1e716f11c687000903

pretty-print: introduce WITH_BUFFERED_STDERR macro to enable buffering

Then, the buffer will be flushed and buffering will be disabled on
exiting from the scope.

pretty-print: rename {draw,clear}_progress_bar_unbuffered() -> {draw,clear}_progress_bar_impl()

Addresses https://github.com/systemd/systemd/pull/34205#discussion_r1739648525.
Follow-ups for 5f9dd9c64d20e7cdf8b509421e28cfebf31b7c32.

Merge pull request #34140 from yuwata/conf-parser-log-message

conf-parser: introduce log_syntax_parse_error() and use it

Merge pull request #34202 from AdrianVovk/sysupdated-fixups

sysupdated: Bugfixes & improvements

test: don't install Python scripts from systemd-test RPM

The original regex didn't cover the `run-unit-tests.py` script that
made the old framework pull in Python into the test image, which in turn
allowed the new TEST-69-SHUTDOWN Python script to get executed in the
old framework's image, causing unexpected fails with latest Python on
Rawhide.

sysupdated: Improve logging about jobs

If someone runs `updatectl update`, sysupdate will be running multiple
update jobs at the same time, which can make reasoning about the output
in the journal quite difficult. Especially if things go wrong: the error
messages didn't mention which job failed. Nor was there any link between
job ID and the PID of the worker process logging to the journal. This
is all fixed here!

sysupdated: Cleanup handling of notifications

Cuts out some `strdup`s, and also avoids a rather weird case of donating
memory to a function. Basically just duplicates the solution I just
implemented for sysupdate's callout handler.

sysupdate: Don't ignore callout binary failure

Previously, if the callout binary (i.e. sd-pull, sd-import) failed
gracefully, we'd return its exit status from the event loop and thus
from run_callout(). Of course, exit status is a positive number in the
event of failure. Which means that we completely ignore the callout
binary failing, and instead continue using whatever it managed to
download before failing.

This is bad for obvious reasons, not the least of which is installing
a half-downloaded OS. This also means that we would completely ignore
failed signature checks 😬️

portable: ensure PORTABLE_FORCE_ATTACH works even when there is a leftover unit

Force means force, we skip checks with PID1 for existing units, but
then bail out with EEXIST if the files are actually there. Overwrite
everything instead.

efi: add file_handle_read() helper that reads from a file handle

efi: return pointer to processed string in strtolower8()/strtolower16()

networkd: Replace existing objects instead of doing nothing if they exist

Currently, if for example a traffic control object already exist, networkd
will silently do nothing, even if the settings in the network file for the
traffic control object have changed. Let's instead replace the object if it
already exists so that new settings from the network file are applied as
expected.

Fixes #31226

network/tclass: do not save tclass to Link before it is configured

Otherwise, if the same kind of tclass is already assigned, parameters
configured in .network file will not be used. So, let's first copy the
tclass and put it on Request, then on success generate a new copy based
on the netlink notification and store it to Link.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88,
65f5f581568448d6098358b704cae10a656d09f0, and friends, but for tclass.

network/qdisc: do not save qdisc to Link before it is configured

Otherwise, if the same kind of qdisc is already assigned, parameters
configured in .network file will not be used. So, let's first copy the
qdisc and put it on Request, then on success generate a new copy based
on the netlink notification and store it to Link.

This is the same as 0a0c2672dbd22dc85d660e5baa7e1bef701beb88,
65f5f581568448d6098358b704cae10a656d09f0, and friends, but for qdisc.

Preparation for fixing #31226.

network/tclass: make tclass_drop() static

This also drops unused constant return value.

network/qdisc: make qdisc_drop() static

This also drops unused constant return value.

network/tclass: skip requesting tclass if it is already requested

network/qdisc: skip requesting qdisc if it is already requested

network/neighbor: skip requesting neighbor if it is already requested

network/tclass: introduce tclass_ref() and tclass_unref()

No functional change, just refactoring and preparation for later change.

network/qdisc: introduce qdisc_ref() and qdisc_unref()

No functional change, just refactoring and preparation for later change.

conf-parser: use log_syntax_parse_error() and friends more

This also makes all conf parsers defined in conf-parser.c return 1
on success, 0 on non-critical error.
Also, use free_and_strdup_warn() where applicable.

conf-parser: several cleanups for DEFINE_CONFIG_PARSE_ENUMV() macro

- use GREEDY_REALLOC() and FOREACH_ARRAY(),
- do not set an array with only terminating 'invalid' value.

Note, this macro is only used by parsing NamePolicy= and AlternativeNamesPolicy=
in .link files. and udevd correctly handles both an empty array and an
array with only 'invalid'. Hence, this does not change any behavior.

tree-wide: drop msg argument for DEFINE_CONFIG_PARSE() macro and friends

This makes the macros use log_syntax_parse_error(), hopefully which provides
more informative log message in general, and reduces binary size.

log: protect errno from log_syntax_invalid_utf8_internal()

Potentially, utf8_escape_invalid() called by
log_syntax_invalid_utf8_internal() may update errno.

log: introduce log_syntax_parse_error()

This provides generic error message for failures in conf parsers.
Currently this is not used, but will be used later.

test: modernize test-networkd-conf

test: modernize test-conf-parser.c

conf-parser: make config_parse_strv() stricter and optionally drop duplicated entries

conf-parser: fix memleak in config_parse_calendar()

Fixes a bug introduced by 0e10c3d8724b0a5d07871c9de71565ac91dd55b7 (#25049).

network/route: fix typo

Follow-up for c8dbf9acc10939f2d6c4bdd8cdee1d2ff9a4204e.

Merge pull request #34213 from yuwata/network-route-fix-weight

network/route: fix adjustment of nexthop weight

network/route: fix adjustment of nexthop weight

Fixes #34167.

network/route: also update source, status, and so on EEXIST

Otherwise, an existing route may be labeled as foreign even after we
reconfigure it.

network/route: also show weight of gateway in debugging logs

basic/raw-clone: refuse CLONE_PIDFD too

docs/UIDS-GIDS: drop obsolete comment about Fedora

https://fedoraproject.org/wiki/Changes/RenameNobodyUser, 2018:
> Use "nobody:nobody" as the names for the kernel overflow UID:GID pair, and
> retire the old "nfsnobody" name and the old "nobody:nobody" pair with 99:99
> numbers.

test-network: use the same MTU bytes for veth interfaces

Hopefully fixes #34204.

labeler: set network label when tests for networkd or friends are updated

Merge pull request #34198 from AdrianVovk/updatectl-bugfixes

updatectl: Bugfixes

man: fix typos

Closes #34199.

Signed-off-by: Christoph Anton Mitterer <mail@christoph.anton.mitterer.name>

progress-bar: Add unbuffered variant

The progress_bar functions do their own buffering: they reconfigure
stderr, then print, then flush and disable buffering on their own. In
situations where multiple progress bars are being drawn at a time (for
example, in updatectl), it's even more efficient to hoist the buffering
and flushing to the call site, and avoid drawing each progress bar
individually.

To that end, new _unbuffered variants of the progress_bar functions. And
we use them in updatectl.

updatectl: Improve behavior of progress logging

This applies a couple of aesthetic changes to the way updatectl renders
progress information

1. We invert from "ICON TARGET MESSAGE" to "TARGET: ICON MESSAGE" to
   better fit in with the systemd progress bars, which look like
   "TARGET [==========---------] XX%". The original version of the
   sysupdated PR implemented its own progress bars that were oriented
   differently: "[==========---------] TARGET XX%". When we swapped
   the progress bar we didn't swap the status messages

2. When a target finishes updating, instead of leaving a 100% progress
   bar on screen for potentially extended periods of time (which implies
   to the user that the update isn't actually done...), we show a status
   message saying the target is done updating.

3. Fixed a minor bug where an extra newline would be printed after the
   total progress bar. At the top of the rendering function, we scroll
   the terminal's scroll-back just enough to fit a line for each target,
   and one for the total. This means that we should not print an
   additional line after the total, or else it'll scroll the terminal's
   buffer by an additional character. This bug was introduced at some
   point during review

4. Clears the Total progress bar before quitting. By the time we're
   quitting, that progress bar will be showing no useful status for the
   user. Also, the fix in point 3 will cause the shell's prompt to
   appear on the same line as the Total progress bar, partially
   overwriting it and leaving the shell in a glitchy state.

man: fix typo

Follow-up for 1ff0164be5978b824d2213bc546dac66619e1a48.